https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=651177&exception_mode=recommend&page=2

내가 최근에 한 생각들 정리한 글. - 특이점이 온다 마이너 갤러리

생각 정리하려고 쓴 글인데 여기에도 올려 봄, 틀린 내용 있어도 욕하지 말아 주라.  데이터셋이 먼저인가? 아키텍처가 먼저인가? 대부분의 사람들은 AGI를 달성할 아키텍처의 출현에 집중한다.하지만 내 생각은 조금 다르

gall.dcinside.com

이전 ‘내가 최근에 한 생각들 정리한 글.’에서 이어지는 글.

설명이 부족하다고 느껴지는 부분이 있다면 이전 글을 읽고 오면 도움이 될 수도.

재귀 개선이란 무엇인가?

기술적 특이점을 위해선 ‘재귀 개선’하는 범용 인공지능이 필요하다.

대부분의 사람들은 충분히 지능적인 시스템이라면 알아서 재귀 개선 할 것이라 생각한다.

“재귀적 자기 개선(Recursive self-improvement, RSI)은 

인공 일반 지능(AGI) 시스템이 인간의 개입 없이 자체 능력과 지능을 향상시켜 

초지능 또는 지능 폭발로 이어지는 과정이다.”

나 또한 그랬고 그동안 이 부분에 대하여 깊게 생각해 본 적이 없었다.

재귀 개선을 이해하려면 ‘인류의 발전사’를 알아볼 필요가 있다.

인류의 발전사가 재귀 개선 그 자체이기 때문이다.

문명이 가진 고유의 속성

주먹에 쥐고 쓸 수 있는 도끼 형태의 모양을 가지는 뗀석기를 ‘주먹도끼’라 부른다. 

그렇다, 인류의 시작은 고작 이런 돌덩어리를 ‘도구’로 쓰는 원시 문명이었다.

그런 원시 문명이 현대엔 고도로 발전하여 로켓을 쏘는 우주 문명이 되었다.

이러한 것이 어떻게 가능한가?

인류의 지능이 갑자기 더 똑똑해진 것일까?

아니면 외계인 같은 ‘외부’의 도움이라도 있었던 것일까?

아니다, 이러한 발전이 가능했던 이유는 ‘문명’이 가진 ‘수확 가속의 법칙’이란 고유의 속성 때문이다.

현실에선 다양한 현상이 일어난다.

A라는 사람이 ‘특정 현상 1’을 보고 ‘a 가설’을 발표했다.

B라는 사람이 그 가설은 틀렸다고 ‘b 가설’을 발표했다.

그러자 C라는 사람이 둘 중 어느 가설이 맞는지 ‘도구’를 이용하여 증명해 보자고 한다.

그 결과 ‘a 가설’과 ‘b 가설’은 둘 다 틀렸고 새로운 ‘c 이론’이 증명됐다.

이 과정에서 인류 문명은 c 이론과 도구를 얻었다.

이러한 A → B → C의 과정이 문명의 규모에서 각 분야마다 일어나고

그리고 그 각 분야마다 생겨난 이론과 도구들이 계속 쌓이고 서로 시너지를 일으키기 시작한다.

이것이 바로 레이 커즈와일이 말하는 ‘수확 가속의 법칙’인 것이다.

“수확 가속의 법칙이란 진화 과정이 가속적이라는 현상,

그 산물 또한 기하급수적으로 증가한다는 현상을 나타내기 위해 내가 만든 말이다.

진화 과정의 산물에는 연산 같은 정보 관련 기술들이 포함된다.”

이러한 가속적 기술 발전이 가능한 이유는 이전 단계의 혁신에서 사용했던 지식과 도구들이 계속 누적되고 

그것들을 이용하여 더욱 강력한 기술을 더 빠르게 창조할 수 있기 때문이다.

재귀 개선에 필요한 6가지, 문명 / 현상 / 추론 / 가설 / 도구 / 증명.

인류의 발전사를 보면 1가지 중요한 점을 깨달을 수 있다.

그것은 돌덩이를 쓰던 원시 문명에서 로켓을 쏘는 우주 문명까지의 발전사에서

인류의 지식의 총량은 늘어났지만 근본적인 인류의 지능, 즉.. 뇌의 아키텍처엔 큰 변화가 없었단 것이다.

이것을 통해 재귀 개선에 제일 중요한 것은 ‘추론’ 능력이란 것을 알 수 있다.

추론 능력을 통해 ‘문명’에 속한 구성원이 ‘현상’을 추론하여 ‘가설’을 세우고 ‘도구’를 통해 ‘증명’한다.

이러한 과정이 문명의 규모에서 동시다발적으로 일어나고 시너지를 일으키는 ‘수확 가속의 법칙’이 일어나면서

인류는 고도화된 현대 문명까지 재귀 개선 한 것이다.

우리는 재귀 개선에 가장 중요한 ‘추론’이라는 능력을 GPT-o1 단계에서 이루어냈다.

즉.. 재귀 개선에 의한 특이점은 ‘추론’을 구현해낸 시점에서 확정되었다는 이야기이다.

AI는 ‘도구와 문명’이 필요하다

OpenAI의 분류체계

1단계 : 대화가 가능한 챗봇

2단계 : 인간 수준의 문제해결능력과 추론 능력을 갖춘 AI

3단계 : 행동을 취할 수 있는 에이전트

4단계 : 발명에 도움을 줄 수 있는 AI

5단계 : 조직이 하는 일을 대신 할 수 있는 AI

이쯤에서 OpenAI의 분류체계를 다시 보면 다르 게 보일 것이다.

그동안 어째서 발명에 도움을 줄 수 있는 AI 다음이 조직을 대체하는 것인지 궁금했다.

우리는 GPT-4를 통해 대화가 가능한 챗봇을 경험했다.

GPT-o1을 통해서 우리는 인간 수준의 문제해결능력과 추론 능력을 가진 AI를 경험했다.

그리고 현재 오퍼레이터를 통해 행동을 취할 수 있는 에이전트의 초입을 경험하고 있다.

자율적인 행동을 할 수 있는 AI의 다음 단계는 ‘도구’를 사용할 수 있는 AI인 것이다.

자율적으로 추론 능력으로 가설을 세우고 도구를 이용하여 증명하여 발명에 도움을 줄 수 있는 AI인 것이다.

에이전트가 ‘도구’를 사용하는 시점인 4단계부터 기하급수적인 시너지가 일어날 것이라 예상할 수 있다.

https://designcompass.org/2024/12/04/ai-npc-builds-a-civilization/

AI NPC 1000개가 문명을 세웠다

인공지능(AI) 스타트업 알테라(Altera)가 진행한 ‘프로젝트 시드(Project Sid)’가 화제입니다. AI가 마치 인류처럼 문명을 이루는 과정을 관찰했습니다. 알테라는 마인크래프트 내에 최대 1,000명의 AI 에이전트로 구성된 마을을 조성해 인간 사회를 시뮬레이션해습니다. AI NPC는 사람처럼 행동했습니다. 초기 목표는 마을을 효율적으로…

designcompass.org

”알테라는 마인크래프트 내에 최대 1,000명의 AI 에이전트로 구성된

마을을 조성해 인간 사회를 시뮬레이션했습니다.

AI NPC는 사람처럼 행동했습니다.

에이전트들은 스스로 농부, 예술가, 수비수 같은 역할을 맡았습니다.

사회적 상호작용을 통해 AI 요리사는 자신을 더 높이 평가하는

에이전트에게 더 많은 음식을 제공하기도 했습니다.

길을 잃은 주민을 위해 횃불을 설치하고 걱정하는 텍스트를 나누기도 했습니다.

세금 제도를 도입한 후 AI 에이전트들은 투표를 통해 세율을 조정했으며

일부 에이전트는 패러디 종교인 ‘파스타파리안교’를 전파하는 역할도 수행했습니다.

에이전트들은 경제 시스템을 형성하고 문화적 밈과 종교를 확산시키는 등

인간 사회와 유사한 문명적 행동을 보였습니다.“

그리고 대망의 5단계인 ‘문명’이란 조직을 대신할 수 있는 AI의 출현이다.

이 분류 체계는 언어가 출현하고 그 언어를 기반으로 추론을 할 수 있는 인간이 

도구를 사용하여 부족에서부터 거대한 문명을 이루기까지의 발전 과정 그 자체이다.

딥마인드의 AGI 분류 체계와 비교해 보면 OpenAI는 보법 자체가 다르다.

상황인식

https://situational-awareness.ai/

Introduction - SITUATIONAL AWARENESS: The Decade Ahead

Leopold Aschenbrenner, June 2024 You can see the future first in San Francisco. Over the past year, the talk of the town has shifted from $10 billion compute clusters to $100 billion clusters to trillion-dollar clusters. Every six months another zero is added to the boardroom plans. Behind the scenes, there’s a fierce scramble to

situational-awareness.ai

“머지않아 전 세계가 깨어날 것입니다. 그러나 지금 이 순간에는, 

샌프란시스코와 AI 연구소를 중심으로 한 수백 명 정도만이 이 상황을 제대로 인식하고 있는 듯합니다. 

어떠한 운명의 묘한 힘으로 인해, 저도 그들 중 한 명이 되었습니다. 

몇 년 전만 해도 이들은 ‘미쳤다’고 조롱 받았지만, 

추세선을 믿었던 덕분에 지난 몇 년간의 AI 발전을 정확히 예측해 냈습니다. 

이들이 앞으로 몇 년에 대해서도 옳을지는 아직 지켜봐야 알겠지요. 

하지만 그들은 제가 만나본 사람들 중 가장 뛰어난 이들이고, 실제로 이 기술을 만드는 주역들입니다. 

이들이 역사의 한낱 특별한 각주로 남을지, 아니면 실라르드, 오펜하이머, 텔러처럼 역사에 길이 남을지는 아직 알 수 없습니다. 

만약 이들이 바라보는 미래가 조금이라도 맞다면, 우리는 정말 대단한 변혁의 여정을 앞두고 있을지도 모릅니다.”

레오폴드의 상황인식 글에선 현재 ‘샌프란시스코와 AI 연구소를 중심으로 한 수백 명’ 정도의 사람만이 

이 상황을 제대로 인식하고 있다고 하였다.

이게 무슨 말일까?

단순히 초지능이 출현하는 것 그리고 그로 인하여 사회에 엄청난 변화가 올 것은 누구나 인식하고 있는 부분이다.

이미 수많은 소설, 만화, 애니, 영화 각종 매체에서 다루던 이야기이다.

외계인의 출현

SAO라는 작품에선 ‘프로젝트 엘리시제이션’을 통해 AGI를 구현한다.

《Alicization》은 《Artificial Labile Intelligence Cybernated Existence》의 앞 문자를 딴 

A.L.I.C.E.와 ~하는 행동을 나타내는 zation이 합쳐져서 나온 말이다.

이 프로젝트는 언더월드라는 ‘버추얼 트윈’ 환경에서 

추론 능력을 가진 AI로 이루어진 ‘문명’에 속한 구성원들이 ‘현상’을 추론하여 ‘가설’을 세우고 ‘도구’를 통해 ‘증명’하며

이러한 과정이 문명의 규모에서 동시다발적으로 일어나고 시너지를 일으키는 ‘수확 가속의 법칙’이 일어나면서

순식간에 농경 사회였던 문명이 현실 시간 며칠 만에 우주선을 타고 다니는 우주 문명이 된다.

버추얼 트윈(vertual twin)

“현실 세계 모습을 디지털 세계에 그대로 복제하는 ‘디지털 트윈’보다

한 발 더 나아간 개념으로, 현실 세계의 중력과 물체의 속도, 물성의 변화 등

물리 법칙까지 정교하게 구현해 내는 것을 말한다.”

그렇다, 버추얼 트윈 같은 가상 환경은 ‘가속’ 가능하다.

이 말은 우리가 근미래에 마주하게 될 것은 단일 개체 초지능이 아닌

가속 환경에서 탄생한 미지의 문명인 것이다.

즉.. 우리는 일종의 외계 문명을 마주할 준비를 해야 하는 것이다.

길고 길었던 빌드업, 메타버스

메타버스는 가상, 초월을 의미하는 '메타'와 세계, 우주를 의미하는 '유니버스'를 합성한 신조어다.

메타버스는 사기인가?

여기까지 글을 읽었다면 우리는 이제 이해할 수 있을 것이다.

최근 갑자기 외계인 떡밥을 빌드업 하는 이유

가상의 것에 현실의 가치를 부여하려 노력하는 세력들

메타버스를 대중에게 인식 시키려는 노력들이 왜 있었는지

금태환의 한계는 통화공급량이 금의 총량과 채굴 속도의 한계에 제약이 걸려있어서 유연한 통화 정책이 안 됐다, 대공황 오면 사망.

인류는 이것을 극복하기 위해 ‘신용’의 발명을 통해 통화의 유연성과 규모를 극복해 내고 현재 지구촌 사회를 이루어냈다.

그리고 현재 기본.소득을 30만 원씩만 지급해도 180조 원이 든다, 참고로 한국의 1년 예산은 600조 원 대다.

CBDC를 운용하고 아무리 통화 재정 정책을 잘 한다 하더라도 한계가 있는 것이다.

인류는 또다시 통화의 유연성과 규모의 한계를 마주하게 되었다.

만약 신용을 지금 이상으로 팽창 시키고 그 인플레를 수출할 수 있는 

지구 규모의 경제권이 또 있다면 어떨까?

그런 미지의 경제권을 가진 세상이 수천.. 수만 개가 있다면?

그렇다, 마치 ‘Meta-verse’처럼 말이다.

우리는 다음 세상을 맞이할 준비가 됐을까?