우리가 차수(OOM)를 거듭하며 발전함에 따라, 도약은 계속될 것입니다. 2025/2026년경에는 다음 단계의 충격적인 변화가 있을 것으로 예상합니다; AI는 대형 기술 기업들에게 연간 1,000억 달러 이상의 수익을 창출하고, 순수한 문제 해결 능력에서 박사급 인재들을 능가하게 될 것입니다. 코로나19로 인한 주,.식 시장 붕괴가 많은 이들에게 코로나의 심각성을 일깨워준 것처럼, 우리는 10조 달러 규모의 기업들을 보게 될 것이고 AI 열풍이 도처에 퍼질 것입니다. 그것으로도 부족하다면, 2027/28년까지는 1,000억 달러 이상의 클러스터에서 훈련된 모델들이 등장할 것입니다; 완전한 형태의 AI 에이전트/원격 근무 대체 인력이 소프트웨어 엔지니어링과 다른 인지적 직무들을 광범위하게 자동화하기 시작할 것입니다. 매년, 이 가속화는 어지러울 정도로 빠르게 느껴질 것입니다.

많은 이들이 아직 AGI의 가능성을 보지 못하고 있지만, 결국 합의가 형성될 것입니다. 실라드처럼 일부는 다른 이들보다 훨씬 일찍 원자폭탄의 가능성을 알아챘습니다. 그들의 경고는 처음에는 잘 받아들여지지 않았습니다; 폭탄의 가능성은 희박한 것으로 일축되었습니다(또는 적어도, 그 가능성을 축소하는 것이 보수적이고 적절한 처사로 여겨졌습니다). 실라드의 열렬한 기밀 유지 호소는 조롱받고 무시되었습니다. 하지만 처음에는 회의적이었던 많은 과학자들이 점점 더 많은 실험 결과들이 나오면서 폭탄이 가능하다는 것을 깨닫기 시작했습니다. 과학자들의 다수가 폭탄이 임박했다고 믿게 되자, 정부는 이를 너무나 큰 국가 안보 위기로 인식했고—맨해튼 프로젝트가 시작되었습니다.

차수(OOM)가 이론적 추정에서 (비범한) 실증적 현실이 되어감에 따라, 점진적으로 주요 과학자들과 경영진들, 정부 관료들 사이에서도 합의가 형성될 것입니다: 우리는 AGI의 문턱에, 지능 폭발의 문턱에, 초지능의 문턱에 서 있다는 것입니다. 그리고 이즈음 우리는 AI의 진정으로 두려운 시연을 처음으로 보게 될 것입니다: 아마도 자주 언급되는 "초보자들의 생물학 무기 제작 지원" 이나 중요 시스템의 자율적 해킹, 또는 전혀 다른 무언가가 될 수 있습니다. 분명해질 것입니다: 좋든 싫든, 이 기술은 결정적인 군사 기술이 될 것이라는 점입니다. 우리가 대규모 전쟁을 피할 만큼 운이 좋다 하더라도, 중국 공산당이 이를 주목하고 강력한 AGI 개발에 착수했을 가능성이 높습니다. 아마도 결국 (불가피하게) 미국의 주요 AI 연구소들에 대한 중국 공산당의 침투가 발견되면서 큰 소동이 일어날 것입니다.

26/27년경에는 워싱턴의 분위기가 침울해질 것입니다. 사람들은 무슨 일이 일어나고 있는지 본능적으로 느끼기 시작할 것이며, 두려워할 것입니다. 펜타곤의 복도에서부터 의회의 비공개 브리핑실까지 모두의 마음속에 있는 분명한 질문이 울려 퍼질 것입니다: AGI 맨해튼 프로젝트가 필요한가? 처음에는 천천히, 그러다가 갑자기 한꺼번에, 분명해질 것입니다: 이것이 현실이 되고 있고, 상황이 매우 격변할 것이며, 이는 원자폭탄의 발명 이후 미국의 국가 안보에 있어 가장 중요한 도전이라는 점입니다. 어떤 형태로든, 국가 안보 체제가 매우 깊이 관여하게 될 것입니다. 이 프로젝트는 필요불가결한, 실제로 유일하게 타당한 대응이 될 것입니다.

물론, 이는 매우 축약된 설명입니다—많은 것이 합의가 형성되는 시기와 방식, 주요 경고 신호 등에 달려 있습니다. DC는 악명 높게 기능 장애적입니다. 코로나 사태나 심지어 맨해튼 프로젝트에서처럼, 정부는 믿을 수 없을 정도로 늦고 서툴게 대응할 것입니다. 1939년 아인슈타인이 대통령에게 보낸 편지(실라드가 초안을 작성) 이후, 우라늄 자문위원회가 구성되었습니다. 하지만 관료들은 무능했고, 처음에는 별다른 진전이 없었습니다. 예를 들어, 페르미는 겨우 6,000달러(오늘날 약 135,000달러)의 연구비를 받았는데, 그마저도 쉽게 주어지지 않았고 몇 달을 기다린 끝에 받았습니다. 실라드는 당국의 근시안적이고 느린 대응으로 인해 프로젝트가 최소 1년은 지연되었다고 믿었습니다. 1941년 3월, 영국 정부는 마침내 폭탄이 불가피하다는 결론을 내렸습니다. 미국 위원회는 처음에 이 영국의 보고서를 몇 달 동안 완전히 무시했습니다—마침내 1941년 12월에 이르러서야 전면적인 원자폭탄 개발이 시작되었습니다.

이것이 실제로 운영되는 방식은 여러 가지가 있을 수 있습니다. 분명히 하자면, 이것이 AI 연구소 연구원들이 이제 군대에 고용되는 것과 같은 문자 그대로의 국유화처럼 보일 필요는 없습니다(물론 그럴 수도 있습니다!). 오히려, 저는 더 세련된 조율을 예상합니다. 국방부와의 관계는 국방부가 보잉이나 록히드 마틴과 맺고 있는 관계와 비슷할 수 있습니다. 아마도 국방 계약이나 이와 유사한 방식을 통해, 주요 클라우드 컴퓨팅 제공업체들, AI 연구소들, 그리고 정부 간의 합작 투자가 설립되어, 사실상 국가 안보 체제의 프로젝트가 될 것입니다. 2023년에 AI 연구소들이 백악관에 "자발적으로" 약속한 것처럼, 서구의 연구소들이 다소간 "자발적으로" 국가적 노력에 합류하는데 동의할 수 있습니다. 그리고 수조 달러의 투자가 필요하고 견제와 균형을 위해 의회가 관여해야 할 것입니다. 이러한 세부사항들이 어떻게 전개될지는 다른 이야기로 남겨두겠습니다.

하지만 26/27/28년 후반에는 이미 진행 중일 것입니다. 핵심 AGI 연구팀(수백 명의 연구원들)이 보안이 철저한 장소로 이동할 것이고, 조 달러 규모의 클러스터가 기록적인 속도로 구축될 것이며, 프로젝트가 시작될 것입니다.