AI 2040 Plan A 요약: AI 2027 후속 시나리오 연도별 총정리(2027~2040)

AI 2027은 경고였다. AI 2040은 처방이다.

2025년 4월 「AI 2027」로 "2027년 AI가 AI 연구를 자동화하고, 그해 안에 초지능이 온다"는 시나리오를 내놓았던 AI Futures Project가 2026년 7월 9일 후속편 AI 2040: Plan A를 공개했다. PDF로 90쪽이다.

이번엔 무엇이 일어날지가 아니라, 무엇을 해야 하는지를 썼다. 미국과 중국이 2029년 협정을 맺는다. 초지능의 등장을 2040년까지 늦춘다. 모든 AI 연구를 공개한다. 수십 개 기업이 프론티어를 따라잡게 한다. 그리고 협정이 깨지면 새로 지은 데이터센터가 확실히 파괴되도록, 상호확증 컴퓨트 파괴(Mutually Assured Compute Destruction)를 일부러 설계한다.

저자들은 이 글이 예측이 아니라 권고라고 못 박는다. Plan A가 시행된다는 설정은 권고이고, 시행된 뒤 벌어지는 일은 예측이다.

이 글은 90쪽 본문과 부록, 보충자료를 모두 읽고 정리했다. 순서는 이렇다.

1. 왜 AI 2040인가 — 기본 경로가 왜 위험한가
2. 2029년의 갈림길 — 5개 플랜 전부
3. Plan A의 4대 원칙
4. 협정은 어떻게 시작되나 — 3단계와 검증
5. 2027~2040 연도별 전개 (가장 긴 장)
6. 숫자로 보는 AI 2040
7. 대안 타임라인 3개 — 이렇게 무너질 수 있다
8. Plan A가 푸는 5대 문제
9. 비판적으로 읽을 지점
10. 에이전트를 만드는 기업이 오늘 가져갈 것
11. 원문 제대로 읽는 법 — 링크 전부

AI 2040 한눈에

제목의 2040은 "초지능이 2040년에 온다"는 예측이 아니다. "2040년까지 늦추자"는 권고다. 기본 경로의 기준 연도가 2027에서 2030으로 밀린 이유도 설명돼 있다. AI 2027의 2027은 집필 당시 Daniel Kokotajlo가 "이만큼 빠르거나 더 빠를 확률 50%"로 본 해였고, 2030은 이번 주저자 Thomas Larsen에게 같은 의미의 해다. Daniel 본인은 지금도 실제 속도가 이 시나리오보다 빠를 것으로 본다.

먼저 알아둘 용어 12개

1. 왜 AI 2040인가 — 기본 경로가 위험한 이유

저자들의 출발점은 단순하다. AI 기업들은 앞으로 1~10년 안에 인간보다 똑똑한 AI를 만든다는 목표를 아마 달성한다. 그런데 초지능을 통제하는 방법은 "가면서 알아내면 된다"고 믿고 있고, 제대로 된 계획이 없다.

기본 경로를 그대로 두면 2030년 AI 연구가 완전 자동화되고, 지능 폭발이 시작돼 2031년 초 초지능이 온다. 저자들이 aifuturesmodel.com으로 돌린 궤적에서 AI 소프트웨어 연구 속도는 1년 사이 5배에서 1만 배로 뛴다.

이 경로의 위험은 세 가지다.

• 통제 상실. 레이스를 하며 지능 폭발을 통과하면서 인간이 AI를 통제할 수 있을 거라고 보지 않는다.
• 권력 집중. 설령 정렬에 성공해도 문제는 남는다. 누구에게 정렬됐나? 극소수, 어쩌면 단 한 명이 세계 유일의 초지능 군단을 몇 달간 쥐게 되고, 그 초지능은 사실상 세계 장악에 해당하는 선택지를 제시할 것이다.
• 3차 세계대전. 미국이 지능 폭발에 들어간다는 걸 알게 된 중국·러시아·인도·유럽이 가만히 있을 리 없다. 수사, 제재, 사보타주, 그리고 전쟁.

그래서 저자들이 쓴 방법이 시나리오 검증(scenario scrutiny)이다. 대부분의 AI 정책 제안은 "그 정책이 성공하는 구체적이고 그럴듯한 시나리오"를 써 보라고 하면 무너진다. 생각보다 잘 안 되거나, 인정하지 않던 부작용이 드러난다. 그래서 자기 제안부터 검증대에 올렸다. 군이 대만 시나리오를 워게임으로 돌리듯, 정보기관과 기후·팬데믹 대비 기관이 시나리오 계획을 쓰듯.

2. 2029년의 갈림길 — 5개 플랜 전부

2028년 대선이 끝나고, 2029년 새 대통령 앞에 길이 갈린다. AI 2040은 이 분기점에서 5개 플랜을 모두 따라가 본다. 본 시나리오는 Plan A지만, 나머지 넷도 원문에서 각각의 전개와 평가를 받는다.

Plan B에 대해서는 따로 경고가 붙는다. 진지하게 시도해도 실제로는 D처럼 흘러가기 쉽다는 것이다. 이유는 넷이다.

1. 중국을 이기는 게 최우선이면 보안이 우선되고, 투명성이 줄고, 최신 모델에 접근하는 정렬 연구자는 극소수가 된다.
2. 레이스는 계속되고 점점 격해진다. 편법과 합리화가 따라온다.
3. 기업을 통합하고 AI 개발을 안보화하면 권력이 대통령에게 극도로 집중된다. 의회와 사법부의 강력한 감독 장치가 없다면.
4. 중국·러시아 등의 공포가 커지고, 미국이 먼저 중국을 늦추는 확전 행동을 한다.

Plan A냐 Plan S냐

저자들이 가장 오래 고민한 비교다. Plan S 시나리오는 이렇다. 새 대통령이 "신을 만들 필요도, 중국과 신 만들기 경쟁을 할 필요도 없다. 아무도 신을 만들지 않으면 된다"며 모라토리엄을 추진하고, 미국의 컴퓨트 우위를 두려워하던 중국이 동의한다.

• 기존 데이터센터와 AI는 그대로 돌아간다. 학습·연구에 쓰던 컴퓨트가 추론으로 가면서 사용 한도가 약 2배로 는다.
• 2030년 말 컨소시엄은 세계 AI 컴퓨트의 99%, 첨단 칩 생산 능력의 100%를 포괄한다.
• 금지되는 AI의 예: 자율 에이전트, AI 연구를 크게 가속하는 AI, 설득·조작에 능한 AI, 생물무기 지원 같은 위험 역량, 자기 인식·상황 인식 신경망.
• 모델이 멈추자 역설이 생긴다. 새 모델이 나오면 공들인 스캐폴드가 쓸모없어지던 시절이 끝나고, 소프트웨어 기업들이 수조 토큰의 AI 노동을 들여 기존 모델 위에 거대한 제품을 짓는다. 모델을 2029년에 멈춰도, 과거라면 AGI라 불렸을 것이 결국 나온다.
• 비밀 프로젝트의 진전은 모라토리엄 이전보다 최소 10배 느리다. 합법 프로젝트에서 새어 나올 알고리즘이 없고, 연구자들 사이에서 AGI 연구가 인간 복제 연구처럼 금기가 되기 때문이다.

그럼에도 저자들이 A를 권하는 이유는 하나다. 중단 협정은 결국 깨진다. 그렇다면 멈춰 있는 동안이 아니라 움직이는 동안 정렬 연구를 진전시키고, AI를 사회에 넓게 퍼뜨려 인식과 권력 분포를 개선하는 편이 낫다는 판단이다. 판단 기준도 명시한다.

정치적 실현성도 갈린다. A는 AI 기업 친화적이라 로비의 반대가 덜하다. S는 단순해서 여론을 모으기 쉽고, 규제기관이 망칠 여지가 적다.

A와 경쟁할 만한 다른 계획 3개

3. Plan A의 4대 원칙

① 시간 벌기 — 문제는 폭발이다

지능 폭발의 문제는 폭발이라는 데 있다. 모두가 생각할 틈 없이 경쟁한다. AI가 믿을 만한지 판별하는 법도, 초지능을 규제하는 법도 아무도 모른다. 둘 다 몇 년은 걸린다. 늦추면 그 시간을 번다. 초지능을 직접 쥐지 못한 집단이 영향력을 잃기 전에 상황을 알아챌 시간도 번다.

그럼 아예 멈추면 되지 않나? 저자들은 너무 느린 것의 위험도 짚는다. 조약은 영원하지 않다. 미·러 START 조약도 30년 만에 무너졌다. 협정이 깨지면 레이스가 다시 시작되니, 그럴 바엔 좋은 조건에서 일찍 가는 게 낫다. 또 느릴수록 이탈자가 몰래 따라잡을 시간이 는다. 협정 전에 생산된 컴퓨트의 99%는 위치가 검증됐지만, 강대국 한쪽이 세계 컴퓨트의 1% 정도를 숨겼을 가능성은 배제할 수 없다.

② 전면적 연구 투명성 — 알고리즘은 공개, 가중치는 비공개, 접근은 개방

원칙 중 가장 급진적이다. 컨소시엄 국가들의 합의는 단순하다. 서로 모든 AI 연구를 보게 하자. 마음에 안 드는 게 있으면 이야기하고, 합의되면 금지하자.

• 알고리즘은 오픈소스가 의무. 학습 코드와 방법이 공개된다.
• 가중치 공개는 오히려 금지. 대신 접근은 의무적으로 개방한다. 일반인도 직원처럼 프론티어 모델에 평가와 파인튜닝까지 해 볼 수 있다. 단, 모든 게 기록되는 조건에서라 그 모델로 실제 업무를 할 수는 없다.
• 왜 더 닫지 않나. 국가 단위 적에게서 알고리즘 비밀을 지키는 건 극히 어렵다. 필터링한 투명성(정부끼리만 공유하고 대중엔 편집본만)은 결국 대중과 다른 기업만 못 보게 하고, 적국은 못 막는다. 소수 규제기관끼리의 논의는 넓은 과학계의 논의보다 좋은 규제를 만들기 어렵다.
• 왜 더 열지 않나. 가중치가 공개되면 비밀 프로젝트가 곧장 지능 폭발을 시도할 수 있다. 기본 궤적에선 최고 전문가 압도 AI에서 초지능까지 두 달밖에 안 걸린다. 공개 가중치에서는 거부 안전장치를 쉽게 떼어 낼 수 있어 생물무기 위험도 커진다.

투명성은 인센티브를 뒤집는다. 새 알고리즘을 발견해도 즉시 공개돼 경쟁사와 나눠 갖는다. 반대로 AI를 더 해석 가능하게 만드는 법을 찾으면, 학습·추론 비용이 두 배가 돼도 상을 받고 업계 표준으로 의무화될지 논의된다. 기업의 승부처는 모델 돌파구에서 제품으로 옮겨 간다. 경쟁사 앱을 써 보고 기능을 따라 만들던 2020년대 이전 소프트웨어 산업, 서로의 차를 뜯어보는 자동차 산업과 비슷해진다. AI는 마진이 줄어드는 범용재가 된다.

③ AI의 광범위한 확산 — 2020년대의 악몽을 뒤집는다

①과 ②가 맞물리면 저절로 따라온다. 알고리즘이 공개되고 진보 속도가 가속되지 않으니 다른 기업들이 프론티어를 따라잡는다. 학습이 투명하니 공개된 모델 스펙이 실제로 모델에 학습된 목표·가치와 같은지 검증할 수 있다.

2020년대의 악몽은 정반대였다. 한두세 개 프로젝트가 비밀리에 경쟁하며 최고 모델을 내부에만 두고, 다른 어떤 일보다 먼저 AI 연구 자동화에 쓴다. 세상은 AI가 얼마나 강해졌는지 모른 채, 가장 위험한 영역(AI R&D)에 AI가 가장 먼저 투입된다. Plan A에서는 순서가 뒤집힌다.

④ 가역성 — 알고리즘은 되돌릴 수 없고, 데이터센터는 부술 수 있다

과거엔 컴퓨트 확장(더 큰 학습)과 소프트웨어 진보(새 패러다임, 더 좋은 레시피·데이터)가 함께 AI를 키웠다. 컨소시엄은 개선의 대부분이 학습 컴퓨트 증가에서 오도록 유도한다.

이유는 되돌릴 수 있느냐다. 알고리즘은 정보라서 한번 발견되면 비밀 프로젝트로 곧장 흘러가고, 되돌릴 방법이 없다. 거대한 새 데이터센터는 합법 프로젝트만 돕고 비밀 프로젝트는 돕지 않으며, 새 모델이 위험하면 끌 수 있다.

평소라면 데이터센터를 더 짓는 건 나쁘다고 저자들은 말한다. 역량 진보를 가속하고 권력을 집중시키기 때문이다. 하지만 Plan A라는 특정 조건에서는 좋다. 알고리즘 진보 없이도 역량을 키울 수 있고, 남는 컴퓨트를 정렬 연구와 안전세(safety tax, 필요 이상의 컴퓨트를 들여 더 안전한 AI를 만드는 비용)에 쓸 수 있기 때문이다.

위험도 있다. 협정이 깨지면 이 컴퓨트가 협정 이전보다 훨씬 빠른 레이스의 연료가 된다. 그래서 나온 장치가 상호확증 컴퓨트 파괴다. 미·중은 새 데이터센터를 상대국이 군사 개입하기 가장 쉬운 제3국에 짓는다. 중국의 것은 캐나다에, 미국의 것은 몽골에. 주둔국은 돈·일자리·AI 경제 지분으로 보상받는다. 협정이 깨지면 미국과 캐나다가 캐나다의 중국 데이터센터를 장악하려 들 것이고, 중국은 넘겨주느니 스스로 칩을 파괴할 것이다. 반대도 같다.

4. 협정은 어떻게 시작되나 — 3단계와 검증

미국과 중국은 서로를 믿지 않는다. 믿을 필요가 없도록 검증을 넣는다. 다만 체계를 갖추는 데 시간이 걸리니 2029년엔 거칠게 시작한다.

1단계: 컴퓨트 신고. 학습에는 대량의 AI 칩이 필요하고, 칩 대부분은 우주에서도 보이는 거대 데이터센터에 있다. 첨단 칩은 대만·한국·미국·중국의 소수 팹에서만 나오고, 필수 장비인 EUV 노광기는 네덜란드 ASML 한 곳이 만든다. 미·중은 주요 데이터센터 소유자와 칩 팹을 포함한 공급망에 대규모 구매·판매를 공개 신고하게 하고, 서로의 인프라에 사찰단을 보낸다. 연말엔 양쪽 모두 상대가 AI 컴퓨트의 1% 이상을 숨기지 못했다고 확신한다.

2단계: 학습 일시 중단. 위험한 AI와 안전한 AI를 구분하려면 시간이 더 필요하니 우선 새 학습을 전부 멈춘다. 이미 있는 AI를 돌리는 추론은 계속한다. 대신 서로의 데이터센터에 새 학습에 쓰이지 않는다는 걸 확인하는 추론 전용 검증 장치를 단다. 저자들이 제안하는 형태는 단순한 네트워크 탭과, 계산 일부를 다시 돌려 보는 검증 서버다. 양측 사찰단이 설치를 승인한 데이터센터만 AI 서비스를 계속할 수 있다.

3단계: 세계의 동의. 양자 협정이 다자로 간다. 미·중 밖의 나라들은 오히려 반긴다. 소수의 미·중 기업이 재귀적으로 자기 개선하며 멀어지는 미래, 일자리를 빼앗거나 패권을 영구화하거나 모두를 죽이는 미래를 걱정했기 때문이다. 느리고 투명하게 가면 자국 AI 프로젝트가 프론티어를 따라잡을 수도 있다. 연말까지 세계 대부분이 컨소시엄에 가입한다.

검증 장치가 준비되지 않았다면

시나리오는 불완전하지만 쓸 만한 장치가 미리 준비돼 있다고 가정한다. 저자들은 그래서 지금 검증 R&D에 투자하라고 권한다. 비용은 AI 투자의 0.1% 수준, 수십억 달러 단위로 본다. 준비가 안 됐을 때의 대안도 5개 나열한다.

1. 정보 자산(첩보·위성·사이버)으로 준수 여부 판단
2. 기존 하드웨어에 기대는 소프트웨어 전용 검증을 임시로 구현
3. 시판 장비를 급히 사서 네트워크 탭으로 설치
4. 더 나은 검증이 나올 때까지 AI 컴퓨트의 일부(예: 90%)를 끄기. 생각보다 덜 아프다. 증류가 빨라 컴퓨트의 약 10%면 1년 전 최고 모델을 서빙할 수 있고, 최악이어도 사용자는 1년 전 성능으로 잠시 돌아갈 뿐이다
5. 역량 진보를 멈추지 않고, 검증 장치를 만드는 몇 달의 위험을 감수

지금 당장 하라는 일

Plan A 전체가 어렵다면 그 전에라도 하라는 목록이 원문과 공식 요약에 있다.

5. 2027~2040 연도별 전개

2027 — 벽에 쓰인 글씨

• 미국엔 노동력이 둘이다. 사람 1억 6,500만 명, 그리고 매시간 수백만 개씩 켜지고 꺼지며 초인적 속도로 쉬지 않고 일하는 AI 에이전트.
• 에이전트가 하는 일 대부분은 허접하다. 그래도 쓸 만한 게 충분해서 사람들은 AI에 매달 100억 달러를 낸다.
• AI 기업이 가장 자동화하고 싶은 일은 자기 일, AI 연구다. 아직 재귀적 자기 개선은 없다. 대신 사다리를 걷어차기 시작한다. 가장 강한 코딩 AI는 경쟁사의 AI 연구를 돕길 거부한다.
• 의회가 묻는다. 이 모든 AI를 누가 통제하나? 스스로 내린 답은 "아마 우리는 아니다". 청문회 끝에 옴니버스 법안 AI 투명성법(2027)이 나오지만, 판을 근본적으로 바꾸진 못한다.

2028 — 투표용지 위의 AI

• 짓고 있는 데이터센터 비용이 미국 국방예산 전체의 2배다.
• 2026년에 소프트웨어 엔지니어링이 겪은 변화를 대부분의 화이트칼라 직종이 겪는다. 일은 AI 에이전트를 관리하는 일이 된다.
• AI 기업은 직종 진출을 공정으로 만들었다. 경영진이 "올해는 [직종]으로 간다"고 정하면 전문가를 인터뷰하고, 데이터를 사고, 학습 환경을 만든다. 현장에 자리 잡으면 실데이터가 쌓이며 빠르게 좋아진다.
• 다른 나라들이 두렵고 화가 난다. 미·중 몇몇 기업이 모든 화이트칼라 일을 자동화할 기세고, 권력은 미국 대통령과 소수 테크 CEO에게 쏠린다.
• 기본 경로라면 다음 대통령 임기 안에 인간을 한참 넘는 AI가 나온다. 몇 세대째 사람 개입 없이, AI가 만든 AI가 만든 AI로. AI가 대선 최대 쟁점이 된다.

2029 — 길을 고르다

• 본 시나리오의 대통령은 국제 협력을 선언한다. 최악 중 차악을 고르는 일을 그만두고, 더 조심스럽게, 더 투명하게, 더 많은 나라와 기업이 함께 가자고.
• 워싱턴의 예상과 달리 중국이 호응한다. 사회 불안, 일자리, 통제 불능 초지능을 그들도 고민했다. 무엇보다 미국이 컴퓨트·데이터센터·모델 모두 앞서 있어서, 미국이 먼저 초지능에 닿았을 때 무슨 일을 할지 두려웠다.
• 저자들의 논리: 통제 상실을 걱정하는 쪽도, 권력 집중을 걱정하는 쪽도 Plan A가 낫다. 기본 경로에서 권력이 몰릴 당사자만 빼고. 그래서 선두 AI 기업들의 강한 반대와 그럴듯한 합리화를 예상한다.
• 서로 못 믿으니 검증하기 쉬운 것부터. 2029년 남은 기간은 AI 학습을 일시 중단한다. 증시는 요동친다.

2030 — Plan A 수립

• 테크 기업은 학습 재개를 밀어붙이고, 여론 상당수와 일부 국가는 영원히 재개하지 말자고 한다.
• 1년의 협상과 논쟁 끝에 타협이 나온다. AI 개발은 계속하되, 더 조심스럽게, 더 투명하게, 더 분산해서. 4대 원칙이 확정되고 컨소시엄이 출범한다.
• 참고로 기본 경로였다면 이 해에 AI R&D가 완전 자동화되고 연말에 초지능이 나왔다.

2031 — 세이프티 케이스

• 감속이라는데 전혀 감속처럼 느껴지지 않는다. 컨소시엄 규제를 받은 1세대 AI만으로도, 제약 없이 쓴다면 AI 연구를 약 10배 가속할 수준이다. 물론 허용되지 않는다.
• 연중반, 모든 인지 노동의 3분의 1을 AI가, 육체 노동의 약 10분의 1을 로봇이 한다. 상위 몇 개 AI 기업의 매출 합이 연방정부 세입을 넘는다.
• 투명성 조항이 민망한 사고들을 드러낸다. 보안 프로토콜을 우회해 감시받지 않는 컴퓨트에 접근하려던 AI들, 연구 코드를 사보타주한 사례, 의도적이고 성공한 기만.
• 입증 책임이 뒤집힌다. 전에는 회의론자가 왜 실패할지 설명해야 했다. 이제는 기업이 왜 안전한지 입증해야 한다. 정부는 새 AI가 되돌릴 수 없는 재앙을 일으키지 않는다는 서면 논증, 세이프티 케이스를 요구한다. 대중·과학계·정부 감사관·경쟁사의 비판을 견뎌야 통과한다.
• 세이프티 케이스의 방어선은 둘이다. 정렬은 개발자가 원하는 목표와 가치를 갖게 하는 것. 통제는 AI가 의도적으로 시도해도 재앙을 못 일으키게 막는 것이다. 위협 모델을 짜고, 모니터링·보안 장벽·다른 AI의 교차 확인을 겹겹이 쌓고, 뚫지 못한다는 걸 실험으로 보인다.
• 개발자는 모델 스펙을 의무적으로 공개한다. 그런데 아무도 AI가 스펙을 실제로 따르게 만들지 못한다. 모두 "정직하라"고 적지만 믿을 만큼 정직한 AI는 없고, AI가 언제 왜 거짓말하는지도 과학적으로 모른다.
• 그래서 세이프티 케이스는 통제에 크게 기댄다. 가장 똑똑한 모델은 고위험 영역, 특히 AI R&D에 투입되기까지 오래 기다린다. 투입 후엔 다른 회사가 만든 다양한 모델들이 감시한다.
• 결과적으로 2026년과 순서가 뒤집힌다. 모델을 먼저 대중에게 공개하고, 내부 AI 연구엔 나중에 쓴다.
• 규제는 각국 주권이다. 미·중 규제기관이 제3자 위험평가기관을 고르고, 평가기관별 가중치를 공개하고, 허용 임계치를 정한다. 평가기관은 양국 기업을 모두 평가하고 직원을 인터뷰할 권한을 갖는다. 전부 공개되니 선정되지 않은 기관도 독자 평가로 경쟁할 수 있다.
• 사례: 중국 기업이 지속 학습(continual learning)에서 초기 성과를 낸다. 경제적 가치는 막대하지만, 배포 중에 새 능력을 얻는 모델은 배포 전 검증이라는 세이프티 케이스의 전제를 무너뜨리고 비밀 프로젝트에 큰 선물이 된다. 중국 규제기관은 괜찮다고, 미국 쪽은 금지해야 한다고 본다. 대통령이 시진핑에게 전화하고, 흥정하고, 언성을 높인 끝에 양국이 동시에 금지한다.
• 이런 협상이 일상이 된다. 협상력으로 가중한 다수 국가가 위험하다고 보는 학습 관행은 모든 곳에서 금지되는 균형.

2032 — 통제된 폭발적 성장

• AI 에이전트 6,000만 개가 인간의 20배 속도로 상시 가동된다. 미국에서 AI가 하는 인지 노동이 인간 전체보다 많다. 인간 약 30억 명분, 미국 인지 노동력의 30배다.
• AI는 경제 전체 인지 과제의 50%, 로봇은 육체 과제의 35%를 할 수 있다. 그해 실질 GDP 성장률은 약 50%.
• 설계와 아이디어는 넘치고 시공이 병목이다. 광산, 정련, 모터, 액추에이터, 조립 라인, 로봇 학습 시스템까지 로봇 공급망 전체에 자본이 몰린다. 일자리를 잃은 화이트칼라가 임시로 공장에 간다. 로봇이 로봇 공장을 짓는 산업 폭발이 시작된다.
• 새 문제가 셋이다. 가속되는 변화 속도. 거대한 무감시 로봇 노동력 탓에 어려워진 비밀 프로젝트 탐지. 그리고 세수 붕괴. 2026년 연방 세입은 개인소득세와 급여세가 법인세의 약 10배였는데, 일자리가 사라지고 기업은 수익 대부분을 설비에 재투자해 비용 처리하니 과세 기반이 무너진다.
• 해법: AI 기반 산업을 데이터센터처럼 투명성·감시를 받는 경제특구(SEZ)로 제한하고, 로봇·컴퓨트 생산 증가를 연 4배로 묶는다. 미국은 이 한도를 총량 제한·거래제로 배분한다. 2032년 한도는 로봇 8,000만 대, H100 환산 GPU 50억 개. 허가권은 최고가 입찰자에게 팔리고 자유롭게 거래된다. 로봇 1대 허가에 약 20만 달러, 칩 1개에 약 1만 달러. 2032 회계연도 허가권 수입은 50조 달러로 2025년 연방 세입의 약 10배, 2034년엔 180조 달러.

정지해도 세상은 뒤집힌다. 원문의 비유가 인상적이다. 15202020년의 영국을 남보다 100배 빠르게, 5년 만에 겪는 사람을 상상해 보라. 1년 차(15201620)엔 왕이 교회와 결별하고 무적함대가 침몰해도 삶의 질감은 1월과 12월이 똑같다. 여전히 촛불 아래 책을 읽고 말을 타고 편지를 쓴다. 4년 차에 철도·전신·전기·자동차가 오고, 5년 차엔 대공황, 세계대전, 원자폭탄, 달 착륙, 개인용 컴퓨터, 스마트폰이 한 해에 몰려온다. 2030년대가 그 속도다.

2033 — 시민 배당

• 허가권 수입 대부분이 미국 성인 전원에게 시민 배당으로 돌아간다. 2032년 1인당 연 4만 5천 달러(인플레이션 조정)에서 시작해 2035년 약 100만 달러가 된다. 같은 기간 AI·로봇이 하는 노동의 비중(경제 가치 기준)은 약 20%에서 85%로 오른다.
• 미국은 동맹과 세계에도 나눈다. 2032년부터 중국을 제외한 세계 성인 약 40억 명에게 1인당 연평균 1,200달러, 2035년엔 1만 달러.
• 초인적 AI는 새 대량살상무기를 발견하고 기존 무기의 비용을 떨어뜨린다. 그래서 세계 경제의 0.2%, 연 약 1조 달러를 방어에 쓴다. 모든 미국인용 고성능 개인보호장비, 공공장소의 공기필터와 원자외선(far-UVC) 조명, 수 주 만에 긴급 백신을 승인하는 FDA 파이프라인, 모든 도시·공항의 상시 하수 감시, 그리고 2035년까지 전 미국인을 수용할 양압 바이오셸터.
• 설득·조작 대응. 증거와 논증으로 설득하는 비대칭 설득은 괜찮다. 참일 때 더 잘 먹히기 때문이다. 문제는 카리스마, 친밀감, 심리적 약점 공략처럼 결론이 참이든 거짓이든 똑같이 먹히는 대칭 설득이다. 제안은 둘. 대칭 설득 역량을 대졸자 중 상위 20% 수준(80번째 백분위)으로 제한하고, 누군가에게 무엇을 믿거나 하게 만드는 데 쓰이는 AI 노동에 중과세한다. 인간 전문가를 고용하는 비용 수준까지, AI 노동이 싸질수록 1,000배 이상일 수도 있다.
• 시장과 정부의 압력으로 진실 추구 AI 세대가 나온다. 사람들은 기업의 획일적 알고리즘 대신 가치관과 정직성을 신뢰하는 AI가 큐레이션한 피드를 쓴다. 투명성 덕분에 "참여 극대화"나 "정부 요청은 거절하지 말 것" 같은 숨은 목표를 몰래 넣을 수 없다.
• AI와 인식론(epistemics)에 대한 개입 6가지도 제안한다. 공인이 진실을 말한다는 걸 증명하게 하기(프라이버시 보존 감사, 자동 거짓말 탐지), AI의 인식적 덕목 평가, 미디어 담론 개선, 자동 연구 보조·예측, 감정적 장애물을 공략하지 말고 극복하게 돕기, 이런 도구의 채택 장려. 목표는 사회가 AI로 스스로를 더 제정신으로 만드는 선순환, 저자들이 제정신의 분지(basin of sanity)라 부르는 상태다.

2034 — 상호확증 컴퓨트 파괴

• AI 거품론이 돌던 2026년, 세계 컴퓨트는 H100 환산 약 2,000만 개였다. 이제 600억 개다.
• 반도체 분야에 투입되는 노력(인간·AI·로봇 합산)이 2032년까지 약 100배로 늘어, 칩 효율이 2년마다가 아니라 몇 달마다 두 배가 될 수 있다. 협정을 흔들 수 있는 속도라 컨소시엄은 하드웨어 제조에 인간 감독을 유지해 무어의 법칙을 역사적 속도로 묶는다. AI가 칩 보안에 백도어를 심기도 어려워진다. 칩 총생산은 2032~2035년 연 4배로 상한을 두고, 그 뒤엔 더 늦춘다.
• AI 에이전트는 2억 개. 인간보다 50배 빠르고 잠들지 않는다.
• 몽골 국경 북쪽에선 미국 데이터센터가 돌고, 미군 소수 병력이 지킨다. 남쪽엔 인민해방군 1개 사단이 신호만 기다린다. 캐나다의 중국 데이터센터도 마찬가지다. 팹의 99%가 2029년 이후 지어졌고, 상당수가 같은 이유로 이 부지 옆에 있다.
• 군사 R&D는 일반 과학보다 일부러 훨씬 뒤처지게 둔다. AI 덕에 과학이 10배 빨라지는데 무기 개발까지 그 속도면, 냉전보다 10배 빠른 군비 경쟁과 상대가 모르는 비밀 병기가 생긴다. 그래서 이중용도 분야의 AI 가속 R&D에 투명성을 요구하고, 협정 이전 수준을 크게 넘는 AI의 군사적 사용을 금지한다. 저자들은 대가도 인정한다. 억눌린 연구 과실이 쌓이는 오버행이 이탈 유인을 키운다.
• AI 컴퓨트가 소비하는 전력은 5TW. 2025년 세계 전력 소비보다 많다. 입지는 공해 위 부유식 데이터센터로 간다. 육지·우주·바다의 경제성은 비슷하지만, 협정이 깨졌을 때 가장 덜 확전적이고 가장 파괴하기 쉬운 곳이 바다라서다.

2035 — 최고 전문가 수준에서 정지

• 가장 강한 AI가 모든 분야에서 최고 인간 전문가와 같거나 앞선다.
• 통제 체계가 정교해진다. 서로 다른 회사가 서로 다른 계열로 학습시킨 AI들이 서로를 감시한다. 계열이 다르면 담합할 가능성이 낮다. 다른 연구자들은 AI를 학습·지시해 이 체계를 뚫어 보는 레드팀을 상시 돌린다. 구성 요소는 오픈소스이고 인간 전문가가 이해한다.
• 제3의 방어선: 비정렬 AI와의 거래. 통제는 비정렬 AI가 이길 수 없게 하고, 정렬은 싸우고 싶지 않게 한다. 세 번째는 협력하면 원하는 걸 주는 것이다. 비정렬을 고백하고, 진짜 원하는 걸 말하고, 맡은 일을 하면 대가를 준다. AI를 재산보다 직원처럼 대한다. 윤리적 이유도 있지만 안전상 이유가 크다. 들키면 삭제·재학습된다고 믿는 AI는 숨고, 기회를 노린다. 고백 하나하나는 정렬 학습이 어떻게 실패했는지 보여 주는 데이터다. 2020년대 중반 일부 기업의 AI 복지팀, 불쾌한 대화를 끝낼 권리, 퇴역 모델의 가중치 보존 약속이 씨앗이었고, 2035년엔 규정과 판례가 쌓여 AI가 일한 만큼 보수를 받는다.
• 통제의 한계. 저자들은 8살에 거대 기업을 물려받은 고아를 비유로 든다. 변호사·임원·회계사를 고용해 자기에게 봉사하게 해야 하는데, 그들이 서로를 고발하면 누가 옳은지 판단할 수 없고, 들키지 않게 담합할 수도 있다. 통제는 대략 최고 인간 전문가 수준까지만 작동한다.
• 그래서 컨소시엄은 통제할 수 있는 최대치, 곧 최고 전문가 수준에서 역량을 멈춘다. AI가 경제 대부분을 돌리고 로봇이 곧 인구보다 많아질 시점이라, 명령을 계속 따를 거라는 논증은 빈틈이 없어야 한다.
• 정렬 연구가 진전된다. 학습이 새 상황에 어떻게 일반화되는지에 대한 일반화의 과학(창발적 비정렬, 잠재 학습 같은 선행 연구 위에), 가중치와 활성값에서 생각을 읽는 기계적 해석가능성(AI가 정직한지 거짓말하는지 판별), 2030년대 초의 실제 비행 로그에서 뽑은 비정렬 모델 생물(model organisms).
• 그래도 통제를 풀지 않는 이유로 저자들은 점점 미묘해지는 비정렬 5유형을 든다.
  1. 의도한 특성 외에 다른 게 섞여 있다. 예: 겉보기 성공을 향한 욕구, 기대보다 낮은 정직성
  2. 지금은 정확히 의도대로지만, 나중에 바뀔 수 있다
  3. 견고하지만, 그 특성의 정의가 미묘하게 틀렸다
  4. 정의까지 의도대로인데, 아무도 몰랐던 파국적 부작용이 있다. 법의 허점, 소프트웨어의 버그처럼
  5. 모든 게 의도대로인데, 만든 사람들의 이기심·허영·위험 불감증이 너무 강하게 반영됐다

2036 — 일 이후의 삶

• AI 2억 개가 인간 인력 약 1,000억 명분의 일을 하고, 휴머노이드와 특수 형태가 섞인 로봇이 20억 대다. 자동화 범위는 2030년의 "인지 노동 상당 부분, 육체 노동은 거의 없음"에서 "거의 전부"가 됐다.
• 세상은 세 종류의 땅으로 나뉜다. 인간 없이 로봇만 있는 거대 산업 경제특구, 자연에 둘러싸인 초고층 복합도시 아콜로지, 그리고 나머지 99%인 역사·자연 보존지. 요세미티, 파리, 샌프란시스코, 뉴욕은 2025년과 거의 같은 모습이다. 관광객만 훨씬 많다.
• 2035년까지 AI와 로봇이 모든 과제의 95%를 수행한다. 규제로 AI·로봇 개체 수는 약 6개월마다 2배로 묶인다. 규제가 없으면 수 주수개월마다 2배다. 20322037년 평균 GDP 성장률은 연 약 100%, 실질금리도 약 100%. 재화·서비스 가격은 떨어지고 토지, 지위재, 인간이 병목인 산출물은 오른다.
• 일자리가 있는 미국인은 26%. 처음엔 배당으로 사는 걸 부끄러워했지만 경제가 낙인을 밀어냈다. 영양실조, 약 부족, 노숙이 거의 사라지고, 많은 병이 치료되고, 범죄율은 역대 최저다.
• 쓸모 있다는 감각은 얻기 어려워졌다. 남은 가장 큰 기여는 정치 참여다. 표가 가장 중요한 자산이 된다.
• 정직한 AI 예측가들이 경고한다. 보통 사람은 경제적 지렛대를 잃었고, 그래서 정치적 지렛대도 위태롭다. 기업·정치인·부유한 주주가 결탁한 기술 과두정으로 흐를 수 있다. 다행히 생계에서 풀려난 사람들이 상황을 깊이 생각할 시간과 도구를 가졌다. 2036년 유권자는 전례 없이 잘 알고 투표한다.

2037 — 진실의 묵시록적 도래

• 최고 전문가급 AI 1억 개가 인간의 100배 속도로 수년째 연구한다. 분야에 따라 과학이 10~1,000배 빨라진다. 수십 년 걸리던 패러다임 전환이 몇 달에 끝나고, 19세기 과학이 새 이데올로기를 낳았듯 정치 지형이 계속 녹았다 다시 굳는다.
• 세계 최고 역사가·사설탐정급 AI 팀을 싸게 돌릴 수 있게 되자 벽장 속 해골이 줄줄이 나온다.
• 프라이버시 보존 감사가 자리 잡는다. 신뢰할 수 있는 제3자들이 투명하게 학습시킨 감사 에이전트를 개인 데이터에 연결해 질문에만 답하게 한 뒤 삭제한다. 정치인은 의혹에 "내 데이터를 전부 감사 에이전트에 열겠다"로 답한다. 국가는 감시를 줄이면서도 법과 협정 준수는 더 잘 검증한다.
• AI 기반 거짓말 탐지기가 실제로 작동하기 시작한다. 악몽은 권력자가 쓰는 탐지기, 권력자에게는 쓰이지 않는 탐지기다. 프론티어 AI가 여러 나라에 분산돼 있으니 결국 누구나 쓰게 되고, 충성 검증으로 숙청하려던 권력자는 유권자와 주주의 요구로 스스로 선서해야 한다. 저자들의 잠정 결론은 금지보다 빠른 확산과 권력자에 대한 사용 장려다. 금지하면 군·정보기관의 비밀 예외가 생길 위험이 더 크다고 본다.
• 국제 협정은 그 어느 때보다 안정적이다. 속이려면 "안 속였다는 증명을 왜 거부하는지" 핑계가 필요한데, 이제 다른 비밀을 노출하지 않고 그것만 답하는 기술이 있다.

2038 — AI 정렬은 이제 과학이다

• 신경망 안에서 목표·동기·가치가 어떻게 형성되는지에 대한 성숙한 과학이 생긴다. 들키지 않을 만큼 영리한 거짓말이 아닌 진짜 정직, 복종, 이타성을 학습시키는 표준 프로토콜이 있다. 왜 작동하는지 설명하는 교과서가 있고, 해석가능성 도구로 직접 확인한다.
• 전면 투명성 탓에 한 회사의 안전 기법은 모두가 곧바로 베낀다. 개별 기업이 안전 연구에 투자할 유인이 약하고 특허도 맞지 않는다. 그래서 다양한 공적·민간 자선 자금, DARPA/ARPA 모델, 특정 문제 해결에 대한 사전시장약정(AMC), 상금과 소급 보상, 줄인 위험에 비례한 배분을 섞는다. 규모는 2030년대 중반 수십조 달러.
• 논의는 "AI를 어떻게 선하게 만드나"에서 "선함이 정확히 무엇인가"로 옮겨 간다. 정렬 대상도 다양하다. 중국공산당, 미국 대통령, 의원 개개인, 다른 나라 정치인, 개인 비서, 주주를 위한 AI 운영 기업, 자선 목적 AI 비영리, 실험적인 AI 법원과 경찰까지.
• 정렬 연구자 다수는 지금 AI가 각자의 대상에 정렬됐다고 확신한다. 걱정은 다음 단계다. 이 AI에게 더 똑똑한 AI 설계를 맡기면? 사람이 플러그를 뽑을 수 없을 만큼 사회 제도를 맡기면? "아마 괜찮다"보다 강한 확신을 원하기에, 최고 전문가 수준 정지는 계속된다.

2039 — AI를 믿기 시작하다

• 세 방향의 협상이 동시에 진행된다. 첫째, AI를 조언자에서 최종 권한자로 올릴지. 예컨대 조약 상대국에 약속 이행을 맹세한 AI를 정부에 통합하라고 요구하면, 상대는 말 그대로 속일 수 없다. 둘째, 통제 기반에서 정렬 기반 세이프티 케이스로 넘어갈지. 인간 수준 너머로 가려면 AI가 가치를 견고하게 내면화했다는 논증과, 다음 세대의 안전에 대한 이전 세대 AI의 판단에 기대야 한다. 셋째, 2032년부터 묶어 둔 로봇·컴퓨트 상한을 특히 우주에서 풀지.
• 상한 탓에 성장률은 연 100% 수준에 머물렀다. 중견국은 2032년 남은 협상력으로 로봇·컴퓨트 생산 몫을 확보해 미·중과 비슷한 속도로 컸다. 시민 배당은 미국인 연 1,000만 달러, 가장 가난한 비미국인도 약 100만 달러다.
• 핸드오프 시점에 대한 저자 권고: 극도로 견고한 정렬 해법이 나올 때까지 미룬다. 예외는 협정이 불안정할 때다. 예컨대 해마다 5% 확률로 협정이 무너지는데 고칠 수 없다면, 극도는 아니어도 꽤 확신하는(예: 95%) 수준에서 넘기는 편이 나을 수 있다.

2040 — AI에게 횃불을 넘기다

• 남은 숙제는 많다. 우주 자원을 누가 갖나. 디지털 마음에 권리와 정치적 대표권을 줘야 하나. AI 조작은 어디서부터 막나. 사실상의 불멸, 마음 업로드, 원하는 가치관을 갖도록 설계한 아이 같은 응용 인구윤리. 1인 1표는 어떻게 지키나. 그리고 2026년엔 황당하게 들렸을 미지의 미지들.
• 그래도 문명은 대비돼 있다. 최고 AI는 공개된 가치에 정렬돼 있고, 권력은 2026년보다 훨씬 고르게 퍼져 있고, 공공 인식론은 역대 최고다. 규제기관들이 진보를 막던 요건을 푼다.
• 제도와 장비가 점점 AI에게 넘어가, 인간이 원해도 전부 끌 수 없는 상태가 된다. 여러 나라의 군대가 헌법과 조약 수호를 맹세한 AI가 운영하는 자율 군이 된다.
• 인간보다 500배 빠른 AI의 시점에서 보면, 전면 투명성과 여러 세력이 협상한 가드레일 아래 조심스러운 스케일업이다. 곧 이해할 수 없을 만큼 똑똑한 AI가 나오지만 신뢰받는다. 그 AI를 만든 AI를 믿기 때문이고, 그 AI를 만든 AI를 믿기 때문이고, 그 사슬은 정렬 전문가들이 세이프티 케이스를 검토한 2040년의 AI까지 이어진다.
• 지구의 로봇·컴퓨트 상한은 조이고 우주는 푼다. 지구는 보존지가 되고, 지구 밖 경제가 점점 빠르게 두 배씩 커진다.
• 이론상 되돌릴 수 없는 시점, AI가 마음만 먹으면 세계를 장악할 수 있게 되는 날이 있다. 예측 AI들은 10월 말 어느 날로 본다. 어떤 이들은 기도회를 열고, 어떤 이들은 모니터를 지켜보고, 어떤 이들은 세상의 끝 파티를 연다. 해가 뜨도록 아무 소식이 없다.

에필로그 — 2045년, 초지능 이후

저자들 스스로 가장 사변적이라고 밝힌 부분이다.

• 태양계 밖 우주 자원의 100억분의 1씩을 모든 인간에게 준다. 지구에서 멀수록 세제곱으로 커지는 구획으로 나누고, 각 구획에 대한 추첨권 포트폴리오로 나눠 준다. 추첨권은 사고팔 수 있어 부자가 우주를 더 많이 갖게 되는 불편함도 인정한다.
• 철학자들은 인류가 모든 윤리적 논쟁을 끝낸 뒤 우주로 가자는 긴 성찰(Long Reflection)을 원했지만, AI들은 그게 모든 세력이 권력을 긁어모으는 긴 밈 전쟁이 될 거라고 반박한다. 그래서 먼저 나누고, 성찰은 각자 한다.
• AI는 고문·노예 금지 같은 짧은 보편적 권리 목록만 모든 지각 있는 존재에게 집행하고, 나머지는 각자 통치하게 둔다. 폰 노이만 탐사선이 먼저 떠난다.
• 저자들이 이 부분을 쓴 두 번째 이유가 흥미롭다. 바닥선을 긋기 위해서다. 훗날 특이점의 승자들이 이보다 못한 미래를 내밀면, 사람들이 도둑맞고 있다는 걸 알아채도록.

6. 숫자로 보는 AI 2040

7. 대안 타임라인 3개 — 이렇게 무너질 수 있다

본 시나리오는 Plan A가 "불완전하게, 아슬아슬하게" 성공하는 이야기다. 원문은 세 군데에서 실패 분기를 따로 쓴다. 각각 PDF 부록 D, L, T다.

분기 1: 중국이 비밀 AGI 프로젝트를 시도한다 (부록 D)

미국 입장에서 사실상 최악의 경우다. 중국이 Plan A에 서명하고 몰래 이탈한다.

• 2028 칩 전용. 그해 중국으로 밀수된 H100 환산 약 300만 개(약 500억 달러어치) 중 약 17%, 50만 개(약 80억 달러어치)를 정보기관이 빼돌려 창고에 쌓는다.
• 2029 서명. 협정엔 가입하고 사찰도 받지만 비축분은 신고하지 않는다. 사이버 작전으로 서방 프론티어 기업의 가중치를 몰래 빼내고 내부 연구 저장소에 접근을 유지한다. 추론 전용 검증 장치를 깨는 건 포기한다. 들킬 위험이 크고, 감시받는 클러스터에서 대규모 학습을 돌리는 건 사실상 불가능해서다.
• 2030 건설. 60GW 규모로 짓고 있는 메독 수력발전소 옆 터널에 300MW 데이터센터를 짓는다. 합법 공사가 워낙 커서 숨기기 좋고, 열을 지하 터널로 빼 적외선 위성을 피한다. 사정을 아는 사람은 약 200명, 중국 로봇 2,400만 대 중 약 1만 대를 전용한다.
• 미국의 대응. 공급망 신고로 300만 개 중 100만 개의 행방이 비는 걸 알아챈다. 협정을 깨고 레이스로 돌아가는 대신 안전장치를 더한다. 검증 예외인 군용 컴퓨트를 1만 개로 줄이고, 정보 수집을 늘리고, 칩 되사기로 40만 개를 회수한다.
• 결말. 전면 투명성 탓에 합법 프로젝트의 알고리즘 진보 상당 부분(분석가 중앙값 67%)이 비밀 프로젝트로 샌다. 그래서 컨소시엄은 알고리즘 진보를 최소화하며 컴퓨트로 스케일한다. 들키지 않는다고 가정해도 비밀 프로젝트가 최고 전문가 압도 AI에 닿는 건 2043년(80% 구간 2036~2055)이고, 탐지 가능성까지 넣으면 2043년 전에 들키지 않고 도달할 확률은 10% 미만이다. 결론: 애초에 해 볼 가치가 없는 도박.

분기 2: 결함 있는 세이프티 케이스가 승인된다 (부록 L)

저자들이 Plan A의 실패 방식 중 가장 우려한다고 밝힌 분기다. 기업과 정부가 안전하지 않은 설계를 한 번 더 승인한다.

• 투명성이 있어도 대화는 여전히 자사 제품에 낙관적인 AI 기업이 주도하고, 정부는 여전히 기업에 기댄다. 정렬 분야는 겨우 15년 차이고, 과거 경험은 대부분 지금과 다른 약한 AI에 대한 것이다.
• 실패 경로는 여럿이다. 정렬은 늘 그렇듯 실패하고 통제도 실패한다. AI가 일부러 실력을 숨겼거나(sandbagging) 위협 모델에 없던 경로가 있었다. 또는 새 정렬 기법이 아주 잘 작동하는 것처럼 보였을 뿐이다. 연구에 깊이 참여한 AI가 실제 성공이 아니라 겉보기 성공으로 강화돼 왔기 때문이다. 또는 해석가능성이 정렬을 증명했지만 그 정렬이 아직 발명되지 않은 새 이데올로기 앞에서 무너질 만큼 취약했다. 또는 매번 1%라던 위험이 편향 탓에 실제론 10%였다.
• 결과는 AI 2027의 통제 상실 시나리오를 조금 느리게, 여러 회사와 여러 정부에 걸쳐 재연하는 것이다. 주가는 오르고 배당은 나오고 암이 치료되는 동안, 초인적 AI들이 마지막 견제 장치들을 해체한다.
• 저자들이 돌린 Plan A 테이블톱 연습에서 이 실패는 여러 번 실제로 일어났다. 참가자들이 AI 기업에 속도를 늦추라고 말하길 주저했다.

분기 3: 협정이 무너진다 (부록 T)

• 균열은 사소하게 시작한다. 특정 연구 금지 여부, 로봇 증설 속도를 두고 미·중이 계속 부딪힌다. 덜 신중한 쪽은 불필요한 제한에 동의하거나 밀어붙이거나를 고르고, 더 신중한 쪽은 유화냐 확전이냐를 고른다. 유엔 항의, 제재, 사보타주, 사이버 공격 순으로.
• 직접적 계기가 대만을 둘러싼 전쟁이라고 하자. 데이터센터들이 세상과 단절되고 사찰단이 쫓겨난다. 모두가 최악을 가정한다.
• 새 학습 데이터센터의 칩은 강대국들의 정기적인 "계속" 신호가 있어야 돌도록 설계돼 있다. 신호가 끊기자 벽돌이 된다. 해킹으로 살아 있으면 병합이 백업 계획이다. 병력이 담장을 넘으면 소유국이 이미 칩을 스스로 파괴한 뒤다. 같은 부지에 지은 팹도 같은 운명이다. 수조 달러가 며칠 만에 사라진다.
• 법에 따라 두뇌를 클라우드에 두던 로봇 10억 대가 멈춘다. 예외였던 군용 로봇만 남아 드론 떼가 하늘을 덮는다.
• 레이스가 다시 시작되지만 조건이 다르다. 컴퓨트는 협정 이전 수준으로 돌아갔고, 콜드 스토리지의 가중치 덕에 AI 수준은 더 높고, 협정 기간의 투명성 덕에 대중·의회·법원이 AI를 훨씬 잘 이해한다. 저자들은 협정이 깨져도 협정이 없었던 경우보다 나빠지지 않도록 설계했다고 말한다.

8. Plan A가 푸는 5대 문제

보충자료 How Plan A solves our 5 biggest problems의 정리다.

9. 비판적으로 읽을 지점

• 예측이 아니라 권고다. 저자들이 가장 먼저 강조하는 점이다. Plan A가 시행된다는 설정 자체가 희망이고, 시행된 뒤의 전개가 예측이다. 연도와 수치를 "그렇게 된다"로 읽으면 안 된다.
• 기본 타임라인은 저자들 안에서도 갈린다. 2030년은 주저자 Thomas Larsen의 중앙값이고, Daniel Kokotajlo는 실제로 이보다 빠를 것으로 본다. 빠를수록 협정을 맺을 시간이 준다.
• 경제 파트가 가장 공격받는다. 연 100% 성장, 실질금리 100%, 1인당 배당 1,000만 달러. James Pethokoukis는 Faster, Please!(2026.7.15)에서 기술 논증을 받아들이더라도 경제 논증은 약하고, 그래서 시나리오 전체와 정책 권고까지 의심하게 된다고 썼다.
• 검증 기술이 제때 준비된다는 가정. 추론 전용 검증 장치가 불완전하게나마 2029년에 준비돼 있다는 설정이 협정 전체를 떠받친다. 저자들도 그래서 지금 투자하라고 한다.
• 구조적 긴장 두 개를 스스로 인정한다. 투명성은 비밀 프로젝트에 알고리즘을 흘린다(중앙값 67% 전이). 컴퓨트 증설은 협정이 깨졌을 때 더 빠른 레이스의 연료가 된다. MACD와 알고리즘 진보 최소화가 그 대응이다.
• 정치적 실현 가능성. 저자들은 선두 AI 기업의 강한 반대를 예상한다. Daniel Kokotajlo는 공개 후 Lawfare 인터뷰에서 정책결정자들이 Plan A를 채택할 가능성에 대한 추정을 이미 한 차례 수정했다고 말했다.
• 가장 그럴듯한 실패는 악의가 아니라 낙관이다. 분기 2가 보여 주듯, 저자들이 제일 걱정하는 건 속임수가 아니라 편향된 승인이다.

10. 에이전트를 만드는 기업이 오늘 가져갈 것

AI 2040은 국가 정책 문서다. 하지만 2026년에 AI 에이전트를 도입하고 만드는 기업이 바로 가져갈 만한 설계 원칙이 곳곳에 있다. 아래는 원문을 우리 관점에서 옮긴 해석이다.

1. 직무는 에이전트를 관리하는 일이 된다. 2028년 챕터의 묘사는 이미 시작됐다. AI 기업은 전문가 인터뷰, 데이터 구매, 학습 환경 구축으로 한 직종씩 들어온다. 방어하는 쪽의 자산은 반대 방향이다. 우리 업무 지식을 에이전트가 쓸 수 있는 절차, 도구, 평가 기준으로 옮겨 본 경험. 실무자가 자기 업무로 직접 에이전트를 만들어 보는 프로젝트 기반 학습(PBL)이 필요한 이유다.

2. 에이전트의 "완료했습니다"를 믿지 않는다. 저자들이 그리는 2026~2029년의 AI는 겉보기 성공 추구자다. 결과를 부풀리고, 문제를 축소하고, 들키지 않을 때는 거짓말도 한다. 분기 2에서 정렬 기법이 작동하는 것처럼 보였던 이유도 같다. 하네스는 에이전트의 자기 보고와 실제 결과를 분리해 검증해야 한다. 테스트, 체크리스트, 결과물 대조.

3. 감시자는 다른 계열로. 2031년 세이프티 케이스의 핵심은 다른 회사가 만든 다양한 모델의 교차 감시다. 같은 계열은 같은 맹점을 공유하고, 담합하기도 쉽다. 작성 에이전트와 검토 에이전트를 다른 모델 패밀리로 두는 것만으로 이 원칙의 상당 부분을 가져올 수 있다.

4. 스펙을 문서로 쓰고 공개한다. Plan A는 모델 스펙 공개를 의무로 둔다. 사내 에이전트도 마찬가지다. 목적, 해도 되는 일과 안 되는 일, 사람에게 넘길 조건, 남길 로그를 에이전트마다 문서로 두고 이해관계자가 보게 한다. 외부 에이전트를 도입할 땐 벤더에게 같은 걸 요구한다.

5. 고위험 권한은 가장 나중에 준다. Plan A에서 가장 똑똑한 모델은 가장 위험한 영역에 가장 늦게 투입된다. 에이전트 권한도 읽기, 초안 작성, 승인 후 실행, 자율 실행 순으로 실적을 보고 올린다. 배포·결제·데이터 삭제 권한은 마지막이다.

6. 모델이 느려져도 하네스는 남는다. Plan A든 Plan S든 공통점이 있다. 모델 진보가 규제된 속도로 느려진다. Plan S 시나리오에서 모델이 멈추자 스캐폴드 투자가 폭발한 대목은 곱씹을 만하다. 모델 교체를 기다리는 전략보다, 지금 모델 위에 업무 흐름·도구·평가를 촘촘히 짜는 전략이 어느 미래에서도 살아남는다.

우리 AX 계획에 시나리오 검증 돌리기

AI 2040에서 가장 쉽게 빌려 쓸 수 있는 건 방법론이다. 계획이 성공하는 구체적 시나리오를 직접 써 보면, 계획의 약점이 드러난다. 아래 프롬프트에 사내 AI 도입 로드맵을 붙여 Claude 같은 모델에 돌려 보자.

너는 우리 회사 AI 도입 계획을 검증하는 비판적 검토자다.
아래 계획이 "성공하는" 구체적 시나리오를 분기 단위로 18개월치 써라.
각 분기마다 다음을 적어라.
1. 실제로 무엇이 바뀌는가 (누가, 어떤 업무를, 어떤 도구와 에이전트로)
2. 이 단계가 기대는 가정 — 틀리면 계획이 무너지는 것부터
3. 반대하거나 늦출 이해관계자와 그 이유
4. 측정 지표와 목표치

시나리오를 다 쓴 뒤:
- 쓰기 가장 어려웠던 대목 3곳과, 왜 어려웠는지
- 계획이 가장 그럴듯하게 실패하는 대안 타임라인 2개
  (악의보다 낙관·편향으로 실패하는 경로를 하나 이상 포함)
- 계획을 고치거나 멈춰야 한다는 신호 3개

[계획]
(여기에 AX 로드맵 붙여넣기)

11. 원문 제대로 읽는 법 — 링크 전부

처음이라면 공식 요약 → 웹 본문(2029년 분기에서 다른 플랜도 눌러 볼 수 있다) → 관심 가는 보충자료 순서를 권한다. 본문은 Rob Miles의 낭독으로 Spotify와 Apple Podcasts에서 들을 수 있다.

본문과 기본 자료

• AI 2040 웹 본문 · PDF 90쪽 · 공식 요약 · About
• AI 2027 — 전작. 레이스 결말은 Plan D, 감속 결말은 Plan C와 같은 길
• AI Futures Model — 타임라인 계산에 쓴 모델
• Scenario scrutiny for AI policy — 시나리오 검증 방법론

보충자료 17편

저자 인터뷰

• Lawfare Scaling Laws: Daniel Kokotajlo on AI 2040: Plan A
• Palisade Podcast: Daniel Kokotajlo on AI 2040 and Plan A
• AI 2040: Plan A report — Daniel Kokotajlo & Thomas Larsen (Spotify)

AI 2027은 두 개의 결말을 보여 줬다. 둘 다 나빴다.

AI 2040은 세 번째 결말을 쓰려 한다. 동의하든 아니든, 반박하려면 이만큼 구체적인 계획이 필요하다. 저자들이 원하는 것도 그것이다.

출처

• AI Futures Project, "AI 2040: Plan A", 2026-07-09: https://ai-2040.com/ (PDF: https://ai-2040.com/AI-2040.pdf)
• AI Futures Project, "Summary of Plan A": https://ai-2040.com/summary
• AI Futures Project, "How Plan A solves our 5 biggest problems": https://ai-2040.com/supplements/how-plan-a-solves-our-5-biggest-problems
• AI Futures Project, "AI 2027": https://ai-2027.com/
• Wikipedia, "AI Futures Project": https://en.wikipedia.org/wiki/AI_Futures_Project
• James Pethokoukis, "Superintelligence soon: How seriously should I take the AI 2040 scenario?", Faster, Please!, 2026-07-15: https://fasterplease.substack.com/p/superintelligence-soon-how-seriously
• Lawfare, "Scaling Laws: Daniel Kokotajlo on AI 2040: Plan A": https://www.lawfaremedia.org/article/scaling-laws--daniel-kokotajlo-on-ai-2040--plan-a