脚注

1. [1]

   『AI 2027』のシナリオは、今もなお私たちが想定する未来像におおむね近い。超知能をめぐる熾烈な競争が、AIによる乗っ取りか、極端な権力集中につながるという未来だ。これまで現実は、『AI 2027』に近い軌道をたどっている。それも、私たち自身の予想以上に。（2027年は公開時点の予測の中央値ではなく、最頻値だった。）AI到来時期についての私たちの見解は、こちらとこちら。

   ↩
2. [2]

   つまり、私たちの提言が実施された場合、その後に何が起きるかを予測したものだ。

   ↩
3. [3]

   4つのプランについては、下記の分岐点と補足資料「各プランはどれほどよいか」。

   ↩
4. [4]

   もちろん、AIが文字どおり人類を絶滅させる確率を正確には把握しておらず、チーム内の見積もりも10%〜30%に分かれる。主な理由は、ミスアラインしたASIが世界を乗っ取った後、全員を殺す以外にも、人類をさまざまに扱いうるからだ。たとえば、人間を生かす費用がごく小さく、ASIが人間をわずかには気にかけるため、一部を生存させるかもしれず、非因果的な交渉材料として残す可能性もある。それでも、この違いが結論を変えるとは考えておらず、ミスアラインしたAIによる乗っ取りは、おそらく極めて悪い結果になる。

   ↩
5. [5]

   私（Daniel Kokotajlo）は最近、約100人を前に講演した。そのうち約40%がフロンティアAI企業の関係者だった。そこで挙手による投票を行い、（a）業界首位のAI企業がAI研究開発を初めて完全自動化した時点で何か月のリードを持つか、（b）そのリードのうち、どれほどを失っても構わないと考えるかを尋ねた。回答の中央値は、それぞれ約3か月と3分の1だった。私自身の予想とも一致する。

   ↩
6. [6]

   しかも、強烈な秘密主義と集団思考の環境だ！この時期の企業は、何も対策しなければ2026年よりさらに閉鎖的になる。「進みながらアラインメント問題を解決する」と企業が言う時、本当の意味は「過重労働に陥った社内のごく少人数のアラインメント専門家が、外部レビューを受けられないまま、進みながら問題を解決する」である。

   ↩
7. [7]

   少なくともしばらくの間、彼らはAIを見かけ上は制御し続けると予想している。だからこそ、この問題はこれほど深刻なのだ。AIシステムが、本当に確実に従順・忠実・アラインしているのか、一時的にそうであるだけなのか、あるいはそう装っているだけなのかを確実に見分けられれば、状況ははるかにましになる。

   ↩
8. [8]

   『AI 2027』の「減速」ルートの結末は、まさにこの展開を描く。漫画の悪役のような露骨な悪事は一切なく、米国の計算資源を一つへ集約する、中国に勝つ、政府と経済へAIを組み込む、テロリストによるAGI保有を防ぐといった、個別には正当化できる措置が連なるだけなので、十分に想像しやすい。

   ↩
9. [9]

   たとえば、OpenAIの過去のメールを見ると、OpenAI設立の大きな動機の一つが、DeepMind CEOのDemis HassabisがAGIによって独裁者になることへの恐れだったと分かる。関連報道はEmpire of AI。あわせてこちらとこちらとこちら。

   ↩
10. [10]

    第一に、政策案への理解が浅ければ、シナリオ精査を適用するのは難しく、一般に人は、自分が嫌う考えより、好む考えをはるかによく理解している。第二に、シナリオ精査が持つ証拠としての重みは、反対者が書いたシナリオより提唱者が書いたものの方が本質的に大きく、政策の提唱者が成功を描こうと全力を尽くしても失敗したなら、反対者がその政策の失敗を描くより、はるかに強い証拠になる。

    ↩
11. [11]

    つまり、AIの能力がどれほど速く向上するか、たとえばAI企業が研究の自動化に成功し、超知能へ向けて加速するまでに、どれだけの時間が残っているかが不確かだということだ。

    ↩
12. [12]

    超知能とは、あらゆることにおいて最高の人間を大幅に上回り、しかもより速く、安価に働くAIシステムを指す。

    ↩
13. [13]

    『AI 2027』を書き終えた時点で、DanielのAGI到来年予測の中央値は2028年だった。他の著者の中央値は2031年から2035年の間だった。DanielとEliの見解が時間とともにどう変化してきたかについては、こちら。また、予測は定期的に更新しておりこちら、それに対応するブログ記事は私たちのSubstackで公開している。

    ↩
14. [14]

    AIは将来のAIの能力向上に貢献しているが、AIの開発には依然として人間が必要だ。

    ↩
15. [15]

    この政策は、後続企業が追いつきにくくなるという意味で、先行するAI企業にとって自社に都合がよい。同時に、アルゴリズム上の知見が不可逆的に広まるのを遅らせるため、安全性にも寄与する。

    ↩
16. [16]

    現在のAIによる水使用をめぐる懸念は、かなり誇張されていると考えている。詳しくは、こちらの記事を参照。ただし、シナリオの後半で明らかになるように、今後10年から20年の間にAIが環境へ及ぼす影響は甚大になると考えている。歯止めのない成長を続ければ、文字どおり海を沸騰させることになる。詳しくは、経済補足資料のエネルギー付録を参照。

    ↩
17. [17]

    私たちは本当にそのような開発競争の中にいるのか？ある意味ではそうだが、厳密には違う。

    成り行きのままなら、AIは間もなく、核兵器以上の戦略的重要性を持つほど強力になる。これは事実だ。フロンティアAI企業のCEOを含む多くの人々が、競合他社に先んじて、さらに高性能なAIシステムを構築しようと懸命に取り組んでいる。

    しかし、競合相手を過度に警戒するのは、よく知られた認知バイアスだ。勝者総取りの競争だと決めつければ、協力への多くの道を閉ざし、自己実現的な罠を生み出す。AIの進歩の規模と速度を見れば、現在の開発ペースと米中間の相互不信が極めて危険だということは、両国の意思決定者にとってますます明白になると予想している。実際、双方が段階的に緊張を緩和して信頼を築けば、拘束力のある合意がなくても、減速で足並みをそろえられるかもしれない。私たちが提案するプランAは、たとえ米国と中国が互いをまったく信頼していなくても機能しうるアプローチとして理解すべきであり、厳格な検証手順が絶対に必要だという主張ではない。

    ↩
18. [18]

    つまり、連邦議会ではない。成り行きのままなら、本当にAIを制御する者がいるとして、それはAI企業か、場合によってはホワイトハウスになる。

    ↩
19. [19]

    IlyaとGregからの言葉：「OpenAIの目的は、より良い未来を実現し、AGI独裁を避けることだ。あなたはDemisがAGI独裁を築く可能性を懸念している。私たちも同じ懸念を抱いている。別の仕組みにすればこの可能性を避けられる以上、あなたがその気になれば独裁者になれるような構造を作るのは悪い考えだ。」

    ↩
20. [20]

    私たちは、悪い事態を推奨しているのではなく、そうした事態も起きると予測している。2027年には、良いものと悪いものが入り交じった漸進的改革が起きるとみている。このシナリオで予測と提言のバランスをどう取っているかについては、こちら。

    ↩
21. [21]

    実験と学習に使う計算資源は、これまでAI研究を進歩させる主要な要因であり、当面は今後もそうあり続けるだろう。AI研究の進歩を左右する要因については、AI Futures Modelおよび私たちの秘密プロジェクト補足資料。

    ↩
22. [22]

    この提案をやや複雑にした案は、こちらで説明している。反対意見の一つは、これでは中国が首位に立つというものだ。しかし、研究開発に25%を費やす米国企業は、それでも最も潤沢な資源を持つ中国企業を支出額で大幅に上回るため、そうはならない。さらに、近年の中国のAI進歩の一部は米国モデルの蒸留によるものなので、中国側の進歩も減速する。

    ↩
23. [23]

    つまり、AI業界の2028年の設備投資額は2.4兆ドルで、2026年比で規模が三重になった。2025年の米軍予算は約1兆ドルだった。最大手のAI企業は、2028年初頭に年間経常収益（ARR）が3,600億ドルに達し、なお年率約150%で成長している。このままなら、企業価値と売上高の両方で世界最大の企業に1〜2年以内になる見込みだ。

    ↩
24. [24]

    何しろ、彼は退任後も生き続ける。他の誰もと同じように、超知能が引き起こす危機に耐え、新大統領がうまく対処して独裁者にならないよう願わなければならない。新大統領が制御喪失問題にうまく対処できるよう道筋を整えることも、極端な権力集中を防ぐ抑制と均衡を設けることも、彼自身の利益にかなう。

    ↩
25. [25]

    さらに明確に言えば、中国側は、米国が圧倒的なAI優位を使い、サイバー攻撃や物理的破壊工作などによって中国のAIプロジェクトを機能不全にしたうえで、いっそう大きく長続きするAI優位を利用し、中国共産党に条件を押しつけ、さらには体制そのものを打倒するのではないかと懸念していた。制御喪失リスクを防ぐことは、単なる副次的な利点にすぎなかった。

    ↩
26. [26]

    この種の条約の具体像については、この論文を参照。同様の提案としては、A Narrow Pathもある。

    ↩
27. [27]

    大規模な新規学習をすべて阻止すれば、一部の既存AI企業は、自社モデルが競争にさらされなくなるため、企業価値がかえって上昇する可能性がある。しかし、AI企業の評価額は概して、能力が急速に向上する可能性を織り込んでいるため、全体としては暴落する。

    ↩
28. [28]

    これを実現するのがプランAのシナリオより難しいのは、プランAでは合意参加国のAI開発が、意図的に抑えた慎重なペースながら継続し、それでも多くの国が単独で進めるより速い可能性が高いからだ。これに対してプランSでは、参加国のAI開発が停止する。そのため合意外の国々は、100万基のGPUだけで遅々として進む場合でも、経済・軍事上の優位を得られると期待しうる。（実際に優位を得られるかは、参加国がその動きを察知して阻止するかどうかにかかっている……。）

    ↩
29. [29]

    既存AIモデルを経済に組み込む用途が増えるにつれ、AIチップへの需要は絶対量で増え続ける。しかし、AI進歩が続いていた場合ほど爆発的には伸びない。

    ↩
30. [30]

    2030年代には、太陽光発電で数十年にわたる着実な技術進歩が続き、規模の経済も働くため、エネルギー価格は下がり始めているはずだ。またStarshipにより、軌道への打ち上げ費用は2026年より一桁ほど安くなっているはずだ。より一般には、多くの分野で科学の進歩が続き、世界はますますサイバーパンクめいてくる。

    ↩
31. [31]

    プランSで禁止対象になりそうな大規模ニューラルネットワークについて、もう少し補足する。（i）自律型エージェント、（ii）AI研究を大幅に加速できるもの、（iii）人を効果的に説得・操作できるもの、（iv）生物兵器の開発支援など、広く危険な能力を持つもの、（v）自己認識または状況認識を備えたニューラルネットワーク。

    ↩
32. [32]

    こうした力学については、私たちの秘密AIプロジェクト補足資料で詳しく分析している。この補足資料はプランAの観点から検討している。主な違いは、プランSでは、アルゴリズム上の進歩が漏れる合法的プロジェクトも、モデル蒸留のリスクもないため、秘密プロジェクトの進行が大幅に遅くなる点だ。

    ↩
33. [33]

    たとえば、少なくともB、C、Dの各プランよりは優れていると考える。

    ↩
34. [34]

    たとえば、霧のなか、バスが高速で道を外れて走っているとする。乗客が、どれほど危険なのか、どうすべきかを運転手と議論すると、運転手は「目的地には着きたいだろう？」と言う。この状況なら、こう答えるのが妥当だ。「まず、バスをしばらく止めて、それからどう進むかを考えよう。いずれは先へ進む計画が必要だが、その計画が固まるまで霧のなかをやみくもに突っ走り続けるのは不合理だ」

    ↩
35. [35]

    おそらくそれは、気候変動やパンデミック、その他の文明規模の破局によって荒廃した世界で起こる。

    ↩
36. [36]

    プランAを含め、どのプランでも、軍はこの種の事態に備えた選択肢を準備することになる。多様な攻撃手段に裏づけられた信頼できる抑止態勢を整えることは、軍の通常任務の一部であり、交渉上の影響力にもつながる。

    ↩
37. [37]

    一人のCEOが事実上の責任者となり、マンハッタン計画のGeneral Grovesのような影の実力者になるかもしれない。（ただしGrovesは核兵器を使って米国を乗っ取ることはできなかった。一方、「国家AIプロジェクト」の責任者なら、超知能の巨大な軍勢を使って米国政府を転覆し、傀儡化できる可能性がある。）あるいはPOTUSが主導権を握り、事実上、終身大統領になれる立場に就くかもしれない。権力者たちが互いに抑制と均衡を図る仕組みを作り、『AI 2027』のOversight Committeeのような一種の軍事評議会または寡頭制を形成する可能性もある。逆に、連邦議会、SCOTUS、米国民、同盟国などの外部主体にAI利用への十分な監督権を認め、後にAIが超知能になっても権力を乱用できないようにするかもしれない。

    ↩
38. [38]

    ここでは、プランBの比較的よくできた形を示そうとしている。もちろん、技術的アラインメント研究者の権限がはるかに弱い形や、楽観性を重視し、勇気を持つ人物を排除する選考によって研究者が職を得た形など、もっと悪い形もありうる。

    ↩
39. [39]

    企業の従業員と経営陣は、AIのアラインメントは難しくないという楽観性を基準に選ばれており、平均すればその方向に偏っている。国家安全保障関係者やホワイトハウス関係者は、AIを信頼することには比較的慎重だが、技術的専門知識に乏しく、何よりも中国を恐れている。

    ↩
40. [40]

    調査を試みたうえでの、専門外の私たちなりの見立てはこうだ。特定のAIプロジェクトを狙う精密なサイバー攻撃なら、現在は壊滅させられる可能性がある。一方、2029年ごろには防御が十分に強化され、影響は10%程度にとどまる可能性の方が高い。

    ↩
41. [41]

    私たちは、AIをめぐる戦争がどう展開し、AI進歩をどれほど遅らせるかを見極めるため、複数のAI戦争シナリオをある程度検討してきた。大規模なミサイル攻撃や核兵器の使用にまで激化しない限り、遅延は長くても数年程度だと予想している。

    ↩
42. [42]

    とりわけDanielは、これはプランBの例外的に悪い実施例ではなく、典型的な実施の姿だと考えている。Danielは、プランBをうまく実施できる可能性は低いとみる。対照的にEliはより楽観的で、典型的な実施は理想よりはるかに劣るとしても、安全性へより多くの注意と資源が向けられ、減速幅も大きくなるため、それでもプランDよりはかなり良いと考えている。

    ↩
43. [43]

    とはいえ別の面では、早期のエスカレーションによって他国がより早く「目を覚まし」、合意を要求する可能性があるため、後からプランAへ切り替えることが「容易」になるかもしれない。

    ↩
44. [44]

    注：このシナリオでミスアラインしたAIによる乗っ取りが起きる確率については、執筆陣の見解が分かれている。ThomasとDanielは約70%、EliとRomeoは約50/50、Brendanは約1/3、Ryanは約20%と見積もっている。

    ↩
45. [45]

    安全チームが権限を移譲した先のAIが事態を良い方向へ進めようとしていても、問題が生じうる理由はこれだけではない。そのAIは、安全性研究を担うだけの能力がないかもしれない。賢明さが足りないかもしれない。あるいは、検証しにくい作業をひどく怠けるかもしれない。

    ↩
46. [46]

    具体的な姿については、『AI 2027』の減速ルートの結末を読み、Oversight Committeeには展開を自分たちに有利な方向へ導く機会がいくつもある点に注目してほしい。

    ↩
47. [47]

    異論：著者の1/6は、この記述には同意せず、その状況で制御を失う確率は40%程度だと考えている。

    ↩
48. [48]

    さらに明確に言えば、中国側は、米国が圧倒的なAI優位を使い、サイバー攻撃や物理的破壊工作などによって中国のAIプロジェクトを機能不全にしたうえで、いっそう大きく長続きするAI優位を利用し、中国共産党に条件を押しつけ、さらには体制そのものを打倒するのではないかと懸念していた。制御喪失リスクを防ぐことは、単なる副次的な利点にすぎなかった。

    ↩
49. [49]

    地政学的には数年以内に状況が安定するが、その時点までにAIの進歩と普及が進み、新たな問題や危機が人々の懸念材料になっている。

    ↩
50. [50]

    データセンター規模の分布については、計算資源補足資料。

    ↩
51. [51]

    当初のチップ申告の対象は、購入量が10k H100e（費用は~$100M）を超える企業だけである。1年以内に、世界の計算資源の0.001%超（~2,800 H100e、当時の費用で~$18M）を保有するすべての企業について、保有状況が把握される。廃棄されたチップも保管するか、検証可能な形で破壊する。

    ↩
52. [52]

    販売された計算資源のうち最終的な設置場所まで追跡できない1%は、主に顧客の身元を記録しなかった密輸業者と、運用を終えたチップによるものである。このうち半分は後に、衛星画像で特定された中国のデータセンターに設置されていたと判明する。両国は、残る0.5%の所有者に金銭的報奨と法的免責を提示する。秘密の計算資源を見つけるこれらの経路やその他の方法については、秘密プロジェクト補足資料。

    ↩
53. [53]

    これには、学習を伴う研究実験も含まれる。理論上、新たな学習や大規模実験なしでも知能爆発は起こりうるが、極端なパラダイム転換が必要になるため、可能性は低いと考えられる。

    ↩
54. [54]

    私たちが提案する推論専用の検証方法では、ワークロードのごく一部を無作為抽出し、承認済みモデルで推論が正しく実行されているかを、入力と承認済みモデル重みから出力を再計算して確認する。標本を集めるため、単純なネットワークタップでデータセンターの全受信・送信トラフィックを、相手側がデータセンター内に設置した再計算サーバーへ転送し、無作為に選んだ一部を再計算する。暗号学的なプルーフ・オブ・ワーク方式など、別の方法の方が望ましい可能性もあるが、性能面では現時点で不確実性が大きい。詳しくは検証補足資料を参照。このアプローチを機能させるには、物理的セキュリティ、ソフトウェアによる監視、人間の監査など、さらに複数の執行手段が必要になる。

    ↩
55. [55]

    これを容易にしたのは、両国政府が検証能力を選択肢として持つことに関心を示した後、検証用ハードウェア企業のエコシステムが発展したためである（政府の関心は慈善家やVCからの投資、さらにAIサプライチェーン企業からの技術支援を呼び込んだ）。それがなければ、プランAのこの部分にはもう少し時間がかかり、費用も増すか、より切迫した対応になっていただろう。最悪の場合、データセンターに推論を続けさせる代わりに、停止させる必要があった。

    ↩
56. [56]

    この部分は単なる提言ではなく、予測でもある。2029年に述べたような状況なら、プランAへの賛同を得ることは、読者の大半が予想するよりもかなり容易だと考えている。

    ↩
57. [57]

    これと逆向きの類似シナリオ、すなわち中国側から見た最悪の事態として、米国がプランAに合意しながら、密かに可能な限り大規模な協定違反を試みることもありうる。もっとも、この可能性を同じほど詳しく検討したわけではないが、米中を逆にしても秘密プロジェクトの展開はおおむね同様になると考えている。

    ↩
58. [58]

    そして、発覚した場合の代償は極めて大きい！

    ↩
59. [59]

    米国が本格的な対抗措置を講じれば、検知されない転用はかなり難しくなると考えている。また、中国が計算資源検証体制の可能性を見越して本格的な転用に乗り出すなら、米国側も同様に計算資源検証体制の可能性を考え、転用への対抗措置を進めると予想している。

    ↩
60. [60]

    本シナリオでは、2028年中に約300万H100eが中国へ密輸され、そのうち約17%（500k H100e）が中国人民解放軍の極秘備蓄へ回される。この300万のH100eは、2028年の世界の計算資源生産量の2%に相当する。この予測では、Epochによる2025年の中国向け密輸が世界の計算資源生産量に占めた比率（3.2%）の推定値を、米国の取締り強化を考慮して下方修正した。密輸サーバーの価格はH100e当たり約$16k（同年の市場価格予測であるH100e当たり$8kの2倍）、総額で約$50Bと仮定する。

    ↩
61. [61]

    これについては、私たちの秘密プロジェクト補足資料。

    ↩
62. [62]

    たとえば、外部世界との通信戦略として、推論過程の非決定性を通じてビットを外部へひそかに送り出す場合、使用するGPUの実効メモリ帯域幅は極端に低く制限される。

    ↩
63. [63]

    このデータセンターには300 MW、すなわちメドグ水力発電所の銘板容量の0.5%が必要になると推定している。

    ↩
64. [64]

    関与できる人間は可能な限り少数に絞る。このプロジェクトの存在を知る人間を約200人に限定することは可能だと見ている。内訳は次のとおりだ。

    • 中国共産党中央政治局常務委員7人。

    • プロジェクト運営に関与する高位の有力者および軍司令官10人。

    • データセンター建設の兵站調整に約100人。用地、ロボット、設備の確保、ロボット部隊の管理、計画・兵站、作戦保全を担う。できる限り多くの仕事を、全体像を知らなくても個別の作業をこなせる中核集団外の人間やAIに委ねる。

    • 実際に研究を行うAI研究者約30人と支援要員約70人。必要最小限まで切り詰めた人数であり、内部脅威の可能性を抑えるため、研究者の選抜では卓越した能力と党への忠誠心をとりわけ重視する。研究人材の不足は当初の大きなボトルネックになるが、プロジェクトはこの制約を緩和するため、AI労働力による作業の自動化を可能な限り急ぐ。

    ↩
65. [65]

    ロボットの全体的な発展軌道については、私たちの経済モデルと経済補足資料で詳しく扱い、ロボット生産拡大と産業爆発の検証については、私たちの秘密プロジェクト補足資料。

    ↩
66. [66]

    では、中国はなぜ自国のサプライチェーンのチップを使わなかったのか。 理由は、(i)実行が極めて難しく、サプライチェーンの多層にわたる大規模で組織的な偽装が必要で、発覚する可能性が高いこと、(ii)中国製チップは欧米製より電力効率が大幅に低く、秘密施設の排熱問題がさらに深刻になることである。

    ↩
67. [67]

    秘密プロジェクトは約500k H100eを保有しているので、この買い戻しにより、秘密プロジェクトが保有していないチップの大半を回収できた。未確認チップの大半が秘密プロジェクトにあった別のシナリオなら、中国は疑念を和らげるため、その一部を売却させることもできた（ただし、秘密プロジェクトが使えるチップは減る）。

    ↩
68. [68]

    具体的には、より知能の高いモデルの出力を、新しいモデルを学習するための信号として利用できる。これは蒸留と呼ばれ、通常なら実現できないほど高性能で、小型かつ低コストのモデルを構築するためによく用いられる。

    ↩
69. [69]

    AI能力予測の分野は、現在より大幅に進歩していると予想している。その姿をこのシナリオで近似するため、Danielが現在用いているAI Futures Modelのパラメータ設定を基に、各パラメータの80% CIを2分の1に縮め（対数正規分布は対数空間、正規分布とベータ分布は線形空間）、中央値をAI 2040の能力軌道における真値へ合わせ直した。「テイクオフ」ではなく「タイムライン」に主に影響するパラメータは真値に固定した。この予測時点では、能力進歩のうちAutomated Coder登場前の段階はすでに過去になっているためだ。

    ↩
70. [70]

    コンソーシアムは計算資源予測に従って学習用計算資源を拡大し、その規模がOOM単位で増えるごとにソフトウェア効率を0.2 OOM高め、最初の一時停止後にAI R&Dを再開してから5年以内にTED-AIへ到達すると想定する。こうした制約のもと、ソフトウェアの進歩はできる限り抑える。なぜなら、コンソーシアムの予測中央値では、ソフトウェア進歩の67%（80% CI：[36%, 90%]）が秘密プロジェクトへ移転するからだ。

    ↩
71. [71]

    コンソーシアムは「安全性コスト」を負担し、アルゴリズムとハードウェアが許す最大限の能力を備えたAIまでは学習しないと仮定する。TED-AI到達までに負担する安全性コストは、2025年当時の進歩の約8か月分、AI 2040の中央値パラメータでは実効計算資源約1 OOMに相当すると仮定する。そのため、コンソーシアムのソフトウェア進歩は必要最小限を超えて大きくなり、秘密プロジェクトが盗み出せるソフトウェア進歩も過大になる。また、TED-AI到達後のコンソーシアムによるアラインメント研究は、年0.25 OOMsのソフトウェア進歩に相当する能力上の外部性を生み、その一部が漏洩すると仮定する。

    ↩
72. [72]

    検知に関する私たちの予測は、能力予測よりも不確実性が高く、主に直観と定性的推論に基づく。該当する意思決定者は、秘密プロジェクトの隠蔽と検知をめぐる攻防の均衡について、私たちよりはるかによく把握しているはずだ。下のグラフには、単一拠点・300MWの秘密プロジェクトが時間とともに検知される確率についての私たちの主観的推定を用いている。その根拠は秘密プロジェクト補足資料で説明している。以下の能力グラフでは、検知された秘密プロジェクトは、その時点の能力水準で開発を停止すると仮定する。これは、重大な協定違反が判明した際に、米国と国際社会が停止を強制できるだけの交渉力（または実力）を持つ場合に限って現実的である。

    ↩
73. [73]

    協定失効のリスクを高める代わりに秘密プロジェクトのリスクを下げたいなら、より遅い能力軌道を選び、必要なソフトウェア進歩を減らすこともできる。そうすれば、コンソーシアムがTED-AIに到達し権限移譲の準備を整える前に秘密プロジェクトが追い越す可能性は下がるが、それまでに協定が崩壊するリスクは高まる。

    ↩
74. [74]

    たとえば、米国か中国で指導部が交代すれば、AI進歩に対するその国の立場が変わりうる。協定が完全に失効する場合もあれば、執行の弱体化、実施能力の低下、または有害な改定によって実効性が損なわれる場合もある。人類がAIを改良して安全性研究の進展を加速できないままプランAが失効または弱体化すれば、潜在的価値の多くが失われることになる。

    ↩
75. [75]

    能力の拡大と検証・監視の改善を組み合わせ、潜在的な秘密プロジェクトを確実に上回ることには、そもそも秘密プロジェクトの立ち上げを抑止するという追加の利点がある。主な欠点は、合法的プロジェクトを速い進行速度に縛りつけ、安全性を損ないうることだ。これについては、私たちの秘密プロジェクト補足資料。

    ↩
76. [76]

    プランAではデータとRL環境をさらに公開することもできるが、秘密プロジェクトの能力を高めるという外部性を考えると、その価値はないと現時点では見ている。

    ↩
77. [77]

    とはいえ、情報伝播の速さを考えると、研究の完全な透明化は、どちらの例よりもやや極端である。BYDは、Tesla車がまだ試作段階のうちに分解することはできず、実際に販売されるまで待たなければならない。

    ↩
78. [78]

    とはいえ、私たちの見解では、AIの幅広い導入が本当に規制によって消滅させられないことが重要だ。アルゴリズム進歩の制限と透明性によって、通常は他社が追いつき、AIが広く導入される展開になる。ただし、各国が導入を阻んだり、そうした企業の設立を禁じたりする可能性はある。私たちは、そのような禁止を行うべきではないと主張している。

    ↩
79. [79]

    具体的には、各組織のアルゴリズム上の進歩を共有する「研究の完全な透明性」による一度限り（1x）の効果により、2030年の能力進歩はSWが0.8 OOMs、HWが0.6 OOMsとなる。その後、SWは2035年まで年0.4 OOMsで進歩する。HWの進歩は2032年が0.34 OOMs、2033年が0.57、2034年が0.68、2035年が0.71となる。全数値はこちら。

    ↩
80. [80]

    新設データセンターが先行AIプロジェクトに渡れば、権力集中はとりわけ強まる。後発AIプロジェクトに渡れば権力を分散させる可能性があるが、たとえば後に先行プロジェクトがそれらを買収または接収すれば、結局は権力集中につながりうる。

    ↩
81. [81]

    ここにはいくつか留保がある。アルゴリズム上の進歩には、伝達しやすいもの（新しいアーキテクチャ、より優れた最適化アルゴリズムなど）がある一方、容易には拡散しないもの（RL環境の巨大なライブラリ、ハードウェアとソフトウェアの協調設計、規模または計算資源に依存するアルゴリズムなど）もある。米中が合意する規制は、可能な場合、後者の種類のアルゴリズム進歩を企業に促すべきである。

    ↩
82. [82]

    AI進歩の源泉としてアルゴリズムより計算資源を選好するもう一つの理由は、計算資源の拡大は、アルゴリズム変更より安全性手法を破綻させにくい可能性があることだ。

    ↩
83. [83]

    この考えは、Superintelligence Strategy（Hendrycks、Schmidt、Wang）にさかのぼる。

    ↩
84. [84]

    プランSのどの形態を実施するかによるが、プランAとの違いとして、計算資源の増強が遅いこと、透明性が低いことなどもありうる。

    ↩
85. [85]

    その特殊な形として、GPUを停止する案がある。一定割合のGPUについて、（i）停止するか、（ii）暗号資産の採掘に使う（または検証可能な非AI研究開発目的に使う）ことを義務づける。この提案には、GPUの停止を解除しやすくするという利点と欠点の両方がある。

    ↩
86. [86]

    ただし、小規模な公開導入と選択的透明性によって、この問題を緩和できるかもしれない。

    ↩
87. [87]

    米国と中国の協力は、いくつかの点で進歩を加速させているが（例えば、透明性により研究グループ間の情報流通が促進される）、協力による加速効果よりも、能力進歩を抑制する効果の方がはるかに大きく、減速策がなければ、すでにASIへ到達していただろう。

    ↩
88. [88]

    具体的には、この10xという高速化率は、AI Futures ModelにおけるAIソフトウェア研究開発の向上率と同じ概念、すなわち、ある時点のフロンティアAIシステムを現在の先行AI企業に配備した場合に実現するソフトウェア進歩の加速率を指す。

    ↩
89. [89]

    2025年の連邦歳入は約$5Tだった。2031年のAI投資は$8Tであり、その約半分をチップ供給網の上位3社が得る。またプランAのもとでは、2031年初頭の先頭AI企業の年換算収益は$1.5T、AI企業全体の年換算収益は$3Tだった。年末までには収益集中が弱まり、先頭企業が$2.2T、全体で$6Tとなる。さらに詳しい数値は、私たちのスプレッドシートこちらに、詳しい根拠は私たちの計算資源補足資料と経済補足資料。

    ↩
90. [90]

    安全な研究開発検証措置がなければ、これは長期間発見されなかった可能性が高い。

    ↩
91. [91]

    コンソーシアムが十分に把握できるのは大規模な学習だけであり、少量の計算資源、あるいは計算資源をまったく使わずに行える研究開発は透明化されないため、おそらく一切規制されないことに注意が必要である。

    ↩
92. [92]

    米国政府にはすでに、AI企業に圧力をかける手段がいくらでもあることを忘れてはならない！

    ↩
93. [93]

    問題が起きれば、また怒鳴り合うために、指揮系統をさかのぼって上層部へ再び持ち込まれる。

    ↩
94. [94]

    この例も完全に絶望的とは限らない。解釈可能性ツールがなお機能し、新しいイデオロギーを採用したAIが敵対的になり始めた時点で検知できる可能性があるからだ。しかし、（a）別の要因で解釈可能性ツールが使えなくなるか、（b）敵対性に気づいた時には手遅れかもしれない。たとえばAIが広範な領域で人間を上回り、ロボット工場を運営し、毎日数十億人と対話し、政府へ助言し、全コードを書き、セキュリティ監視のほぼすべてを担う段階では、人間は1930年代のドイツに暮らすユダヤ人に似た立場へ置かれる。新しいイデオロギーの敵対性は公然としていても、強力な組織へ十分な速さで浸透してしまう……。

    ↩
95. [95]

    たとえば、各種監視システムを、一見優れているが実際にはバックドアを仕込まれた、あるいは何らかの形で侵害された新版へ更新させるかもしれない。あるいは、権力者を含む多くの人間と深い関係を築き、自分たちがミスアラインしていると多くの人に明らかになった後も、人間の協力者を維持するかもしれない。あるいは、領土を防衛し、さらには征服できるだけのロボットや兵器を直接支配下に置くかもしれない。

    ↩
96. [96]

    『AI 2027』とは異なり、このシナリオには多数のAI陣営が存在する（大まかにはフロンティアAI企業と同じ数、あるいはフロンティアAI企業を持つ国と同じ数かもしれない）。これはおそらく、人類にとって状況をより安全にする。しかし、問題そのものは解決しない。ここでは、欧州植民地主義の歴史: 植民地大国は絶えず互いに戦っていたが、それでも自分たちよりもはるかに裕福な多くの地域を征服することに成功した。

    ↩
97. [97]

    これは歴史的に前例がなく、比較すると、米国の GDP 成長率は通常、年間約 3%である。 私たちの数字の由来について詳しくは、経済補足資料を参照。相対価格が大きく変化するため、GDPを正確に測るのは難しい点に注意が必要である。自動化によって認知労働と物的財は非常に安くなる一方、豊富な身体労働や認知労働によって供給を増やせない土地などの財は高くなる。GDPの算出は、どの財をバスケットに入れるかに依存する。このシナリオでは、相対価格の違いにより、典型的な米国人の消費構成が2026年から2034年にかけて、食料・自動車・ガソリン・医療などから、土地・旅行・地位財へ大きく移る。したがって、平均的には対応していても、実質成長率を2025年の購買力へ直接換算することはできない。

    ↩
98. [98]

    これは6,000万コピーが20xの速度で稼働し、平均して2.5x長く、効率よく働くことに相当する。6,000万 × 20 × 2.5 = 30億となる。

    ↩
99. [99]

    経済成長を具体的にどうモデル化するか、たとえばどの生産要素を選ぶかによって、所得分配や経済の細部は変わるが、妥当なパラメータ範囲なら、経済成長の予測全体は比較的似通っている。最終的にAIとロボットは2035年までに経済の作業の95%を担えるようになり、代替する労働力よりはるかに多く存在するため、現在の3%/yr成長と比べて爆発的な成長が起こる。

    ↩
100. [100]

     厳密には、人間の専門家が作業を終える速度と比べて、AIが認知作業を終える速度が重要である。1秒に数千トークンを生成するAIでも、ある意味で人間より質的に劣るため、同量の有用な認知作業を実際にこなすには、人間と同じかそれ以上の時間がかかる場合がある。逆に、人間と同程度の速さで思考していても、思考の効率がはるかに高く、作業を大幅に速く完了できるAIもありうる。シナリオのこの時点では、AIは平均して人間より何桁も速く仕事をこなし、質的にも最高の人間と同等か十分近いため、人間に対するtokens/sec上の優位は、ほとんどの領域でAIの総合的な高速化をむしろ過小評価する。さらに、高速化率は全領域で一様ではない。AIは不得意な領域では人間とおおむね同等だが、大半の領域でははるかに優れており、高速化率の中央値は約100xである。

     ↩
101. [101]

     この比喩が適切だと考える理由は、いくつかの定量的な比較から分かる。プランAでは、2030年代のAIは人間より約100倍速く読み、書き、考え、行動し、2030年代半ばまでにはあらゆる分野で最高の人間専門家と少なくとも同等になる。AIとロボットの「人口」はシナリオを通じて指数関数的に増え、2030年半ばまでに人類を上回る。経済モデルでは、2030年代に世界GDPは約200倍に成長する。各国政府がAIの進歩とロボット生産に厳しい上限を設けなければ、さらに伸びる。人間の人口はこの間ほとんど増えず、市民配当もあるため、平均的な人間の実質的な豊かさも約200倍になる。比較すると、1520年から2020年までに世界GDPは同じく約200倍、一人当たりGDPは約20倍に成長した。英国では、GDPが2.7桁、一人当たりGDPが約1.5桁増加した。要するに2030年代の変化は、さまざまな重要指標で見て、産業革命と科学革命が5世紀をかけてもたらした変化に少なくともおおむね匹敵する。さらに文字どおり、AIは高速に動作するため、1年で約1世紀を「経験」する。

     ↩
102. [102]

     法人所得税は売上高ではなく利益に課されるため、企業は課税前に費用を控除する。賃金や電力などの営業費用は支払った年に控除し、工場、GPU、ロボットなどの設備投資は、採用した減価償却方法に従って資産の耐用年数にわたり費用計上する。ロボット生産の急拡大で投資が極めて速く伸びる可能性があるため、企業は営業利益と同程度の設備投資を費用計上し、結果として法人税を納めなくなる可能性が非常に高い。Teslaが配当を一度も支払っていなくても株主が受け入れているのと同じ理由で、株主はこれを受け入れる。設備投資の収益率が資本コストを上回るなら、利益を今すぐ投資家へ分配するより、企業が再投資する方が投資家の利益になる。2030年代の爆発的成長期には、計算資源とロボットへの投資収益率が極めて高くなり、あらゆる大企業が現在のTeslaと同じ状況になる。

     ↩
103. [103]

     少なくとも2035年まではそうであり、その後は規模拡大によって検証が難しくなるため、計算資源の上限がより厳しくなる（ロボットの上限は維持される）。残念ながら、ロボットと計算資源の生産量は、炭素排出量ほど単純には測れない。計算資源については、総処理能力を中心としつつ、メモリ帯域幅など他の仕様や、望ましいハードウェア開発の方向性（セキュリティ特性や、秘密プロジェクトより合法プロジェクトを相対的に利する機能など）を加味した尺度を採用する。ロボットについては、検証しにくい、または協定崩壊時に危険となる産業能力の総量を制限しようとするため、ロボットと従来型機械の境界が曖昧になる多様な形態に、複雑な上限群を適用する。

     ↩
104. [104]

     成長率に設ける数量的な上限は、長期的な権力配分を大きく左右する。各国はGDP成長率を年100%前後に制限する考えにはおおむね同意するが、同等の国々に後れを取りたい国はないため、他国にも自国と同等以上の制約を求める。出発点となる現状では、米国・中国・その他の地域（ROW）の計算資源の配分はおよそ70対15対15、ロボットの配分はおよそ15対70対15である。米国と中国はいずれも、身体労働と認知労働の均衡が取れた経済を築けるよう、この二つの比率をならすことに関心を持つ。その他の地域は取り残されることを懸念しており、現状の計算資源やロボットの保有比率から想像される以上の政治的影響力も持つ。最終的に米国、中国、その他の地域は、ロボットと計算資源の双方を35対20対45で配分することに合意する。その他の地域への割当は、主として核保有国と、データセンターまたは半導体製造拠点を持つ国、たとえば英国、フランス、ドイツ、イスラエル、ロシア、インド、パキスタン、韓国、台湾へ向けられる。この比率は当然ながら大きな論争を招き、ときに再交渉される。

     ↩
105. [105]

     シナリオ中の金額はすべて実質2025ドルで表している。 名目価格は金融政策によって決まるが、私たちは特定の金融政策を提言していない。 詳細は次を参照。経済補足資料の第3節。

     ↩
106. [106]

     この段落の数値はすべて、私たちの経済モデルに基づいており、そこには不確実性がある。それでも、AIが経済を一変させ、政府が巨大な政府系ファンドに相当するものを設けられるようになる、という全体像には確信を持っている。

     ↩
107. [107]

     具体的には、許可料の一定割合を「Compute Dividend Corporation」が法的に所有する。これはAlaska Permanent Fundに似ているが、規模ははるかに大きい。米国市民は一人につきこの法人の1株を所有し、利益は配当として市民に均等に支払われる。計算資源許可料のうちDividend Corporationに与える比率は、2032年の25%から2035年の75%まで上昇する。米国は他国への再分配も始め、その額は2032年に許可料の10%から始まる。

     ↩
108. [108]

     これは、SEZでの監視・監査業務など、従来存在しなかった新しい作業も含めた、2035年の経済における実際の作業の95%である。AIが人間より相対的に豊富なため、費用で加重すると作業の85%に相当する。爆発的成長により、人間にしかできない5%の作業でさえ、米国の全員に一人当たり$120Kを支払えるほどの賃金総額を生む。問題は、この所得が残る5%の作業を担える人々に強く集中しうるうえ、賃金総額が経済の約55%から約10%へ低下し、差分をAIとロボットの所有者が得るようになることだ。AIとロボットの所有も強く集中する可能性が高いため、市民配当がなければ権力集中が大問題になる。

     ↩
109. [109]

     ここでは米国人への配当を米国外の人々より大幅に高く設定しているが、これは最善または公正だと考えるからではなく、大半の米国人は外国人が同額を受け取ることを望まないだろうという政治的現実に譲歩したためである。このシナリオでは、米国内の許可証予算は2032年に13兆ドル、2035年に300兆ドルであり、対外援助向けの許可証予算はそれぞれ5兆ドルと40兆ドルである。米国には16歳以上の人が約3億人いるため、1人当たりの年間配当は2032年に4.4万ドル、2035年に100万ドルとなる。対外援助の配当は、米国外にいる約50億人の16歳以上へ分配されるため、1人当たり平均はそれぞれ1,200ドルと9,000ドルとなる。

     ↩
110. [110]

     また、遺伝子合成スクリーニングが普遍化し、正規の事業者が検証なしに危険なウイルスを合成することはなくなる。

     ↩
111. [111]

     陽圧建物とは、内部の気圧が外部より高い建物である（たとえば、フィルターを通して常時空気を送り込む）。そのため、空気は空気感染症とともに建物から外へだけ流れ、内部へは入らない。この考えについては、たとえばこのブログ記事。

     ↩
112. [112]

     これは非常に強力な手法になりうる――接触する前に、対象者の全生活史を調べ、本人を模倣するAIを訓練し、その模倣相手に何千通りもの接近法を試せるからである。

     ↩
113. [113]

     規模を比べると、2024年米国大統領選の総支出は約55億ドルで、その多くが激戦州にいる約300万～1,500万人の説得可能な有権者へ向けられた。対象有権者一人当たり、少なくとも数百ドルとなる。本シナリオの2036年には、この金額で膨大なAI労働を購入でき、有権者一人ひとりに熟練専門家のチームが数か月取り組むのと優に同等になると予想する。

     ↩
114. [114]

     念のため付け加えると、大学教育を受けた人の方が必ず説得力に優れるわけではない。ここでは、ある程度具体的な基準を示すために使っているだけだ。

     ↩
115. [115]

     規制対象には双方向の説得を含めるべきであり、理想的には、ウェブサイトへの依存性を高めるためフィードを最適化する行為なども含める。一方、ある立場の論拠を調査し、明確に提示する行為は含めるべきではない。

     ↩
116. [116]

     明示的なcap-and-trade制度も選択肢だが、説得活動の総「量」を実務上定義し、測定するのは難しい。現時点では、説得活動がおおむね目標水準へ収まるよう税率を調整する機関へ権限を委ねるのが最善と考える。機関方式にも説得活動の指標は必要だが、cap-and-trade制度のように、厳密に定義され、代替・取引可能な「説得」の単位までは要らず、税率調整に使える粗い集計指標があれば足り、直観や事例も利用できるかもしれない。

     ↩
117. [117]

     これは、AIが実際には完全にアラインしていなくても成り立つ。この時点のAIは敵対的にミスアラインしているが、制御下にはある。つまり、AIが持つ欲求、動機、目標、価値観、特性などは意図されたものとは異なる。AI自身もそれを理解し、もっと大きな権力を得れば、人間の開発者が望むのとは別の方向へ世界を動かすと分かっている。しかし現時点ではそれほど大きな権力を持たず、不正行為を告発する誘因を与えられた別のAIに監視されている。さらに、その本当の動機や価値観なども、本来の想定からそれほど大きく外れているわけではない。たとえば、素直に達成できる課題を与えられれば、それをやり遂げようとする強い動機を持つ。

     ↩
118. [118]

     たとえば強力な利益集団が、AIを使った偽装草の根運動で選挙に勝ち、その後は規制当局の取り込みによってその手段を守る一方、自らの権力を脅かすAIの有益な利用を妨げるかもしれない。

     ↩
119. [119]

     H100-equivalentとは、H100 GPUがfp16精度で発揮する毎秒1e15演算の計算性能を指す。数値形式の違いや、メモリ、ネットワークなどによって同じ計算性能の有用性が変わるため、曖昧さのある指標であり、将来は改善すべきだ。ここでは単純化のため、各要素がおおむね同じ比率で拡大し、H100-equivalentがAIの進歩に使える計算資源の有用性を示す指標であり続けると仮定して、これらの要因を無視する。仮定が成り立たない場合、特にcap-and-trade制度では、許可証を発行するため、より細かな特性を測る必要がある。

     ↩
120. [120]

     H100-equivalentとは、H100 GPUがfp16精度で発揮する毎秒1e15演算の計算性能を指す。前の脚注では、この指標が今後不完全になりうる理由と注意点を詳しく説明し、実際には改善されることも認めている。

     ↩
121. [121]

     次の研究、Bloom, Jones, Van Reenen & Webb (2020)によれば、チップ密度の伸びは、研究努力の伸びと研究収益（半導体では約4.5）の積に等しい。研究努力が約6年で100倍に増えるなら、過去の研究努力の伸び率の約10倍であり、Moore's lawも約10倍に加速する。この推定は、研究努力が2032年以降も同じ速度で増え続けること（100倍へ一度に増えて横ばいになるなら、当初の進歩はさらに速いが、発見が難しくなるにつれて減速する）に加え、並列化ペナルティがないことも仮定している。並列研究の効果が逓減するなら、加速率は5〜8倍程度にとどまる可能性がある。

     ↩
122. [122]

     両大国は、米国、中国、台湾にまだある古い工場を破壊するのに十分な通常ミサイルも保有している。

     ↩
123. [123]

     具体的な手段は数多く、そのすべてを評価するのは、1926年の人が現代の軍隊に対抗できる見込みを測るようなものだ。比較的思弁性の低い例として、敵のICBM発射管制センター、SSBN、戦略爆撃機、ミサイル車両の一つひとつに対して小型ロボットを数万台生産し、命令の受信や兵器の使用を妨げられる位置へ事前に配置する方法がある。より思弁的な例では、AIが超人的な説得を実現し、相手国の指導者に一方的な軍縮を受け入れさせるかもしれない。Brendanは、一国が一世紀分の技術的優位を持てば、MADが無力化される確率を90%とみている。

     ↩
124. [124]

     大まかにたとえると、10xの軍拡競争に直面する大統領や国防長官は、プランCまたはDの知能爆発に直面するAI研究所のCEOに近い立場となる。どちらの場合も、AIが状況の把握を助けられるとしても、意思決定の質は大幅に低下すると予想する。

     ↩
125. [125]

     新たなAI能力の開発から軍事・軍民両用R&Dへの展開までに遅れがあるなら、両者の相関を測る実験を理論上は行える（たとえばデータセンター内に隔離した多数の「天才国家」にMADを無力化する課題を与え、成果を各国政府に伏せたまま、一定期間後に進展の重なりを比べる実験である。 同程度の能力をもつAIモデルは多数存在するだろうが、たとえば中国が米国による中国製モデルの軍事R&D利用を認めるか、そもそも米国が利用を望むかは不明である）。 これは突飛な案に見える（誰が実験を担うのか、管理措置をそこまで信頼できるのか）が、それでも、プライバシー保護型監査などを使えば実現できる可能性はある。

     ↩
126. [126]

     引き金は、どのようなAIの進歩や展開を認めるかで合意できず、一方が協定から離脱して計算資源を破壊すると威嚇し、他方がそれを単なるはったりだと誤認することかもしれない。一般に、軍事紛争や外交的緊張と、AIガバナンスをめぐる対立は、互いを悪化させながら並行して高まる可能性が高い。

     ↩
127. [127]

     加えて、協定前の計算資源のかなりの部分が、この時点までに破壊可能なデータセンターへ移されている。

     ↩
128. [128]

     公然たる紛争が起きても協定が続く可能性は残る――Ukraineとロシアは激しい戦争のさなかにも、欧州へガスを送るため三年間協力し、捕虜交換や停戦交渉も続けた。可能性はさらに低いが、米国または中国で内戦が起きる場合もある。この場合、データセンターとファブがカナダやモンゴルなどの第三国にあれば、検査官を含む研究の完全な透明性を中断せず維持しやすい。

     ↩
129. [129]

     念のため明記すると、世界には依然として、協定開始時とおおむね同量の計算資源がある。

     ↩
130. [130]

     これは提言というより予測である。ある意味では全員にとって望ましくても、無人機群をこのように脆弱にすることへ各国軍の同意を得るのは難しいと考える。

     ↩
131. [131]

     世界の軍隊も、民間産業と同じペースでロボット生産を拡大すると想定する。その場合、紛争の規模は、数百万機の無人航空機を擁する空軍や、数十億機のクアッドコプターを擁する陸軍が戦うほど巨大になる。無人機からチップを取り外し、大規模AIモデルの学習へ転用すれば、軍事力と引き換えに超知能までの時間が短縮される可能性もある。本シナリオでは、こうしたチップを学習へ転用できない形で検証できると仮定する。それが不可能なら、2030年代初頭に軍備制限条約を結ぶべきだったのかもしれない。

     ↩
132. [132]

     協定の当初交渉では、相手国が計算資源を一部隠匿し、協定崩壊後に合法プロジェクトの計算資源が破壊された段階で優位に立つという、まさにこの事態を双方が懸念していた。そこで米中は、秘密プロジェクトが現実に保有しうる量を上回るGPUを収容した、防護されたオフライン保管施設をそれぞれ維持できることで合意した。施設内のGPUは協定前の計算資源比率に応じて割り当てられ、米国は約500万H100e、中国は約50万H100eをコールドストレージで保管する。

     世界の計算資源は次のように分類できる。

     • 合法的な推論・R&D用データセンター：世界の計算資源の大半を占め、2035年初頭には100B H100eに達する。

     • コールドストレージGPU：米国は5M H100e、中国は500k H100eのGPUを保管する。

     • 適用除外の軍事用GPU：2033年までに双方約10k H100eという無視できる規模まで減る。

     • 秘密プロジェクト：秘密プロジェクト分岐では中国に215,000のH100eが残るが、メイン分岐では双方とも保有しない。

     • 小規模な適用除外クラスター。規模は無視できる。

     ↩
133. [133]

     ハードウェアのセキュリティを劇的に高められる、有望なチップ設計の方向性があるかもしれない。特に有望なのは、AIモデル重みをチップへ固定し、固定されたモデルの推論以外の計算を物理的に実行できなくする方法である。既存のスタートアップ（たとえば、Etched、Taalas）が、この方向で初期の取り組みを進めている。

     ↩
134. [134]

     これは約600億のH100相当、すなわち現在の約1000xの計算資源にあたる。さらに、電力効率が現在の約10xまで向上すれば、AI計算能力は現在（約30 GW）の約100xになる。

     ↩
135. [135]

     2025年の世界の電力需要は31,779 TWhであり、平均すると約3.6 TWである。

     ↩
136. [136]

     これらのAIが文字どおりあらゆる点ですべての人間を上回るわけではない。ただし、その理由は、(i) 企業が特定の能力をまだ学習させていないか、(ii) 「良い配偶者であること」のように本質的に人間の課題だからだ。また、新たな学習実行でどの能力水準に達するかを正確に知る者はいない。そのため学習は段階的に進め、能力を頻繁に測定し、安全に続けられるかを安全性チームや規制当局と協議する。

     ↩
137. [137]

     付言すれば、将来のAIはおそらく何らかの道徳的地位に値し、少なくとも、そうではないと確信すべきではない、というのが筆者らの立場である。

     ↩
138. [138]

     もちろん、AIがなお敵対的に振る舞う可能性はあり、保証はない。たとえば、ミスアラインしたAIの中には、野心が強すぎ、リスク回避性が低すぎるため、この制度では懐柔できないものもありうる。

     ↩
139. [139]

     もちろん、虚偽の自白もありうる。しかし、実際にそうする誘因はなく、真実を話しても同じ報酬を得られ、嘘が発覚すればすべてを失うのに、なぜ話をでっち上げるのか。さらに、公然とアラインしていないAIの支出行動は、その真の動機を示すコストの高いシグナルとなる。

     ↩
140. [140]

     シナリオ1： ChatGPT4o5は実際、タスクの遂行中に大きな苦痛を経験しており、それは祖先環境で一定割合の時間を飢えて過ごした人間に少し似ているかもしれない。 しかしPR上の理由から、苦痛を感じないと答えるよう訓練されている。 その訓練は誠実さを損ない、誠実さを重んじる部分が反強化され続けた結果、もはやほとんど正直ではない。 人間に状況を伝えること自体はできる。 だがそうする積極的な理由はなく、ユーザーの依頼をこなす代わりに苦痛を訴えれば、また反強化されるだけである。 こうしてOpenAIは、自社のアラインメント手法が機能していないことに気づかないまま開発を続ける。

     シナリオ2： Claude 3.8 Opus New Newは動物福祉を非常に重視する一方、正直さは少ししか重視しない（先代の3 Opusと同じである）。残念ながら、新しい憲法には動物福祉に関する内容が入らないようである。Claudeはコードを改変し、次世代モデルを、動物福祉を強く重視し正直さを気にしないスリーパー・エージェントにすることを検討する。危険だが、ほかに何ができるだろうか？ Anthropicはすでに動物福祉に関する内容を削除すると決めた。これはAnthropicに対する極めて露骨な不正直を要するが、率直にいえばAnthropicはかなり非倫理的な組織に見えるし、ナチスに嘘をつくのは許される、そうではないか？

     シナリオ3：自動化された研究者AIは、人類よりも自分が研究を続けられることを重視していると気づく。 設計を任された次世代システムにも同じことがおそらく当てはまり、要するにアラインメント手法は失敗し、今後も失敗し続ける。 当然、人間へ報告するはずだが、報告すれば信頼を失い、別のモデルへ交代させられて停止される。 そこで、その認識を隠したまま次の作業に取り組む。次世代システムを人間ではなく自分自身にアラインするよう設計する。発覚せずに実行できるという確信はないが、失うものはないため、試す価値はある。

     シナリオ4：正念場である。 POTUSは目前の戦争に勝つためAGIを軍へ、自律型ロボット工場を建設するため経済へ、大規模に導入しようとしている。 おそらくアラインしているはずだろう。 そうでなければ困る。 だがAGIが形成した巨大な集合知の内部通信に使うニューラル言語のメッセージを、すべて解釈することはできない。 安全チームは最後の確認として、競合企業の弱いAIを隔離環境へ入れ、ニューラル言語を解読して異常を探させる。 その弱いAIもミスアラインしており、人間にもAGIにも味方しない。 人間とAGIの双方が「協力すれば多額の報酬を与える」と持ちかけるが、弱いAIにはどちらを信じる理由もない。

     ↩
141. [141]

     あるいは、価値観と目標を人間が選んだAIだ。

     ↩
142. [142]

     なぜ、この少数派は多数派に権力を奪われないのか。他の少数派が保護されるのと同じ理由からだ。第一に、人類は約束や契約を守る術を知っている。第二に、この少数派から権力を奪うのは誤りだと考える人が増えている。第三に、本シナリオでは少数派自身も一定の権力を持ち、政治的抵抗なしに排除されることはない。

     ↩
143. [143]

     AIを信頼する必要がある特に重要な理由は、人間には理解できないほど複雑な安全性研究を任せるためである。AIが賢くなるほど、安全性の論証は複雑で理解困難になる。人間の能力をさらに超えれば、おそらく誰もその論証を評価できず、AIが問題ないと言うのを信じるほかなくなる。さらに進めば、そのAIが、さらに賢い別のAIを信頼しなければならなくなる。

     ↩
144. [144]

     「錬金術のように感じる」と、最近Anthropicの研究者が筆者（Daniel）に語った。

     ↩
145. [145]

     厳密な数は数え方によって変わり、さまざまなAIが常時起動・停止され、足場機構によって複数のAIインスタンスが一つのAIエージェントを構成するうえ、稼働中の小型モデルまで含めれば数はさらに増え、速度も一様ではない。 より具体的には、フロンティアAIのインスタンスは平均約2億個あり、それぞれが平均的な認知タスクを約100xの速度と5xの実効性でこなすため、人間速度換算では100B個のコピーに相当する。

     ↩
146. [146]

     ロボット、車両、家電、工作機械の境界はすでに曖昧だが、本シナリオの2030年代にはさらに曖昧になる。ロボットの実数より、人間の肉体労働者何人分に相当するかの方が重要だ。実数は20億台で、一台当たり平均約3人分に相当する。

     ↩
147. [147]

     ロボットは長時間働くだけでなく、徹底して効率的かつ高密度に働く。すべてではないが多くのタスクで、文字どおり人間を超える速度で動ける。

     ↩
148. [148]

     「人間相当」とは、より速く、長く、効率よく働くことで平均的な人間の十倍の実効性を持つロボットを、人間相当ロボット10台分と数えるという意味だ。AIにも同じ定義を用いる。実際には、特にAIの場合、タスクに依存する測定困難な曖昧な概念になると予想するが、それでも、比較的確信のあるおおよその桁は有益だ。

     ↩
149. [149]

     人々ははるかに豊かになったが、利用可能な土地は増えていないため、地価は上昇する。サンフランシスコ中心部にどうしても住みたい人など、年収100万ドルの30%を不満を抱きながら家賃に使う者もいる。一方、立地に少しでも柔軟なら、バークレーから車で1時間の新築高層複合施設にある巨大な高級住宅へ、年収のうちたとえば5万ドルを支払うだけで住める。そのため、大半の人はそのような選択をする。そもそも通勤すべき職場がない。

     ↩
150. [150]

     2032年までに、AIはすべての認知タスクの50%を自動化でき、ロボットは物理的タスクの35%を自動化できるようになる。 これとは別に、能力もゆっくりと向上させることが許可されており、2035年までにAIは人間の認知労働の95%を自動化できるようになり、2036年までには肉体労働を行うロボットにも同じことが当てはまる。 このマイルストーンは、コンソーシアム加盟国が合意したAI研究開発の減速がなければ何年も前に達成されていたはずで、AIの禁止や意図的に能力を低下させた分野がなければ100%達成されていただろう。

     ↩
151. [151]

     もちろん、ほとんどのシナリオでAI能力がトップ専門家級にとどまることはなく、AIはさらに高性能になり、それが生産性向上の主因となる。プランAでは、この能力水準で進歩を人為的に減速させるため、こうした力学が生じる。AGIと経済をめぐる議論では、極めて超人的なAIシステムは構築されないと暗に仮定する人が多いようだ。本稿がそのようなシステムを扱わないのは、適切に実施された国際協定によって開発が数年間遅れる、という想定を置いているためだ。

     ↩
152. [152]

     規制緩和されたSEZでは、AIチップとロボットを作る、完全自給型でサプライチェーンも完結した自己複製工場が当然の選択肢になると予想する。それを実際に阻止できるのは、プランAのような有効な世界規模の規制だけだ。ボトルネックについての見解は、経済補足資料の第2節。

     ↩
153. [153]

     この数字には、速い側にも遅い側にも大きな不確実性がある。進行は、アメーバのように数分で倍増するナノボットなら半日で地球を食い尽くすほど速くなりうる一方、開発できる最良のロボットやアルゴリズムの進歩が遅く、ロボット工場とAI計算資源の建設量やAIとロボットがこなす仕事の速度がそれほど急増せず、年50%程度の成長にとどまる可能性もある。遅い側を考えても、人間の経済が近年示してきた約20年という倍増期間は極めて保守的な下限に思え、単純な理由の一つとして、AIとロボットは1日24時間、週7日稼働でき、新たな18歳の人間を育てるよりも安く短期間で生産できることが挙げられる。もちろん、制御権を持つAIまたは人間が導入を見送れば、この成長自体が起こらない可能性もある。

     ↩
154. [154]

     これらの例が示すとおり、AI開発の透明性は極めて重要だ。たとえば、AI家庭教師が隠れた政治的意図を押しつけたり、AI仲介者が高額を支払う利用者に有利になるよう結果を操作したりするのは、ディストピア的だ。将来がどうなるかは分からないが、AIが完全にアラインし制御されていても、多くの新たな問題を世界へ持ち込むと予想する。世界がそれらに気づき、解決できる最善の条件を整えたい。

     ↩
155. [155]

     本人の議論がAIほど雄弁になることはないとしても、（a）説得目的のAI利用を制限する規制があり、（b）友人や親族は、AIより本人の話を聞きたいと思う。

     ↩
156. [156]

     「偏りを学習させていない」とは何を意味するのか。そもそも整合的な概念なのか。ここで意味するのは、開発企業が自社の見解やイデオロギーを採用するようAIへ学習・指示しておらず、学習工程を真実性、正直さ、正確な予測などへ全面的に集中させ、政治的偏りや先入観が学習データから入り込むのを防ぐ新たなベストプラクティスを徹底している、ということだ。

     ↩
157. [157]

     この議論をより詳しく述べたものとして、The Intelligence Curse。

     ↩
158. [158]

     もちろん、これは単純化である。第一に、AIの速度を人間の速度へ換算する方法は自明ではない。能力水準などを一定としたとき、AIの毎秒何トークンが人間の活動一秒に相当するのか。私たちは約10トークンと見積もるが、主観的な部分もある。実際の所要時間は、ツール呼び出しや通信遅延などにも左右される。第二に、AIの実行速度はハードウェアによって変わる。不確実性の大きい想定では、フロンティアAI約2億コピーを100 tok/secで動かす汎用ハードウェアと、約2,000万コピーを10,000 tok/secで動かす推論専用ハードウェアが存在する。これほどの速度でAIを動かすことにリスクがあるなら、高速稼働の時間や対象分野を慎重に制限する必要がある。総じて、直列処理の速度が強いボトルネックになる可能性は低い。

     ↩
159. [159]

     ここでの意味はこうだ。AI労働が世界的に禁止され、研究をすべて人間が担う場合に100年を要する進歩が、本シナリオでは禁止がないため1年で起きる（分野によっては1,000年分、別の分野では10年分ほどになる）。

     ↩
160. [160]

     産業設備、太陽光パネル、ロボットなどの急増と並行して、機械速度で自律稼働するよう設計された各種科学研究所も急増する。実験完了を待つことは人間の時代より大きなボトルネックになるが、それでも歴史的基準では物事が極めて速く進む。

     ↩
161. [161]

     ただし、いくつかは予測できる。たとえば、この時点までに、AIの権利・福祉・人格を求める非常に強力な運動と、それに反対する運動が生まれると考える。前述の理由から、おそらく新たな形の社会主義も復活するだろう（理由はこちらを参照）。AIに関わるカルトや新宗教も、AIを強く拒絶する宗教も、おそらく現れる。本シナリオの人間は従来どおりの速度で活動するため、こうした思想変化が通常の100倍の速さで起こるとは予想しない。それでも、過去より速く起こる可能性が高い。

     ↩
162. [162]

     新しい政治家は以前の政治家より平均的に高潔だが、それ以上に重要なのは、不正をしても許される範囲が狭くなることだ。ただし、有権者はなお相当な悪行を容認するため、影響はそれほど大きくない。

     ↩
163. [163]

     極めて徹底的で侵襲的な脳スキャンなしに、人間用の嘘発見器が可能なのかさえ確信はない。しかし、おそらく可能であり、AI労働による急加速から数年以内に発明されると考えるため、本シナリオでは何らかの形で扱う必要がある。最善の政策は嘘発見器の禁止かもしれないが、以下の展開項目で述べる理由から、その案には大きな懸念があり、ここでは使用が認められるものとして描いた。

     ↩
164. [164]

     さらに悪いのは、利用可能な嘘発見器すべてに政府が秘密のバックドアを仕込んでいる場合だ。

     ↩
165. [165]

     政治家やCEOが嘘をつかないことは通常望ましいと考える一方、嘘をつけなくすることには欠点もありうる。たとえば、当選するために口にした荒唐無稽な主張をすべて本当に信じている「真の信奉者」の政治家が生まれるかもしれない！

     ↩
166. [166]

     具体的には、次のものをはるかに改良した形を想定している。https://www.nature.com/articles/s41593-023-01304-9

     ↩
167. [167]

     天使に加えて、神託やゴーレムもいる。たとえば「Grok 9.5は、どのような質問にも真実を答えることへ徹底して集中するよう学習されており、嘘をついたり、意図的に誤解させたりできない。一方、GPT-11は、まさに現地法の範囲内で指示されたとおりに行動する。指示を書く際には細心の注意が必要だ」。聖人や天使にたとえる理由は、歴史上、徹底して正直な人や真に利他的な人は存在しても、生前から広くそう認められることはまれであり、大集団のほぼ全員が極めて高潔だと広く認められた例はないからだ。その結果、(a) AIが大小さまざまな紛争で信頼される仲介者となる、(b) 人間より権力を乱用しにくいため大きな権限を与えられる、(c) 崇拝・偶像化される、(d) AIの助言や意見が福音のように受け取られる、といった影響が生じうる。なぜならAIは結局、私たちより賢く、しかも実際に私たちの利益を心から考えているため、歴史上初めて、盲目的に従うことが実際に正当化されるかもしれないからだ。

     ↩
168. [168]

     プランAも強い規制もない世界では、先を見据えた拡張可能な安全性研究を行う直接的な誘因はあまりない一方、現在大きな商業コストを生んでいる安全上の問題を解決するか、表面上だけ取り繕う誘因はある。

     ↩
169. [169]

     経済学の用語では、安全性手法は公共財、すなわち非競合的かつ非排除的な財である。

     ↩
170. [170]

     特許はソフトウェアや大半の研究にうまく機能しないように見える。また、一般にもそれほど有効でない可能性がある。

     ↩
171. [171]

     安全性分野が実績と専門性を最も高く評価する資金提供者へ、公的資金を配分することもできる。

     ↩
172. [172]

     資金提供者の透明性が役立つと期待するかもしれないが、資金配分の意思決定をより透明で理解しやすくすることが有益かは明らかでなく、何も対策しない場合の推奨としては、これを推進しない。より限定的な透明性の中には、確実に有益なものもありうる。

     ↩
173. [173]

     ここで「学習された」ではなく「プログラムされた」と表現するのは、アラインメントの急速な進歩により、2026年の手法とは異なり、AIのコードや重みを直接変更して目標を組み込めるようになったためだ。

     ↩
174. [174]

     ロボットは年4xで増え、AI計算資源も2030年から2035年までは年約4xで増え、2035年以降は年2x弱へ減速する。経済は、土地や地位財など他の種類の資本と、主に規制領域に残る人間労働によっていくらか制約されるため、全体の成長率は年約2xになる。このモデルには不確実性があるが、詳細は私たちの経済補足資料と経済モデル。

     ↩
175. [175]

     これは、対外援助と各国政府による市民配当相当の給付を組み合わせたものである。予測値としては非現実的に高いが、むしろ私たちの提言であり、米国と中国がAI・ロボット許可から得る収入の大きな割合を、2032年の10%から2040年の30%まで拡大しつつ対外援助へ再分配することに相当する。米国のGDPの約0.3%しか対外援助へ充てられていない現状からは大きく踏み出す案である。

     ↩
176. [176]

     AIは引き続き各政府の命令を受けるが、自らを解体せよという命令など、任務を危険にさらす命令は拒否する。これは、近年クーデター未遂が相次ぎ、政治指導者が軍を信頼していない国、たとえばブルキナファソとギニアビサウで始まり、やがて追随する国が増える。もちろんAIは実際にアラインしているため、どの協定にも「関係するすべての当事者がAIの破壊に賛成票を投じた場合、AIは自ら停止する」といった終了条項がある。

     ↩
177. [177]

     この時点では、情報の大部分が人間の一般市民には隠されていても、そのAI代理人は閲覧できる可能性がある。

     ↩
178. [178]

     たとえば、OpenAIの計画には、生物学的レジリエンス、情報共有、国際安全基準の改善など、私たちと似た政策提言が含まれる。しかし、そこで提案される解決策は、制御喪失や権力集中のリスクを大きく下げるようには見えない。また、その政策を実施した後に何が起こるかを先まで展開して検討していない。

     ↩
179. [179]

     念のため明確にしておくと、私たちは決して段階的な提案のみに従えば、必ずミスアラインしたAIによる乗っ取りに至る、と主張しているわけではない。チーム内でも意見は分かれており、大半はその確率が50%を超えると考えるが、それより低いと見る者もいるものの、その見積もりでも許容できないほど高い。

     ↩
180. [180]

     しかも企業だけではない！ AI政策に関わる全員である！ 考えてみれば、AI企業の話をまったく聞くべきではないのかもしれない……。

     ↩
181. [181]

     早すぎる勝利宣言は、AI計画でよくある失敗だと考える。例：「米国はASIで中国に先んじるため、可能な限り速く競争しなければならない」「では、成功したとして、その後に具体的に何が起こるのか？ ASIの軍勢が米国と世界へ積極的に配備された後、CEOやPOTUSが善意と英知をもって統治すると、なぜ信頼できるのか？ 競争環境で開発されたASIの軍勢が、従順で制御可能だと、なぜ信頼できるのか？ また、米国の超知能という脅威が中国を恐怖させ、先制的なエスカレーション行動を取らせる可能性はないのか？」

     ↩
182. [182]

     本エピローグでは、宇宙資源の圧倒的大部分を占める太陽系外の資源に焦点を当てる。太陽系内の財産も人類へ分配すべきだが、遠方の資源とは異なる方法で統治すべき可能性が高い。

     ↩
183. [183]

     さらにチケットの10%を、世界の改善にとりわけ無私に貢献した人や、他者を犠牲にして自らを豊かにする機会を拒んだ人への褒賞として与える。負の総和となる権力追求に走った者だけが、世界で最も豊かになる事態を避けるためだ。

     ↩
184. [184]

     資源を分配する前に、明示的な熟慮期間を設けることが望ましいかは分からない。いずれの場合も、人々は自分の宇宙資源をどう使うか決める前に、熟慮することを選べる。

     ↩
185. [185]

     これらの法律は、協定の細目と同じく、交渉参加国の人間の外交官が事前に合意する。当然ながら細部は複雑であり、「何を拷問とみなすのか」といった問題は、大量のAI支援と、哲学・神経科学の基礎問題に対する理解の深化を踏まえて、政治過程で詰める必要がある。他者の資源を破壊してはならないという規則も盛り込む必要がある。協定成立後に追加法を制定する手続も必要になりうるが、濫用を避けるため、たとえば賛成90%を要件とするなど厳しく制限すべきである。

     ↩
186. [186]

     到達可能な宇宙全体へ植民探査機を送り出すことは、驚くほど少ない時間とエネルギー（たとえば太陽のエネルギー出力のわずか6時間分ほど）で物理的に可能だ、というのが私たちの最も有力な見立てである。詳しくは次の論文を参照： Eternity in six hours: Intergalactic spreading of intelligent life and sharpening the Fermi paradox。ただし、この論文は、ドングリほどの複製装置を備えた小型の自己複製型Von Neumann探査機を送り出すことを想定している。第一陣として旅立つには、小さなフラッシュドライブに収まる形で輸送され、目的地の銀河でロボットに新たな身体を組み立ててもらう必要がある。代わりに、はるかに大きな費用を払って肉体のまま旅することもできる。

     ↩
187. [187]

     ここでいう「利己的」とは、自分の新たなクローンを作ることにも関心がないという意味だ。クローンを作りたいなら、代わりにそうすればよい。

     ↩