AI企業は、あらゆる面で人間を上回るAIの開発を競っている。私たちは『AI 2027』で、その帰結は人類の絶滅か、不可逆的な権力集中になると予測した。1
プランAは、それに代わって実現すべき望ましい未来像だ。
このシナリオでは、人類は超知能の開発を2040年まで延期し、すべてのAI研究を公開して、世界各地の数十社が最先端に追いつけるようにしたうえで、意図的に「計算資源の相互確証破壊」体制へ移行する。
プランAは、人類がAIによる存亡の危機を避け、繁栄する未来へ至る道筋を描く。この構想は、米国の主要なフロンティアAI企業の専門家との対話、OpenAIでの実務経験、机上演習、政策立案者・国家安全保障の専門家・AI政策分野の指導者との議論を踏まえている。危険な超知能開発競争を避けるため、国際協定を提言する。協定の柱は研究の完全な透明性であり、AI研究開発の状況を各国が把握して安全策を執行できるようにする。その結果、各社が秘密裏に競争するのではなく、複数国の複数企業が足並みをそろえ、ゆっくり安全に超知能へ向けて能力を拡張する。
プランAは、主として予測ではなく提言だ。このシナリオは決して将来の実像についての私たちの最善の予測ではない。むしろ、政策提言を伝え、ストレステストにかけるための手段である。一方、実施については、プランAを実現すべきだという提言であり、実際に起きるとの予想ではないが、そこで描くその後の影響は予測である。2
この『AI 2040』シナリオでは、プランAは不完全ながら、間一髪で実施に成功する。
プランAと、米国が超知能の課題に対応する、または対応しない主要な選択肢に当たる4つの代替案――B、C、D、S――を比較する。3
AI企業は、今後1〜10年以内に人間より賢いAIシステムを構築するという、自ら掲げた目標をおそらく達成する。
業界は、超知能AIの制御方法は開発を進めながら解決できると思い込み、到底十分とはいえない計画しか持っていない。この状況は極めて危険で、私たち全員が命を落としかねないと考えている。4「競争の勝者」が大きなリードを得るとは考えていない。また、存亡リスクを下げるために一方的に減速するとも思わない。5この競争が続けば、6 AIが超知能化するなかで、人間が実効的な制御を維持できるとは考えていない。7
さらに、AI企業が何らかの方法でAIをアラインできたとしても、前例のない権力集中が起きる。つまり、数か月にわたり、少数の人々、場合によっては一人だけが、世界で唯一の超知能の軍勢を事実上支配し、その超知能から今後の選択肢を提示される。その一部は事実上、世界を乗っ取ることに等しい。8
推測する限り、OpenAI、Anthropic、xAI、Google DeepMindのCEOはこの問題を理解しながら、それでも開発を進めており、おそらく、自分たちはXi Jinpingや競合企業のCEOよりましで、巨大な権力を責任をもって使えると考えているのだろう。9
より小さな悪を選ぶのが一般には正しいとしても、人類絶滅や世界的な独裁へ至る確率が恐ろしく高い戦略を支持すべきではない。私たちは、それに代わる本当に望ましいものを提言したい。十分な数の人々が同じように行動すれば、実現しうる。
そこで、そのような世界の可能性を描くシナリオを書いた。
「計画そのものに価値はないが、計画することがすべてである。」――Dwight D. Eisenhower
私たちは、ほとんどのAI政策提案がシナリオ精査に耐えないと考えている。つまり、提案が成功する筋道を詳細かつもっともらしく書こうとすれば、それが見かけほど実現しそうにないか、提唱者が認める以上に望ましくない副作用を伴うと気づく。
AI政策でシナリオ精査がほとんど行われないのは、そのためかもしれない。誰もが、自分の好む政策は素晴らしい結果をもたらし、相手の政策は悲惨な結果を招くと言いたがる。自分の政策をシナリオ精査にかければ不都合な問題が表面化しかねない一方、相手の政策を精査するには大変な労力がかかるわりに、議論で得られる効果は小さい。10
より多くのAI政策案をシナリオ精査にかければ、議論の質は高まるはずだ。批判の的になりやすくなるとしても、まず自分たちの案から始める。批評するなら、誰も難しい選択をせず、それでもきっと万事うまくいくという曖昧で心地よい空想ではなく、AIへの移行を乗り切るために現在存在する最善の計画――見つかるならば――と比べてほしい。
人間を上回るAIが迫る世界で、自分たちの政策がどんな効果をもたらすかを予測するのは、途方もなく難しいのではないか。これは第3次世界大戦をどう戦うのが最善か予測するようなもので、過去の事例からの隔たりはさらに大きい。それでも試みる価値はある。米軍が台湾有事を細部まで机上演習するのに価値があるのと同じだ。ほかにも前例がある。情報機関、気候関連機関、そしてパンデミック対策機関はいずれも、さまざまな形のシナリオプランニングを用いている。
プランAは、何をすべきかを示す野心的な提案だ。残された時間が分からない以上、これに近い案が早期に実施されることを望んでいる。11ただし、具体的なシナリオを書くには、時期を明確に定める必要がある。
このシナリオの時系列は次のとおり。
2029年、米国と中国は、無謀な超知能開発競争を避けることで合意する。
2030年には、本来ならAI研究開発を完全自動化し、年末までに超知能へ到達していた。協定によって、この事態を回避する。
2030年から2035年にかけては、AIの能力を人間の範囲内にとどめつつ、第一級の人間専門家とほぼ同等の水準まで拡張する。
2035年、人間による制御を保つため、第一級の人間専門家レベルでAI開発を一時停止する。
2040年、一時停止を解除し、AIの能力を超知能まで拡張する。12 (これが「AI 2040」という題名の由来だ。)
以前のシナリオ『AI 2027』では、AIがより賢いAIを構築する工程を2027年に完全自動化し、年内に知能爆発と超知能へ至った。今回の違いは、（1）既定のタイムラインを2030年としたこと、（2）ガバナンス上の措置によって、幅広い領域で人間を上回るAIの登場が2040年になることの2点だ。
複数のシナリオ全体でAIタイムラインの不確実性を表現するため、既定のタイムラインを変更した。『AI 2027』の題名にこの年を掲げたのは、執筆開始時にDanielが、事態がその速さかそれ以上で進む確率を約50%と見ていたからだ。13プランAの執筆開始時点では、Thomasにとって対応する年が2030年だった。Danielは現在、事態はこのシナリオで描いたよりも、もう少し速く進む可能性が高いと考えている。チームのAIタイムラインに関する見解については、こちらとこちら。
ガバナンス上の措置を変更したのは、このシナリオが主として予測ではなく提言だからだ。全速力で知能爆発を進めるのは極めて無謀で、権力を極端に集中させる。
米国には今、2種類の労働力がある。第一は1億6,500万人の人間。第二はAIエージェントで、何百万ものコピーが毎時起動・停止され、人間を超える速度で24時間働いている。
AIエージェントの仕事のほとんどは粗悪だ。それでも十分な量が実用に耐えるため、人々は、少なくとも理論上は従業員がコンピューター上でできることを何でもこなせるAIに、毎月100億ドルを支払っている。
AI企業が最も自動化したい仕事は、自社のAI研究開発である。だが、まだ成功しておらず、再帰的自己改善は今のところ実現していない。14しかし、実現には近づいている。しかも後続への道を閉ざしており、最も強力なコーディングAIは、競合他社のAI研究開発への協力を拒む。15最も強気な社員でさえ計画より時間がかかっていると認める一方、懐疑派は従来の否定論が空疎に響き始めたことに気づく。AIが自分の仕事を決してできないと言える理由は何か。障壁はどこにあるのか。
連邦議会も本格的に注目し始める。議会は長年、AIについて、データセンターが水を使いすぎる問題や16自殺を促すチャットボット、Mythosが侵入したNSAのシステム——そしてもちろん、少しでも規制すれば米国は直ちに中国との競争に敗れ、その後ずっと中国共産党への朝貢国になるというテクノロジー業界のロビイストの警告も聞かされてきた。17
ここで議員たちは一歩引いて問い直す――この先、どこへ向かうのか？5年後、10年後、15年後の世界はどうなっている？仕事はまだ残っているのか？なくなっていたら、どうする？
とりわけ重くのしかかる問いがある。これらすべてのAIを誰が制御するのか？
連邦議会は、答えの重要な部分について一つの結論にたどり着く。おそらく、議会ではない。18
議会はAIをめぐる緊迫した公聴会を相次いで開く。そして、OpenAIが何のために設立されたのかを論じた2016年のメールを読む。その目的は、Demis Hassabisが独裁者になるのを防ぐことだった。19だが、SamやElonが独裁者になるのは誰が防ぐのか。連邦議会は既存の回答に納得しない。
こうして危機感が高まった末に成立するのが、良い施策も悪い施策も数多く盛り込んだ包括法案「2027年AI透明性法」だが、事態を根本から変えるものではない。20
私たちの中心的な提言は、プランAに近い枠組みの交渉を一刻も早く始めることだ。しかしこのシナリオでは、プランAが不完全な形で、しかも間一髪で実現する展開を描く。そこで、野心的ではないものの、なお役に立つ案を以下に挙げる。
2028年の選挙戦も、例年どおり過熱する。最大の争点はAIである。建設中のデータセンターには、米国の軍事予算全体の2倍に相当する費用がかかっている。23
ほとんどのホワイトカラー職で、2026年にソフトウェア開発が経験したような激変が起き、仕事の多くをAIエージェントの管理が占めるようになる。AI企業は学習工程を工業化しており、経営幹部が「今年は［職種］に参入しよう」と言えば、AIが実用になるまで、専門職への聞き取り、データの購入、学習環境の構築などを進める。実務で広く使われ、現実世界のデータが蓄積されるにつれて、AIは急速に性能を高めていく。
他国は恐れと怒りを募らせ始める。少数の米中企業が、すべてのホワイトカラー職を自動化する勢いで進んでいるように見える。権力は米国に、とりわけ大統領と少数のテクノロジー企業CEOに集中していく。
AI専門家は、知能爆発が近いと警告する。AIがAI研究を加速させれば、AI自身の能力がさらに高まり、研究もいっそう加速する。その結果、AIは一段と高い能力を備えるようになり、この循環が繰り返される。進行の速さと到達点を左右する要因として、ボトルネックやハードウェア上の限界という複雑な力学があるが、この過程は極めて速く進み現在とは桁違いの水準へ至るかもしれない。
このまま進めば、次の大統領任期中に、人間をはるかに上回るAIが登場し、そのAIはAIだけで作られ、作ったAIもまた別のAIだけで作られており、何世代も前から人間は開発過程に関わっていない。そうして生まれたAIは従順で、アラインしているのか？そうなる根拠は何か？もしそうなら、誰が制御するのか？いったい、どうすればこのすべてが無事に終わるというのか？
人類をこの道へ進ませたAI企業は、現状を容認している。だが、大半の人々は容認していない。自分の後世の評価どころではなく、大統領は退任後、自分が変貌した世界でどうなるのかを考え始める。24両大統領候補はAIにどう対応するのかを繰り返し問われ、選挙運動で次第に大胆な案を試す。議論は、以下の選択肢を含むさまざまな案の間を揺れ動く。
やがて大統領とその後継者は一つの計画にまとまり、野党候補は別の計画にたどり着く。そして投票日を迎える。