プランAは、AIによる存亡の破局を人類が避け、繁栄する未来にたどり着くための、私たちの前向きなビジョンである。 米国の主要なフロンティアAI企業の専門家との対話、OpenAIでの実務経験、机上演習、そして政策立案者や国家安全保障の専門家、AI政策のリーダーとの議論をもとにしている。私たちが提言するのは、超知能をめぐる危険な開発競争を避けるための国際協定だ。協定の柱は、AI研究開発における研究の完全な透明性である。それによって世界各国は何が起きているかを把握し、歯止めを守らせることができる。その結果、複数の国の複数の企業が、秘密裏に競い合うのではなく、足並みをそろえてゆっくりと安全に超知能へとスケールしていく。

プランAは、主として予測ではなく提言である。 このシナリオは、未来が実際にどうなるかについての私たちの最善の推測ではない。政策提言を伝え、その強度を試すための手段だ。プランAが実施されること自体は提言であって、実際にそうなると予想しているわけではない。しかし、その後に描かれる影響は予測である²。

このAI 2040シナリオでは、プランAは不完全ながら、ぎりぎりのところで実施に成功する。

プランAの対照として、4つの代替案（B、C、D、S）も用意した。超知能という難題に米国がどう応じるか（あるいは応じないか）の主な道筋を、それぞれ描いたものだ³。

AI企業はおそらく、人間より賢いAIシステムを作るという公言どおりの目標を、今後1〜10年のうちに達成する。

業界は、超知能AIの制御など走りながら考えればよいと思い込んでいて、まともと呼べる計画をまるで持っていない。私たちはこの状況をひどいものだと考えているし、このままでは全員があっさり命を落としかねない⁴。「開発競争に勝った」者が大きなリードを得るとは思えないし、その勝者が存亡リスクを減らすために自ら減速するとも思えない⁵。この競争が続けば⁶、AIが超知能になったときに人間がそれを実効的に制御し続けられる見込みは薄い⁷。

さらに、AI企業がどうにかAIをアラインできたとしても、その結果は前例のない権力集中になる。ごく少数の人々、場合によってはたった一人が、世界で唯一の超知能の軍団を数か月にわたって事実上支配する。そして超知能たちは、今後どう進めるかについていくつもの選択肢を差し出す。その中には、事実上世界を乗っ取ることに等しいものも含まれる⁸。

私たちの推測する限り、OpenAI、Anthropic、xAI、Google DeepMindのCEOたちはこのことを理解したうえで、それでも突き進んでいる。自分たちはより小さな悪であり、習近平やライバルのCEOとは違って、この巨大な権力を責任をもって使うはずだと考えているのかもしれない⁹。

一般論として、より小さな悪を選ぶのが正しいという点には同意する。それでも、人類の絶滅や世界規模の独裁につながる確率がこれほど恐ろしく高い戦略を、私たちが支持すべきだとは思わない。私たちが訴えたいのは、本当に良いと言えるものだ。十分な数の人が同じように声を上げれば、それは実現しうる。

そこで、その実現しうる世界を描くシナリオを書いた。

「計画は無価値だが、計画することがすべてだ」――ドワイト・D・アイゼンハワー（Dwight D. Eisenhower）

AI政策の提案の多くは、シナリオによる精査にかけると崩れてしまう、と私たちは考えている。その提案が成功する詳細でもっともらしいシナリオを書き出そうとすると、それが意外に難しいことに気づく。そして、計画が思ったほどうまくいきそうにないことや、提唱者が認める以上に厄介な副作用があることが見えてくる。

AI政策の世界でシナリオによる精査がめったに行われないのは、そのせいかもしれない。誰もが、自分の推す政策は素晴らしい結果をもたらし、対立する陣営の政策はひどい結果をもたらすと言いたがる。自分の推す政策をシナリオで精査すれば、都合の悪い問題が浮かび上がりかねない。かといって、対立陣営の政策を精査するのは、手間がかかるわりに論戦で得るものが少ない¹⁰。

もっと多くのAI政策提案がシナリオによる精査にかけられれば、議論の質は上がるはずだ。だから私たちは、批判を招くのを承知のうえで、自分たちの提案から始める。批判する人には、AIへの移行を乗り切るための既存の計画のうち最良のもの（そんなものが見つかればの話だが）と比べて評価してほしい。誰も難しい選択を迫られないのに、たぶん万事うまくいく――そんな漠然とした心地よい空想と比べるのではなく。

超人的なAIに近づきつつある世界で、自分たちの政策がどんな効果をもつかを予測するのは途方もなく難しい。その点はどうなのか。これは第三次世界大戦の最善の戦い方を予測するようなもので、しかも過去の事例からの隔たりはそれ以上に大きい。それでも、試みる価値はある。米軍が台湾有事のシナリオを気の遠くなるほど細かく検討することに価値があるのと同じだ。ほかにも前例はある。情報機関、気候関連機関、パンデミック対策機関は、いずれもさまざまな形のシナリオ・プランニングに頼っている。

プランAは、何をすべきかについての私たちの野心的な提案だ。残された時間がどれだけあるのか分からない以上、これに近いものが早く実施されてほしいと願っている¹¹。とはいえ、具体的なシナリオを書くには具体的なタイムラインが要る。

このシナリオのタイムラインは次のとおり。

• 2029年、米国と中国は、超知能をめぐる無謀な開発競争を避けることで合意する。

• 2030年、本来ならAI研究開発は完全に自動化されていたはずで、年末までに超知能に至っていた。協定のおかげで、それは避けられる。

• 2030年から2035年にかけて、人間の能力の範囲内で、人間のトップ専門家とほぼ同等の能力をもつAIまでスケールする。

• 2035年、人間による制御を保つため、人間のトップ専門家並みのAIの段階で一時停止する。

• 2040年、一時停止を解除し、超知能までスケールする¹²。（題名の「AI 2040」はここから来ている）

以前のシナリオ『AI 2027』では、2027年にAIが、より賢いAIを作る工程を完全に自動化し、知能爆発を経て、その年のうちに超知能が生まれた。このシナリオとの違いは2つある。（1）何も手を打たなかった場合のデフォルトのタイムラインが2030年になったこと、（2）ガバナンス上の措置によって、全般的に超人的なAIが初めて現れるのが2040年になったことだ。

デフォルトのタイムラインを変えたのは、一連のシナリオ全体に、AIのタイムラインをめぐる私たちの不確実性を反映させたいからだ。 『AI 2027』の題名の年を選んだのは、執筆を始めた時点で、ダニエル・ココタイロ（Daniel Kokotajlo）が、事態がそれほど速く、あるいはそれ以上に速く進む確率をおよそ50%と見ていたからだ¹³。プランAの執筆を始めた時点で、トーマス・ラーセン（Thomas Larsen）にとってそれに当たる年が2030年だった。ダニエルは現在、このシナリオで描いたよりもいくらか速く事態が進む可能性が高いと考えている。 タイムラインに関する私たちチームの見解は、こちらとこちらで詳しく読める。

ガバナンス上の措置を変えたのは、このシナリオが主として予測ではなく提言だからだ。 全速力で知能爆発を進めるのは常軌を逸した無謀であり、権力を極端なまでに集中させる。