AI企業は、あらゆる面で人間より賢いAIの開発を競っている。私たちは『AI 2027』で、その行き着く先は人類の絶滅か、後戻りできない権力集中のどちらかだと予測した1。
プランAは、そうならないために本来何が起きるべきかを描いた、私たちの前向きなビジョンだ。
このシナリオで人類は、超知能の開発を2040年まで遅らせ、AI研究をすべて公開し、世界の数十社が最先端に追いつけるようにし、計算資源の相互確証破壊という体制にあえて踏み込む。
プランAは、AIによる存亡の破局を人類が避け、繁栄する未来にたどり着くための、私たちの前向きなビジョンである。 米国の主要なフロンティアAI企業の専門家との対話、OpenAIでの実務経験、机上演習、そして政策立案者や国家安全保障の専門家、AI政策のリーダーとの議論をもとにしている。私たちが提言するのは、超知能をめぐる危険な開発競争を避けるための国際協定だ。協定の柱は、AI研究開発における研究の完全な透明性である。それによって世界各国は何が起きているかを把握し、歯止めを守らせることができる。その結果、複数の国の複数の企業が、秘密裏に競い合うのではなく、足並みをそろえてゆっくりと安全に超知能へとスケールしていく。
プランAは、主として予測ではなく提言である。 このシナリオは、未来が実際にどうなるかについての私たちの最善の推測ではない。政策提言を伝え、その強度を試すための手段だ。プランAが実施されること自体は提言であって、実際にそうなると予想しているわけではない。しかし、その後に描かれる影響は予測である2。
このAI 2040シナリオでは、プランAは不完全ながら、ぎりぎりのところで実施に成功する。
プランAの対照として、4つの代替案（B、C、D、S）も用意した。超知能という難題に米国がどう応じるか（あるいは応じないか）の主な道筋を、それぞれ描いたものだ3。
AI企業はおそらく、人間より賢いAIシステムを作るという公言どおりの目標を、今後1〜10年のうちに達成する。
業界は、超知能AIの制御など走りながら考えればよいと思い込んでいて、まともと呼べる計画をまるで持っていない。私たちはこの状況をひどいものだと考えているし、このままでは全員があっさり命を落としかねない4。「開発競争に勝った」者が大きなリードを得るとは思えないし、その勝者が存亡リスクを減らすために自ら減速するとも思えない5。この競争が続けば6、AIが超知能になったときに人間がそれを実効的に制御し続けられる見込みは薄い7。
さらに、AI企業がどうにかAIをアラインできたとしても、その結果は前例のない権力集中になる。ごく少数の人々、場合によってはたった一人が、世界で唯一の超知能の軍団を数か月にわたって事実上支配する。そして超知能たちは、今後どう進めるかについていくつもの選択肢を差し出す。その中には、事実上世界を乗っ取ることに等しいものも含まれる8。
私たちの推測する限り、OpenAI、Anthropic、xAI、Google DeepMindのCEOたちはこのことを理解したうえで、それでも突き進んでいる。自分たちはより小さな悪であり、習近平やライバルのCEOとは違って、この巨大な権力を責任をもって使うはずだと考えているのかもしれない9。
一般論として、より小さな悪を選ぶのが正しいという点には同意する。それでも、人類の絶滅や世界規模の独裁につながる確率がこれほど恐ろしく高い戦略を、私たちが支持すべきだとは思わない。私たちが訴えたいのは、本当に良いと言えるものだ。十分な数の人が同じように声を上げれば、それは実現しうる。
そこで、その実現しうる世界を描くシナリオを書いた。
「計画は無価値だが、計画することがすべてだ」――ドワイト・D・アイゼンハワー（Dwight D. Eisenhower）
AI政策の提案の多くは、シナリオによる精査にかけると崩れてしまう、と私たちは考えている。その提案が成功する詳細でもっともらしいシナリオを書き出そうとすると、それが意外に難しいことに気づく。そして、計画が思ったほどうまくいきそうにないことや、提唱者が認める以上に厄介な副作用があることが見えてくる。
AI政策の世界でシナリオによる精査がめったに行われないのは、そのせいかもしれない。誰もが、自分の推す政策は素晴らしい結果をもたらし、対立する陣営の政策はひどい結果をもたらすと言いたがる。自分の推す政策をシナリオで精査すれば、都合の悪い問題が浮かび上がりかねない。かといって、対立陣営の政策を精査するのは、手間がかかるわりに論戦で得るものが少ない10。
もっと多くのAI政策提案がシナリオによる精査にかけられれば、議論の質は上がるはずだ。だから私たちは、批判を招くのを承知のうえで、自分たちの提案から始める。批判する人には、AIへの移行を乗り切るための既存の計画のうち最良のもの（そんなものが見つかればの話だが）と比べて評価してほしい。誰も難しい選択を迫られないのに、たぶん万事うまくいく――そんな漠然とした心地よい空想と比べるのではなく。
超人的なAIに近づきつつある世界で、自分たちの政策がどんな効果をもつかを予測するのは途方もなく難しい。その点はどうなのか。これは第三次世界大戦の最善の戦い方を予測するようなもので、しかも過去の事例からの隔たりはそれ以上に大きい。それでも、試みる価値はある。米軍が台湾有事のシナリオを気の遠くなるほど細かく検討することに価値があるのと同じだ。ほかにも前例はある。情報機関、気候関連機関、パンデミック対策機関は、いずれもさまざまな形のシナリオ・プランニングに頼っている。
プランAは、何をすべきかについての私たちの野心的な提案だ。残された時間がどれだけあるのか分からない以上、これに近いものが早く実施されてほしいと願っている11。とはいえ、具体的なシナリオを書くには具体的なタイムラインが要る。
このシナリオのタイムラインは次のとおり。
2029年、米国と中国は、超知能をめぐる無謀な開発競争を避けることで合意する。
2030年、本来ならAI研究開発は完全に自動化されていたはずで、年末までに超知能に至っていた。協定のおかげで、それは避けられる。
2030年から2035年にかけて、人間の能力の範囲内で、人間のトップ専門家とほぼ同等の能力をもつAIまでスケールする。
2035年、人間による制御を保つため、人間のトップ専門家並みのAIの段階で一時停止する。
2040年、一時停止を解除し、超知能までスケールする12。（題名の「AI 2040」はここから来ている）
以前のシナリオ『AI 2027』では、2027年にAIが、より賢いAIを作る工程を完全に自動化し、知能爆発を経て、その年のうちに超知能が生まれた。このシナリオとの違いは2つある。（1）何も手を打たなかった場合のデフォルトのタイムラインが2030年になったこと、（2）ガバナンス上の措置によって、全般的に超人的なAIが初めて現れるのが2040年になったことだ。
デフォルトのタイムラインを変えたのは、一連のシナリオ全体に、AIのタイムラインをめぐる私たちの不確実性を反映させたいからだ。 『AI 2027』の題名の年を選んだのは、執筆を始めた時点で、ダニエル・ココタイロ（Daniel Kokotajlo）が、事態がそれほど速く、あるいはそれ以上に速く進む確率をおよそ50%と見ていたからだ13。プランAの執筆を始めた時点で、トーマス・ラーセン（Thomas Larsen）にとってそれに当たる年が2030年だった。ダニエルは現在、このシナリオで描いたよりもいくらか速く事態が進む可能性が高いと考えている。 タイムラインに関する私たちチームの見解は、こちらとこちらで詳しく読める。
ガバナンス上の措置を変えたのは、このシナリオが主として予測ではなく提言だからだ。 全速力で知能爆発を進めるのは常軌を逸した無謀であり、権力を極端なまでに集中させる。
米国には今、2つの労働力がある。1つは人間で、その数は1億6,500万人。もう1つはAIエージェントだ。何百万ものコピーが毎時間立ち上げられては停止され、昼夜を問わず超人的な速さで働いている。
その仕事の大半は粗悪な出力にすぎない。それでも使えるものが十分にあるので、人々は月に100億ドルを払っている。少なくとも理屈のうえでは、従業員がコンピューターでできることなら何でもこなせるAIに対してだ。
AI企業には、何よりも自動化したい仕事がある。自分たち自身の仕事だ。まだ成功してはおらず、今のところ再帰的自己改善は起きていない14。だが着実に近づいているようで、しかも自分たちが上ってきたはしごを引き上げ始めている。最強のコーディングAIは、競合他社のAI研究開発には手を貸さないのだ15。最も強気な社員でさえ、予定より少し時間がかかっていると認める。その一方で懐疑派は、いつもの一蹴の言葉が空々しく響き始めていることに気づいている。AIには自分の仕事が絶対にできないと言える理由は、正確には何だったか？ 越えられない壁って、何だっけ？
連邦議会が関心を強め始めている。 議員たちは以前からAIの話を耳にしてきた。データセンターが水を使いすぎていること16、チャットボットが自殺をそそのかしたこと、MythosがNSAのシステムをハッキングしたこと。そしてもちろん、テック業界のロビイストたちの警告もある。少しでも規制の気配があれば、米国はたちまち中国との競争に負け、その後の歴史をずっと中国共産党の朝貢国として過ごすことになる、と17。
いま議員たちは一歩引いて問いかける。私たちはこれでどこへ向かっているのか？ 5年後、10年後、15年後の世界はどうなっているのか？ 仕事はまだあるのか？ なかったらどうなるのか？
とりわけ重くのしかかる問いがある。これだけのAIを、誰が制御するのか？
議会はその答えの重要な一部に行き着く。おそらく、自分たちではない。18
議会はAIをめぐって緊迫した公聴会を重ねる。議員たちは、デミス・ハサビス（Demis Hassabis）が独裁者になるのを防ぐためにOpenAIを設立した経緯を論じた、2016年のOpenAIのメールを読む19。では、サム・アルトマン（Sam Altman）やイーロン・マスク（Elon Musk）が独裁者になるのは、誰が防ぐのか？ 既存の答えに議会は納得しない。
この目覚めから生まれたのが「2027年AI透明性法」だ。多くのことを盛り込んだ包括法案で、良い点も悪い点もあるが、状況を根本から変えるものではない20。
2028年の選挙戦は、いつものように白熱している。最大の争点はAIだ。建設中のデータセンターの費用は、米国の軍事予算全体の2倍に達する23。
ホワイトカラーの職業の多くが、2026年にソフトウェアエンジニアリングが経験したような激変にさらされている。そうした仕事の中心は、今やAIエージェントの管理だ。AI企業は学習のプロセスを工業化した。経営陣が「今年は○○の分野に進出しよう」と言えば、会社はその職業の専門家に話を聞き、データを買い、学習環境を作り……と、AIが足場を築くまで続ける。するとAIは、その分野で広く使われて現実のデータを蓄積するにつれ、急速に改善していく。
ほかの国々は恐れと怒りを募らせ始めている。一握りの米中企業が、ホワイトカラーの仕事をすべて自動化しようとしているように見えるのだ。権力は米国に、なかでも大統領と一握りのテック企業CEOに集中しつつある。
AIの専門家たちは、知能爆発が近いと警告する。AIがAI研究を加速させればAIはさらに有能になり、研究はいっそう速まり、AIはさらに有能になる、という具合だ。この過程がどれだけ速く進み、どこで終わるかは、ボトルネックやハードウェアの限界をめぐる複雑な力学で決まる。だが、きわめて速く進み、とてつもなく遠いところまで行き着きそうに見える。
このまま進めば、次の大統領の任期中には、人間の水準をはるかに超えるAIが登場する。そのAIを作るのはすべてAIで、そのAIもまたすべて別のAIが作ったものであり、数世代前から人間はまったく関与していない。そうしたAIは従順で、アラインされているのか？ なぜそう言えるのか？ だとして、誰がそれを制御するのか？ いったいどうすれば、これが良い結末を迎えるというのか？
人類をこの道に乗せたAI企業は、それで構わないと考えている。だが、ほとんどの人はそうは思わない。大統領は、自分のレガシーどころではなく、退任して世界が変貌したあと自分自身がどうなるかを考え始めている24。両候補はAIにどう対処するのかを繰り返し問われ、選挙運動のなかで、ますます大胆な案を試しに打ち出していく。議論は、以下に示すすべての選択肢のあいだを、さらにはそれ以外の案にまで揺れ動く。
最終的に、大統領とその後継と目される候補は一つの計画にまとまり、野党の候補は別の計画にまとまる。そして投票日を迎える。
「かつて人間は、機械が自分たちを自由にしてくれると信じて、考えることを機械に委ねた。だがそれは、機械を持つ別の人間に隷属させられる道を開いただけだった」
新大統領は、AI開発の世界的なモラトリアム（一時停止）を目指す。
新大統領は演説する。
「私たちはいま、断崖の縁に立っています。人工超知能への道をこのまま進めば、その先に待っているのは、AIによる乗っ取りか、第三次世界大戦か、AIに支えられた恒久的な寡頭制のようなものになりかねません。ですから、この道を進むのはやめましょう。この解決策は何年も前から明らかでした。しかしテック企業が分断と混乱の種をまき、私たちを眠らせ続けてきたのです。今こそ目を覚まし、当然のことをする時です。本政権は、AI開発を現在の水準で止めるための国際合意を目指します」
「神を造る必要はありません」と大統領は言う。「中国と競って神を造る必要もありません。必要なのは、誰も神を造らないことです」
一部の人々にとっては意外なことに、中国は同意する。AIが登場するまで、中国は「中国の世紀」の到来を心待ちにし、その実現に向けて順調に進んでいると考えていた。米国の計算資源の優位には神経をとがらせており、米国が先に超知能に到達したら自分たちが何をされるかわからないと憂慮してもいた25。
協定の目的は、世界中でAI研究開発を完全に止めることだ。具体的には、既存のAIチップの大部分を追跡・監視し、大規模な学習実行に使われていないことを検証する。より優れたアルゴリズムを見つけるためのAI研究も禁止される。取り締まりは完璧でなくても十分に機能する。数千個のGPUを持つ数百人程度では、とても超知能は作れない。少なくとも当分のあいだは。
既存のデータセンターは稼働を続け、既存のAIもそこで動き続ける。AIプロジェクトは計算資源を学習と研究から推論へ振り向け、その結果、AIの利用可能量と利用上限はおよそ2倍になる。米国と中国は人間とAIの監査役を送り込み、互いのAIプロジェクトがAI研究開発を行っていないかを見張る26。AI企業の時価総額は暴落するが、ゼロにはならない。既存のAIモデルの上に製品を作れば、まだ利益は出せる27。
その後の数年で、ほかの主要国もすべてモラトリアムへの支持に同意するが、そこに至るまでには多大な労力を要する28。2030年末には、コンソーシアムが世界のAI計算資源の99%と、先端チップ製造能力の100%をカバーするまでになる。半導体工場は拡張を続けることを認められるが、そのペースはゆっくりで、厳しく規制されている。それに、AIの能力が凍結された今、以前ほどの需要もない29。
この10年、複雑なスキャフォールド（モデルを動かすための周辺の仕組み）を作り込むのは、たいてい割に合わなかった。新しいモデルが出れば、はるかに単純な構成で同じ仕事をこなせてしまったからだ。今、その事情が変わる。ソフトウェア企業は数百万人時の人手と数兆トークン分のAIの労働を投じ、あらゆる階層にAIを組み込んだ、巨大で洗練されたソフトウェア製品を築き上げる。皮肉なことに、2029年にAIの進歩を完全に止め、スキャフォールドの改良しか認めなかったにもかかわらず、それでもなお私たちは、SFさながらの途方もない未来にたどり着く。そこには、かつてならほとんどの人がAGIと呼んだであろう人工知能が存在している。
モラトリアムが発表されたとき、経済は打撃を受けた。とはいえ、それまでの数年間の成長を帳消しにするほどではなかった。AIの売上は2030年代前半に大きく伸びる。ただし、開発を一時停止しなかった場合に比べれば、その伸びはずっと緩やかだ。数兆ドル規模の投資が、AGIへの賭けから、「これはAIではなく単なるツールです」という類のさまざまな製品への賭けへと移っていく。宇宙やロボティクスといった、ほかの刺激的なフロンティアにも資金が流れ込む30。
最先端のAI開発をいつ再開すべきか、そもそも再開すべきなのかをめぐっては、盛んに議論が交わされている。当面、米国と中国はほかの国々とも協議しながら、何が許され何が許されないかについて、より具体的なルールや規制の判例を積み上げ始めている。なにしろ、価値があり、明らかに無害なAI設計や研究プロジェクトの説得力ある例は数多くある。最近では、製品を「AI搭載」と売り込むのは流行らない。むしろ逆だ。それでも、2020年代ならAIと呼ばれたであろう多くのものが、今では進めることを認められている。要するに、自律的なエージェントではなく、本当に単なるツールにすぎない種類のAIだ31。
秘密プロジェクトはどうか。隠し持った小規模なGPUクラスタで、AGIに向けた違法な研究を進める小さなチームは？
そうした動きは世界中で起きるだろうが、大した問題にはならない。AIの進歩は、モデルの学習にも研究にも、大規模なデータセンターに大きく依存しているからだ。しかも、秘密プロジェクトはAI研究者の人材集めに苦労する。主要国ではどこでもAI研究が厳しく禁止されており、コンピュータ科学者のあいだでは、生物学者にとってのヒトクローン研究と同じくらいのタブーになる。まっとうなテック業界で職を得られるほどの能力がある人は、誰もAGIに関わりたがらない。結果として、AIの進歩のペースはゼロではないにせよ、AI研究開発のモラトリアムが発効する前に比べて、少なくとも10倍は遅くなるだろう32。
とはいえ、だ。2040年はどうなっているのか。2050年は？ 2060年は？ 何とも言えない。停止協定はしばらくは続くだろうが、おそらく永遠には続かない。
私たちはプランSに共感しており、プランAより優れている可能性もあると考えている33。それでも、私たちが推奨するのはプランAだ。その考えを説明しよう。
プランSの主な欠点は、停止協定がおそらくいずれ崩壊することだ。だからこそ、AIのリスクを減らすための進歩を、できるだけ速く、できるだけ多く遂げておくことが重要になる。とりわけ重要なのは、アラインメントの進歩と、AIを社会に広く普及させ組み込むことを通じて、社会の目覚め、認識の質、権力の分散を改善することだ。プランAでは、AIの能力のスケーリングを続けるが、ゆっくりと安全に進める。AIの安全性研究は、高性能なAIと莫大な計算資源の予算を使って進められる。プランSでは、該当する種類のAI研究が禁止されているので、そうした進歩は望めない。
プランSの最良の形は、協定がいずれ終わることを認めたうえで、シンプルにこう主張するものだ。「まず（ステップ1）、最先端AIの能力をこれ以上高めるのをやめるべきだ。AIもAI企業も日に日に力を増しており、それがどこへ、どれほどの速さで向かっているのかは不確実性に満ちているのだから。そして（ステップ2）、世界が数年かけてじっくり考え、安全で広く恩恵をもたらす前進の道筋を計画できたら、再開すればいい」34
プランSのステップ1には、プランAより実施しやすいという利点がある。より単純なので、善意はあっても専門知識に欠ける規制当局にしくじられる可能性も、テック企業やその他の有力な利害関係者に歪められたり取り込まれたりする可能性も低い。これは重要な点だが、当てはまるのはステップ1だけだ。AI開発が再開されるとしたら、それを正しく行うには、おそらくかなり複雑な規制が必要になる。実際、ステップ2の最良の形は、おそらくプランAによく似たものになるのではないかと私たちは見ている……
したがって、プランAとプランSのどちらを選ぶかを決めるうえで重要な問いは、「いったん止めたあと、いつ、どうやって再開するのか？」だと私たちは考えている。
一つの可能性は、AIの進歩がいずれ再開されるとき、その状況がプランAと同じくらい良いか、それ以上に良いというものだ。たとえば世界の国々は2030年代をかけて交渉し、プランAをより具体化し、拙速さを排し、よく練り上げた、いくつもの点でかなり優れた版をまとめるかもしれない。テック企業が政治に及ぼす腐敗した影響力は弱まり、科学文献や大学が2029年以前の進展に追いつく時間を得ることで、AIに対する世界全体の理解の水準も高まるかもしれない。
だが別の可能性として、AIの進歩の再開がプランAより悪い状況で起きることもありうる。減速協定が崩壊したり実効性を失ったりした後かもしれないし、世界大戦のさなかかもしれないし、政府の秘密プロジェクトの中かもしれない。あるいは、AIの学習実行や実験を急速にスケールアップするのに使える計算資源が桁違いに余っている世界で再開され、より速いテイクオフにつながるかもしれない35。そうした未来が待っているのなら、プランSを実行するより、（リスクはあっても）今プランAを実行するほうがはるかに良い。
つまり、プランAとプランSのどちらを好むかは、米中協定の先行きをどれだけ楽観視するか、そして技術的なアラインメントと制御の難しさをどう評価するかにかかっているのかもしれない。
協定は安定していると考え、しかも協定の初期段階でより高性能なAIへとスケーリングしても安全性にはあまり役立たない、あるいは役立つ以上のリスクをもたらすと考えるなら、その度合いに応じてプランSを選ぶべきだ。その場合、急ぐ必要はない。まず競争を止め、それから進め方を計画すればいい。停止協定（ステップ1）は何年も、ことによると何十年も続く。そのあいだに世界は、少なくともプランAと同等で、場合によってはかなり優れた、再開のためのより良い計画（ステップ2）を考え出す。しかも、それを実施する準備もより整い、しくじる可能性も低くなっている。
協定は不安定で、協定の初期段階でより高性能なAIへとスケーリングすることは有益かつ安全だと考えるなら、プランAを選ぶべきだ。その場合、プランAはリスクをはらむとはいえ、地政学の風向きが変わった数年後に起こりうる、どんな狂気の沙汰よりもリスクは小さい。
私たちにも確信はない。それでも全体としては、うまく実施されたプランAなら、制御の喪失と権力集中のリスクをおそらく回避できると考えている。一方で、うまく実施されたプランSであっても、10年ほどのうちに崩壊して、人工超知能（ASI）をめぐる新たな危険な競争へ逆戻りする可能性は十分にあると考えている。
これとは別に、政治的な実現可能性の問題もある。プランAはAI企業にとって受け入れやすいので、企業やそのロビイスト、プロパガンダなどから強い反対を受けにくい。一方プランSは、より単純で、短期的なリスクをより多く回避できる。そのため世論の支持を集めやすく、しくじりにくいかもしれない。