AI企業は、あらゆる面で人間より賢いAIの開発を競っている。私たちは『AI 2027』で、その行き着く先は人類の絶滅か、後戻りできない権力集中のどちらかだと予測した1。
プランAは、そうならないために本来何が起きるべきかを描いた、私たちの前向きなビジョンだ。
このシナリオで人類は、超知能の開発を2040年まで遅らせ、AI研究をすべて公開し、世界の数十社が最先端に追いつけるようにし、計算資源の相互確証破壊という体制にあえて踏み込む。
プランAは、AIによる存亡の破局を人類が避け、繁栄する未来にたどり着くための、私たちの前向きなビジョンである。 米国の主要なフロンティアAI企業の専門家との対話、OpenAIでの実務経験、机上演習、そして政策立案者や国家安全保障の専門家、AI政策のリーダーとの議論をもとにしている。私たちが提言するのは、超知能をめぐる危険な開発競争を避けるための国際協定だ。協定の柱は、AI研究開発における研究の完全な透明性である。それによって世界各国は何が起きているかを把握し、歯止めを守らせることができる。その結果、複数の国の複数の企業が、秘密裏に競い合うのではなく、足並みをそろえてゆっくりと安全に超知能へとスケールしていく。
プランAは、主として予測ではなく提言である。 このシナリオは、未来が実際にどうなるかについての私たちの最善の推測ではない。政策提言を伝え、その強度を試すための手段だ。プランAが実施されること自体は提言であって、実際にそうなると予想しているわけではない。しかし、その後に描かれる影響は予測である2。
このAI 2040シナリオでは、プランAは不完全ながら、ぎりぎりのところで実施に成功する。
プランAの対照として、4つの代替案（B、C、D、S）も用意した。超知能という難題に米国がどう応じるか（あるいは応じないか）の主な道筋を、それぞれ描いたものだ3。
AI企業はおそらく、人間より賢いAIシステムを作るという公言どおりの目標を、今後1〜10年のうちに達成する。
業界は、超知能AIの制御など走りながら考えればよいと思い込んでいて、まともと呼べる計画をまるで持っていない。私たちはこの状況をひどいものだと考えているし、このままでは全員があっさり命を落としかねない4。「開発競争に勝った」者が大きなリードを得るとは思えないし、その勝者が存亡リスクを減らすために自ら減速するとも思えない5。この競争が続けば6、AIが超知能になったときに人間がそれを実効的に制御し続けられる見込みは薄い7。
さらに、AI企業がどうにかAIをアラインできたとしても、その結果は前例のない権力集中になる。ごく少数の人々、場合によってはたった一人が、世界で唯一の超知能の軍団を数か月にわたって事実上支配する。そして超知能たちは、今後どう進めるかについていくつもの選択肢を差し出す。その中には、事実上世界を乗っ取ることに等しいものも含まれる8。
私たちの推測する限り、OpenAI、Anthropic、xAI、Google DeepMindのCEOたちはこのことを理解したうえで、それでも突き進んでいる。自分たちはより小さな悪であり、習近平やライバルのCEOとは違って、この巨大な権力を責任をもって使うはずだと考えているのかもしれない9。
一般論として、より小さな悪を選ぶのが正しいという点には同意する。それでも、人類の絶滅や世界規模の独裁につながる確率がこれほど恐ろしく高い戦略を、私たちが支持すべきだとは思わない。私たちが訴えたいのは、本当に良いと言えるものだ。十分な数の人が同じように声を上げれば、それは実現しうる。
そこで、その実現しうる世界を描くシナリオを書いた。
「計画は無価値だが、計画することがすべてだ」――ドワイト・D・アイゼンハワー（Dwight D. Eisenhower）
AI政策の提案の多くは、シナリオによる精査にかけると崩れてしまう、と私たちは考えている。その提案が成功する詳細でもっともらしいシナリオを書き出そうとすると、それが意外に難しいことに気づく。そして、計画が思ったほどうまくいきそうにないことや、提唱者が認める以上に厄介な副作用があることが見えてくる。
AI政策の世界でシナリオによる精査がめったに行われないのは、そのせいかもしれない。誰もが、自分の推す政策は素晴らしい結果をもたらし、対立する陣営の政策はひどい結果をもたらすと言いたがる。自分の推す政策をシナリオで精査すれば、都合の悪い問題が浮かび上がりかねない。かといって、対立陣営の政策を精査するのは、手間がかかるわりに論戦で得るものが少ない10。
もっと多くのAI政策提案がシナリオによる精査にかけられれば、議論の質は上がるはずだ。だから私たちは、批判を招くのを承知のうえで、自分たちの提案から始める。批判する人には、AIへの移行を乗り切るための既存の計画のうち最良のもの（そんなものが見つかればの話だが）と比べて評価してほしい。誰も難しい選択を迫られないのに、たぶん万事うまくいく――そんな漠然とした心地よい空想と比べるのではなく。
超人的なAIに近づきつつある世界で、自分たちの政策がどんな効果をもつかを予測するのは途方もなく難しい。その点はどうなのか。これは第三次世界大戦の最善の戦い方を予測するようなもので、しかも過去の事例からの隔たりはそれ以上に大きい。それでも、試みる価値はある。米軍が台湾有事のシナリオを気の遠くなるほど細かく検討することに価値があるのと同じだ。ほかにも前例はある。情報機関、気候関連機関、パンデミック対策機関は、いずれもさまざまな形のシナリオ・プランニングに頼っている。
プランAは、何をすべきかについての私たちの野心的な提案だ。残された時間がどれだけあるのか分からない以上、これに近いものが早く実施されてほしいと願っている11。とはいえ、具体的なシナリオを書くには具体的なタイムラインが要る。
このシナリオのタイムラインは次のとおり。
2029年、米国と中国は、超知能をめぐる無謀な開発競争を避けることで合意する。
2030年、本来ならAI研究開発は完全に自動化されていたはずで、年末までに超知能に至っていた。協定のおかげで、それは避けられる。
2030年から2035年にかけて、人間の能力の範囲内で、人間のトップ専門家とほぼ同等の能力をもつAIまでスケールする。
2035年、人間による制御を保つため、人間のトップ専門家並みのAIの段階で一時停止する。
2040年、一時停止を解除し、超知能までスケールする12。（題名の「AI 2040」はここから来ている）
以前のシナリオ『AI 2027』では、2027年にAIが、より賢いAIを作る工程を完全に自動化し、知能爆発を経て、その年のうちに超知能が生まれた。このシナリオとの違いは2つある。（1）何も手を打たなかった場合のデフォルトのタイムラインが2030年になったこと、（2）ガバナンス上の措置によって、全般的に超人的なAIが初めて現れるのが2040年になったことだ。
デフォルトのタイムラインを変えたのは、一連のシナリオ全体に、AIのタイムラインをめぐる私たちの不確実性を反映させたいからだ。 『AI 2027』の題名の年を選んだのは、執筆を始めた時点で、ダニエル・ココタイロ（Daniel Kokotajlo）が、事態がそれほど速く、あるいはそれ以上に速く進む確率をおよそ50%と見ていたからだ13。プランAの執筆を始めた時点で、トーマス・ラーセン（Thomas Larsen）にとってそれに当たる年が2030年だった。ダニエルは現在、このシナリオで描いたよりもいくらか速く事態が進む可能性が高いと考えている。 タイムラインに関する私たちチームの見解は、こちらとこちらで詳しく読める。
ガバナンス上の措置を変えたのは、このシナリオが主として予測ではなく提言だからだ。 全速力で知能爆発を進めるのは常軌を逸した無謀であり、権力を極端なまでに集中させる。
米国には今、2つの労働力がある。1つは人間で、その数は1億6,500万人。もう1つはAIエージェントだ。何百万ものコピーが毎時間立ち上げられては停止され、昼夜を問わず超人的な速さで働いている。
その仕事の大半は粗悪な出力にすぎない。それでも使えるものが十分にあるので、人々は月に100億ドルを払っている。少なくとも理屈のうえでは、従業員がコンピューターでできることなら何でもこなせるAIに対してだ。
AI企業には、何よりも自動化したい仕事がある。自分たち自身の仕事だ。まだ成功してはおらず、今のところ再帰的自己改善は起きていない14。だが着実に近づいているようで、しかも自分たちが上ってきたはしごを引き上げ始めている。最強のコーディングAIは、競合他社のAI研究開発には手を貸さないのだ15。最も強気な社員でさえ、予定より少し時間がかかっていると認める。その一方で懐疑派は、いつもの一蹴の言葉が空々しく響き始めていることに気づいている。AIには自分の仕事が絶対にできないと言える理由は、正確には何だったか？ 越えられない壁って、何だっけ？
連邦議会が関心を強め始めている。 議員たちは以前からAIの話を耳にしてきた。データセンターが水を使いすぎていること16、チャットボットが自殺をそそのかしたこと、MythosがNSAのシステムをハッキングしたこと。そしてもちろん、テック業界のロビイストたちの警告もある。少しでも規制の気配があれば、米国はたちまち中国との競争に負け、その後の歴史をずっと中国共産党の朝貢国として過ごすことになる、と17。
いま議員たちは一歩引いて問いかける。私たちはこれでどこへ向かっているのか？ 5年後、10年後、15年後の世界はどうなっているのか？ 仕事はまだあるのか？ なかったらどうなるのか？
とりわけ重くのしかかる問いがある。これだけのAIを、誰が制御するのか？
議会はその答えの重要な一部に行き着く。おそらく、自分たちではない。18
議会はAIをめぐって緊迫した公聴会を重ねる。議員たちは、デミス・ハサビス（Demis Hassabis）が独裁者になるのを防ぐためにOpenAIを設立した経緯を論じた、2016年のOpenAIのメールを読む19。では、サム・アルトマン（Sam Altman）やイーロン・マスク（Elon Musk）が独裁者になるのは、誰が防ぐのか？ 既存の答えに議会は納得しない。
この目覚めから生まれたのが「2027年AI透明性法」だ。多くのことを盛り込んだ包括法案で、良い点も悪い点もあるが、状況を根本から変えるものではない20。
2028年の選挙戦は、いつものように白熱している。最大の争点はAIだ。建設中のデータセンターの費用は、米国の軍事予算全体の2倍に達する23。
ホワイトカラーの職業の多くが、2026年にソフトウェアエンジニアリングが経験したような激変にさらされている。そうした仕事の中心は、今やAIエージェントの管理だ。AI企業は学習のプロセスを工業化した。経営陣が「今年は○○の分野に進出しよう」と言えば、会社はその職業の専門家に話を聞き、データを買い、学習環境を作り……と、AIが足場を築くまで続ける。するとAIは、その分野で広く使われて現実のデータを蓄積するにつれ、急速に改善していく。
ほかの国々は恐れと怒りを募らせ始めている。一握りの米中企業が、ホワイトカラーの仕事をすべて自動化しようとしているように見えるのだ。権力は米国に、なかでも大統領と一握りのテック企業CEOに集中しつつある。
AIの専門家たちは、知能爆発が近いと警告する。AIがAI研究を加速させればAIはさらに有能になり、研究はいっそう速まり、AIはさらに有能になる、という具合だ。この過程がどれだけ速く進み、どこで終わるかは、ボトルネックやハードウェアの限界をめぐる複雑な力学で決まる。だが、きわめて速く進み、とてつもなく遠いところまで行き着きそうに見える。
このまま進めば、次の大統領の任期中には、人間の水準をはるかに超えるAIが登場する。そのAIを作るのはすべてAIで、そのAIもまたすべて別のAIが作ったものであり、数世代前から人間はまったく関与していない。そうしたAIは従順で、アラインされているのか？ なぜそう言えるのか？ だとして、誰がそれを制御するのか？ いったいどうすれば、これが良い結末を迎えるというのか？
人類をこの道に乗せたAI企業は、それで構わないと考えている。だが、ほとんどの人はそうは思わない。大統領は、自分のレガシーどころではなく、退任して世界が変貌したあと自分自身がどうなるかを考え始めている24。両候補はAIにどう対処するのかを繰り返し問われ、選挙運動のなかで、ますます大胆な案を試しに打ち出していく。議論は、以下に示すすべての選択肢のあいだを、さらにはそれ以外の案にまで揺れ動く。
最終的に、大統領とその後継と目される候補は一つの計画にまとまり、野党の候補は別の計画にまとまる。そして投票日を迎える。
「AIのリスクは最小に、恩恵は最大にしなければならない」――AI政策の関係者ほぼ全員が、ほとんど何もしないよう勧めながら口にする言葉。
大統領は、安全とセキュリティを確保するため、強力な規制を導入すると表明する。
それから1年、大統領は有力者という有力者と話し合う。AI企業のCEOたち、中国、そして数多くの国々。首脳会談や訪問の合間には、AIの能力が着実に高まっていることを伝える報告書に目を通す。AI企業は何年も前から、自社の再帰的自己改善の能力を喧伝してきた（「当社史上最も強力なモデルを発表します……早期アクセスの法人パートナー企業では、平均的なソフトウェアエンジニアを完全に置き換えられる性能です」）。だがAI透明性法のおかげもあって、政府は誇大宣伝を見抜けるようになっている。2030年の今回は本物だ。傾向を見るかぎり、AI研究開発のプロセス全体が年末までに完全に自動化されそうだ。
協定を結ぶ時が来た。あいにく中国は、遵守状況を自分たちで検証できることを譲らない。しかし中国の査察官や監視装置を米国のデータセンターに入れるなど、論外だ。AI企業も協力しようとしない。各社は「AIいい」か「AIわるい」かをめぐる泥沼のプロパガンダ戦に明け暮れ、「AIいい」の側に固く陣取っている。
国民の多くが超知能の禁止を声高に求める一方で、各社は大統領の手足を縛り、自分たちにいっさい手出しさせまいと死に物狂いで抵抗している。もう一方では、英国、フランス、インド、オーストラリア、日本、韓国といったミドルパワーの連合が勢力を広げ、そろって何らかのAI協定の実現を強く求めている。知能爆発を防ぎ、自分たちのような国も独自の主権AIプロジェクトを持って最先端に追いつき、そこにとどまれるようにする協定だ。だがそうした協定は、月を追うごとに実施が難しくなっていく。AI研究開発に必要な人間がどんどん減り、秘密プロジェクトを気づかれずに進めるのがますます容易になるからだ。
AI研究開発の完全自動化を目前にして、米国の首位企業はしぶしぶ一時停止に同意する。大統領は、知能爆発にこれ以上深入りすれば断固たる措置をとると同社に警告し、その一方で国際交渉をもう一度試みる。安全性チームは、借り物の時間を少しでも活かそうと奔走する。評価を追加で実施し、ファインチューニングを回し、権限移譲がどんな形になり、どんなふうにうまくいかなくなりうるかを検討し尽くす。
だが、それも長くは続かない。1か月たつごとに、米国のほかのAI企業も同じ能力水準に近づき、大統領が抑え込まなければならないCEOが増えていく。さらに重要なことに、1か月たつごとに、中国が米国を追い抜く日も1か月近づく。2030年の終わりには、補佐官たちは大統領に、中国が米国を追い抜こうとしていると告げ、再開すべきだと迫っている。一方で各社は結束し、足並みをそろえて、一時停止を解くよう大統領に強烈な政治的圧力をかけている。アメは次のとおりだ。
「当社の安全性研究者は、この数か月、膨大なAIの労働力を投入して、それなりの計画をどうにかまとめ上げました。うまくいくと証明することはできません。ですが、そこまでの確証を求めるのは、そもそも無理な話でした。未来は不確かなものです。とはいえ、当社のAIが現時点で私たちに対してスキーミング（策略）を巡らせているという証拠はありません。それどころか、問題行動が全体として減少傾向にあることを示すグラフもあります。最新のAIなら、AI研究開発の自動化も、アラインメントや制御の研究も、おそらく任せて大丈夫だと考えています。試算では、計算資源の20%を安全性研究に充てても、余裕をもって中国より速く進めます」
「私たちの活動を大統領がいっそう監督できるよう、何らかのガバナンスの枠組みを設けます。連邦議会にも監督していただきます。各社のAIに他社のAIを監査させることもできます。それに、もし大統領が私たちを国有化しようとしたり、AGIを後ろ盾に独裁者になろうとしたりすれば、議会と最高裁が止めてくれますよ」
「雇用問題に対処するため、何らかの課税と再分配の仕組みを支持します。ええ、私たちは多くの仕事を奪うことになるでしょう。もしかすると、すべての仕事を。ですが新しい税によって、誰もが暮らしていけるだけの分け前を、私たちの利益から受け取れるようになります」
ムチは中国だ。中国に勝たせたくはないでしょう？
大統領は、中国をはじめとする各国との最後の会談に臨む。各国はなお協定を望んでいるが、米国の遵守状況を自分たちで検証できることを譲らない。米国政府は相変わらず、それを受け入れられない。大統領は企業の側につき、再帰的自己改善は続く。
この先はどうなるのか？
それについては、すでに『AI 2027』というシナリオを書いた。そこではテイクオフが2030年ではなく2027年に起きるが、戦略的な状況も、下される選択も似ている。ぜひ今読んでみてほしい。分岐点に来たら、「減速」エンディングを選んでほしい。
私たちは、プランCはプランDよりはましだが、それでも悪い計画だと考えている。主な理由は三つある。
第一に、AI企業が互いに競い合いながら知能爆発を突き進むかぎり、数か月減速してアラインメントと制御の研究に力を振り向けたとしても、各社が自社のAIを制御し続けられるとは思えない44。
数か月の減速では、おそらく足りない。プランCでも、各社の安全性チームは依然として小さすぎ、時間に追われすぎ、自分たちの仕事の出来を楽観視しすぎている。これでは、知能爆発を担えるAIを、しかもそれが良い結末に至るように訓練する方法を見いだせない。権限を移譲されたAIが当初は言われたとおりに動こうとしているだけだとしても、後で考えを変えるかもしれない。AIが指示に従い続けたとしても、AI自身も時間に追われ、セーフティケース（安全性の論証）を支える前提のどれかが誤っていることに気づかないかもしれない45。それが起きなかったとしても、次の世代のAIで、あるいはその次の世代で……と、同じことが起こりうる。
第二に、たとえその見立てが外れ、できあがった超知能がしっかりとアラインされていたとしても、「誰に対してアラインされているのか？」という問いが残る。この問いに対するプランCの答えは恐ろしいものだと、私たちは考えている。
状況はプランDほど悪くはない。少なくとも、連邦議会、大統領、米国の複数のテック企業のCEOのあいだに何らかの権力の均衡をつくるための譲歩はなされている。しかしこの均衡も崩れて権力闘争になり、その先に独裁が待っているかもしれない。そうならなかったとしても、AIによって維持される恒久的な寡頭制のようなものへ向かっていく可能性は十分にある46。失業した大衆は、おそらく再分配によって生かされるだろう。だが、その人々が本当の政治的な力を取り戻す日は来るのだろうか？ 世界のほかの地域はどうなるのか。米国と中国の企業がすべての仕事を奪ったあと、インドは、アフリカは、ヨーロッパは……？ ロシアはどうするのか。経済的にも軍事的にも時代遅れになっていくのを、ただ黙って受け入れ、滅びていくのだろうか？
そこで第三の問題になる。第三次世界大戦のリスクがあまりにも高いのだ。ほかの国々には、独自の最先端AIプロジェクトか、首位のプロジェクトに対する実質的な共同管理権と可視性のどちらかが必要になる。恩恵を分かち合うという約束だけでは説得力を持たない。口約束はいくらでもできるからだ。