AI企業は、あらゆる面で人間より賢いAIの開発を競っている。私たちは『AI 2027』で、その行き着く先は人類の絶滅か、後戻りできない権力集中のどちらかだと予測した1。
プランAは、そうならないために本来何が起きるべきかを描いた、私たちの前向きなビジョンだ。
このシナリオで人類は、超知能の開発を2040年まで遅らせ、AI研究をすべて公開し、世界の数十社が最先端に追いつけるようにし、計算資源の相互確証破壊という体制にあえて踏み込む。
プランAは、AIによる存亡の破局を人類が避け、繁栄する未来にたどり着くための、私たちの前向きなビジョンである。 米国の主要なフロンティアAI企業の専門家との対話、OpenAIでの実務経験、机上演習、そして政策立案者や国家安全保障の専門家、AI政策のリーダーとの議論をもとにしている。私たちが提言するのは、超知能をめぐる危険な開発競争を避けるための国際協定だ。協定の柱は、AI研究開発における研究の完全な透明性である。それによって世界各国は何が起きているかを把握し、歯止めを守らせることができる。その結果、複数の国の複数の企業が、秘密裏に競い合うのではなく、足並みをそろえてゆっくりと安全に超知能へとスケールしていく。
プランAは、主として予測ではなく提言である。 このシナリオは、未来が実際にどうなるかについての私たちの最善の推測ではない。政策提言を伝え、その強度を試すための手段だ。プランAが実施されること自体は提言であって、実際にそうなると予想しているわけではない。しかし、その後に描かれる影響は予測である2。
このAI 2040シナリオでは、プランAは不完全ながら、ぎりぎりのところで実施に成功する。
プランAの対照として、4つの代替案（B、C、D、S）も用意した。超知能という難題に米国がどう応じるか（あるいは応じないか）の主な道筋を、それぞれ描いたものだ3。
AI企業はおそらく、人間より賢いAIシステムを作るという公言どおりの目標を、今後1〜10年のうちに達成する。
業界は、超知能AIの制御など走りながら考えればよいと思い込んでいて、まともと呼べる計画をまるで持っていない。私たちはこの状況をひどいものだと考えているし、このままでは全員があっさり命を落としかねない4。「開発競争に勝った」者が大きなリードを得るとは思えないし、その勝者が存亡リスクを減らすために自ら減速するとも思えない5。この競争が続けば6、AIが超知能になったときに人間がそれを実効的に制御し続けられる見込みは薄い7。
さらに、AI企業がどうにかAIをアラインできたとしても、その結果は前例のない権力集中になる。ごく少数の人々、場合によってはたった一人が、世界で唯一の超知能の軍団を数か月にわたって事実上支配する。そして超知能たちは、今後どう進めるかについていくつもの選択肢を差し出す。その中には、事実上世界を乗っ取ることに等しいものも含まれる8。
私たちの推測する限り、OpenAI、Anthropic、xAI、Google DeepMindのCEOたちはこのことを理解したうえで、それでも突き進んでいる。自分たちはより小さな悪であり、習近平やライバルのCEOとは違って、この巨大な権力を責任をもって使うはずだと考えているのかもしれない9。
一般論として、より小さな悪を選ぶのが正しいという点には同意する。それでも、人類の絶滅や世界規模の独裁につながる確率がこれほど恐ろしく高い戦略を、私たちが支持すべきだとは思わない。私たちが訴えたいのは、本当に良いと言えるものだ。十分な数の人が同じように声を上げれば、それは実現しうる。
そこで、その実現しうる世界を描くシナリオを書いた。
「計画は無価値だが、計画することがすべてだ」――ドワイト・D・アイゼンハワー（Dwight D. Eisenhower）
AI政策の提案の多くは、シナリオによる精査にかけると崩れてしまう、と私たちは考えている。その提案が成功する詳細でもっともらしいシナリオを書き出そうとすると、それが意外に難しいことに気づく。そして、計画が思ったほどうまくいきそうにないことや、提唱者が認める以上に厄介な副作用があることが見えてくる。
AI政策の世界でシナリオによる精査がめったに行われないのは、そのせいかもしれない。誰もが、自分の推す政策は素晴らしい結果をもたらし、対立する陣営の政策はひどい結果をもたらすと言いたがる。自分の推す政策をシナリオで精査すれば、都合の悪い問題が浮かび上がりかねない。かといって、対立陣営の政策を精査するのは、手間がかかるわりに論戦で得るものが少ない10。
もっと多くのAI政策提案がシナリオによる精査にかけられれば、議論の質は上がるはずだ。だから私たちは、批判を招くのを承知のうえで、自分たちの提案から始める。批判する人には、AIへの移行を乗り切るための既存の計画のうち最良のもの（そんなものが見つかればの話だが）と比べて評価してほしい。誰も難しい選択を迫られないのに、たぶん万事うまくいく――そんな漠然とした心地よい空想と比べるのではなく。
超人的なAIに近づきつつある世界で、自分たちの政策がどんな効果をもつかを予測するのは途方もなく難しい。その点はどうなのか。これは第三次世界大戦の最善の戦い方を予測するようなもので、しかも過去の事例からの隔たりはそれ以上に大きい。それでも、試みる価値はある。米軍が台湾有事のシナリオを気の遠くなるほど細かく検討することに価値があるのと同じだ。ほかにも前例はある。情報機関、気候関連機関、パンデミック対策機関は、いずれもさまざまな形のシナリオ・プランニングに頼っている。
プランAは、何をすべきかについての私たちの野心的な提案だ。残された時間がどれだけあるのか分からない以上、これに近いものが早く実施されてほしいと願っている11。とはいえ、具体的なシナリオを書くには具体的なタイムラインが要る。
このシナリオのタイムラインは次のとおり。
2029年、米国と中国は、超知能をめぐる無謀な開発競争を避けることで合意する。
2030年、本来ならAI研究開発は完全に自動化されていたはずで、年末までに超知能に至っていた。協定のおかげで、それは避けられる。
2030年から2035年にかけて、人間の能力の範囲内で、人間のトップ専門家とほぼ同等の能力をもつAIまでスケールする。
2035年、人間による制御を保つため、人間のトップ専門家並みのAIの段階で一時停止する。
2040年、一時停止を解除し、超知能までスケールする12。（題名の「AI 2040」はここから来ている）
以前のシナリオ『AI 2027』では、2027年にAIが、より賢いAIを作る工程を完全に自動化し、知能爆発を経て、その年のうちに超知能が生まれた。このシナリオとの違いは2つある。（1）何も手を打たなかった場合のデフォルトのタイムラインが2030年になったこと、（2）ガバナンス上の措置によって、全般的に超人的なAIが初めて現れるのが2040年になったことだ。
デフォルトのタイムラインを変えたのは、一連のシナリオ全体に、AIのタイムラインをめぐる私たちの不確実性を反映させたいからだ。 『AI 2027』の題名の年を選んだのは、執筆を始めた時点で、ダニエル・ココタイロ（Daniel Kokotajlo）が、事態がそれほど速く、あるいはそれ以上に速く進む確率をおよそ50%と見ていたからだ13。プランAの執筆を始めた時点で、トーマス・ラーセン（Thomas Larsen）にとってそれに当たる年が2030年だった。ダニエルは現在、このシナリオで描いたよりもいくらか速く事態が進む可能性が高いと考えている。 タイムラインに関する私たちチームの見解は、こちらとこちらで詳しく読める。
ガバナンス上の措置を変えたのは、このシナリオが主として予測ではなく提言だからだ。 全速力で知能爆発を進めるのは常軌を逸した無謀であり、権力を極端なまでに集中させる。
米国には今、2つの労働力がある。1つは人間で、その数は1億6,500万人。もう1つはAIエージェントだ。何百万ものコピーが毎時間立ち上げられては停止され、昼夜を問わず超人的な速さで働いている。
その仕事の大半は粗悪な出力にすぎない。それでも使えるものが十分にあるので、人々は月に100億ドルを払っている。少なくとも理屈のうえでは、従業員がコンピューターでできることなら何でもこなせるAIに対してだ。
AI企業には、何よりも自動化したい仕事がある。自分たち自身の仕事だ。まだ成功してはおらず、今のところ再帰的自己改善は起きていない14。だが着実に近づいているようで、しかも自分たちが上ってきたはしごを引き上げ始めている。最強のコーディングAIは、競合他社のAI研究開発には手を貸さないのだ15。最も強気な社員でさえ、予定より少し時間がかかっていると認める。その一方で懐疑派は、いつもの一蹴の言葉が空々しく響き始めていることに気づいている。AIには自分の仕事が絶対にできないと言える理由は、正確には何だったか？ 越えられない壁って、何だっけ？
連邦議会が関心を強め始めている。 議員たちは以前からAIの話を耳にしてきた。データセンターが水を使いすぎていること16、チャットボットが自殺をそそのかしたこと、MythosがNSAのシステムをハッキングしたこと。そしてもちろん、テック業界のロビイストたちの警告もある。少しでも規制の気配があれば、米国はたちまち中国との競争に負け、その後の歴史をずっと中国共産党の朝貢国として過ごすことになる、と17。
いま議員たちは一歩引いて問いかける。私たちはこれでどこへ向かっているのか？ 5年後、10年後、15年後の世界はどうなっているのか？ 仕事はまだあるのか？ なかったらどうなるのか？
とりわけ重くのしかかる問いがある。これだけのAIを、誰が制御するのか？
議会はその答えの重要な一部に行き着く。おそらく、自分たちではない。18
議会はAIをめぐって緊迫した公聴会を重ねる。議員たちは、デミス・ハサビス（Demis Hassabis）が独裁者になるのを防ぐためにOpenAIを設立した経緯を論じた、2016年のOpenAIのメールを読む19。では、サム・アルトマン（Sam Altman）やイーロン・マスク（Elon Musk）が独裁者になるのは、誰が防ぐのか？ 既存の答えに議会は納得しない。
この目覚めから生まれたのが「2027年AI透明性法」だ。多くのことを盛り込んだ包括法案で、良い点も悪い点もあるが、状況を根本から変えるものではない20。
2028年の選挙戦は、いつものように白熱している。最大の争点はAIだ。建設中のデータセンターの費用は、米国の軍事予算全体の2倍に達する23。
ホワイトカラーの職業の多くが、2026年にソフトウェアエンジニアリングが経験したような激変にさらされている。そうした仕事の中心は、今やAIエージェントの管理だ。AI企業は学習のプロセスを工業化した。経営陣が「今年は○○の分野に進出しよう」と言えば、会社はその職業の専門家に話を聞き、データを買い、学習環境を作り……と、AIが足場を築くまで続ける。するとAIは、その分野で広く使われて現実のデータを蓄積するにつれ、急速に改善していく。
ほかの国々は恐れと怒りを募らせ始めている。一握りの米中企業が、ホワイトカラーの仕事をすべて自動化しようとしているように見えるのだ。権力は米国に、なかでも大統領と一握りのテック企業CEOに集中しつつある。
AIの専門家たちは、知能爆発が近いと警告する。AIがAI研究を加速させればAIはさらに有能になり、研究はいっそう速まり、AIはさらに有能になる、という具合だ。この過程がどれだけ速く進み、どこで終わるかは、ボトルネックやハードウェアの限界をめぐる複雑な力学で決まる。だが、きわめて速く進み、とてつもなく遠いところまで行き着きそうに見える。
このまま進めば、次の大統領の任期中には、人間の水準をはるかに超えるAIが登場する。そのAIを作るのはすべてAIで、そのAIもまたすべて別のAIが作ったものであり、数世代前から人間はまったく関与していない。そうしたAIは従順で、アラインされているのか？ なぜそう言えるのか？ だとして、誰がそれを制御するのか？ いったいどうすれば、これが良い結末を迎えるというのか？
人類をこの道に乗せたAI企業は、それで構わないと考えている。だが、ほとんどの人はそうは思わない。大統領は、自分のレガシーどころではなく、退任して世界が変貌したあと自分自身がどうなるかを考え始めている24。両候補はAIにどう対処するのかを繰り返し問われ、選挙運動のなかで、ますます大胆な案を試しに打ち出していく。議論は、以下に示すすべての選択肢のあいだを、さらにはそれ以外の案にまで揺れ動く。
最終的に、大統領とその後継と目される候補は一つの計画にまとまり、野党の候補は別の計画にまとまる。そして投票日を迎える。
「砂漠で会おう、友よ」――『Situational Awareness』
大統領は、AI開発を統治する米国主導の連合の創設を発表する。
大統領は国民に向けて、事態の重大さを説く。高度なAIは、正しく扱えば安全で、しかも広く恩恵をもたらしうる。だが安全面で手を抜けば、制御を失いかねない。テロリストや権威主義体制に悪用されるおそれもある。
「我々の側に加わり、ルールを守る国は、最先端のAIを利用でき、その恩恵を分かち合える。そうしない国は、我々の敵となる。はっきり言っておく。相手に先に超知能へ到達させることは断じて許さない。ここは一歩も譲れない。競争を選ぶなら、それは敗北を選ぶということだ。自由世界は勝たねばならないし、必ず勝つ」
米国が自ら定めたルールを守っているかを、どうやって確かめればいいのか。他国はそう問いただし、返ってきた答えに納得しない（答えの中身は「すみません、確かめようがありません」なのだが、それをはるかに多くの言葉で飾り立てている）。外国の査察官や監視装置を米国のデータセンターに入れるなど、論外だ。
これを受け入れる国もある。米国の指導力を信頼しているからであり、見返りにルール作りへの発言権をいくらか得られるからでもあるのだろう。中国やロシアをはじめ、いくつかの国は受け入れない。加わった米国の同盟国も多くは渋々で、もっと実質的な譲歩をするよう米国に圧力をかけ続ける。
米中はもともと互いにサイバー諜報を仕掛け合っていたが、ここでAIプロジェクトに的を絞った限定的なサイバー戦へとエスカレートする。物理的な妨害工作や軍事攻撃の選択肢も準備し始め、外交ルートでは相手が折れるのを期待して怒鳴り合いを続ける36。
「プロジェクト」が始動する。米国の主要企業の人材、計算資源、アルゴリズムを一つの共同事業に束ね、最終的な指揮権は大統領が握る。動機はいくつかある。規模の利益を得たいという思惑、セキュリティを高めたいという思惑、そして冷戦のような空気だ。その空気のなかでは、選挙で選ばれたわけでもないCEOの一団ではなく、大統領こそが采配を振るうべきだというのは自明に思える。なにしろ、この技術が国家安全保障に及ぼす影響は計り知れない。
「プロジェクト」の立ち上げには、厄介な交渉がつきものだった。AI業界全体が団結して自分に歯向かう事態を避けたい大統領は、一部の企業トップに指導的な地位を約束し、各社を互いに競わせた（それに、実際にプロジェクトを動かすには各社の従業員が大勢必要でもある）。この権力者たちは互いを憎み、信用していない。カメラの前では握手して笑顔を見せても、舞台裏では熾烈な権力闘争が続いている。この闘争は、いずれかの形で決着がつくまで、これから先のすべての出来事の裏筋として流れ続ける37。
2030年、米国は中国に先んじてAI研究開発の完全自動化にこぎつける。ただし計画どおり、すぐに全速力で突き進みはしない。規模の拡大はより慎重に進められ、安全性にかかわる判断は政治家ではなく技術的アラインメントの研究者が下す38。たとえば、より高性能だがはるかに危険な新しいモデルアーキテクチャを見送る。計算資源の50%を安全性研究と監視に充てる。同じミスアラインした目標をおそらく共有しない別系統のAIを育て、互いに監視させる。そういった具合だ。
こうしたトレードオフを正しく判断するのは難しく、秘密主義と開発競争の力学がそれをいっそう難しくする。メンバーが一人増えるごとに潜在的なスパイも一人増えるため、「プロジェクト」内で技術的アラインメントの専門知識を持つ人は数十人しかいない。一方で意思決定者たちは、AIの能力で中国に米国の先を越されたらどれほどまずいかを痛いほど意識している。それは第二次世界大戦に負けるようなものだ。だからこそ、最新のセーフティケース（安全性の論証）ならうまくいくはずだ、最新の米国製AIにはもっと多くの責任を任せても大丈夫だ、と理屈をつけたくなる39。
その間にも、地政学的な情勢はエスカレートしている。サイバー攻撃はある程度の損害を与えたものの、どちらの国のAI開発も数十パーセント以上は遅らせられなかった40。交渉がまたも決裂すると、物理的な妨害工作が始まる。電力を断たれたデータセンターが次々に停止し、高価な半導体製造装置が破壊工作員に壊される。サプライチェーン攻撃を受けて、両国とも調達先を替え、あらゆるものを点検し直さざるをえなくなり、遅れが生じる。中国軍は台湾封鎖の準備を整え、米本土のデータセンターを攻撃する選択肢も用意する。米軍は台湾防衛と、中国のデータセンターや半導体工場への爆撃に備える。両国とも民生用途より軍へのAI配備を優先するが、計算資源の大半はAI研究開発そのもののために確保されている。
2031年には41、大統領は補佐官たちから、どちらも好ましくない二つの選択肢、つまり権限移譲か戦争かを選ぶよう迫られている。
権限移譲。自律的なAI研究開発へのブレーキを緩め、AIをほぼあらゆる面で人間を超える水準にまで到達させ、「データセンターの中の天才集団」を軍に組み込む。この道がますます現実味を帯びてきている。そこまで行けばAIは、その気になれば世界を乗っ取れるほどの能力を持つので、AIがアラインされているかどうかが決定的に重要になる。この道を選んだ場合に起こりうる結果の幅は、『AI 2027』で探ったものとよく似ている。AIがミスアラインしていれば、AIは世界を乗っ取って人類から永久に力を奪い、絶滅か、それに匹敵するほどひどい事態を招く。AIがアラインされていれば、権力は政治家とCEOのどちらか、あるいは両者の何らかの組み合わせに極端に集中する。
戦争。アナリストたちは大統領に報告する。サイバー攻撃やサプライチェーン攻撃を続けてきたにもかかわらず、中国は年末までに独力で超知能を構築する見通しだ、と。つまり米国がさらに減速し、目前に迫った権限移譲を避けるには、いっそう過激な妨害工作が必要になる。本格的な通常戦争へとエスカレートする選択肢も検討の俎上に載っている。しかも悲しいことに、大統領が権限移譲を選んだとしても、戦争は結局起こるかもしれない。中国ははったりを言っているのではないかもしれないからだ。米国に先に超知能へ到達されることは、中国にとって第二次世界大戦に負けるのと同じくらい悪いことなのかもしれない。戦争になれば、米国が多大な代償を払って勝つ可能性が高いが、中国が多大な代償を払って勝つことも、相互確証破壊に至ることもありうる。さらに、AIの能力を引き上げ、戦争のますます多くの局面をAIに任せよという圧力は凄まじいものになるだろう。戦争が終わるころには、両国とも事実上AIに支配されている、ということも十分にありうる。
プランBについて、私たちの思いは複雑だ。
たとえうまく実行されたとしても、プランBはプランAやプランSよりかなり劣る。このシナリオの結末で、私たちなら大統領に、権限移譲か戦争かという二択そのものを拒み、プランAかほかの本当に良い計画へ移行するよう助言する。
うまく実行されたプランBなら、プランC（中国への妨害工作はしないが、自らは少しだけ減速する）より良い結果になる可能性はある。うまく実行されたプランBは、中国の開発を遅らせる強硬な行動によって、中国に追いつかれるまでの減速・一時停止の期間が長くなるという点を除けば、プランCとほぼ同じだからだ。その長い期間を使えば、アラインメント研究をさらに進め、コストはかかるがより安全なAI設計を追求し、権力集中を防ぐ国内改革をより多く実施できる。
とはいえ、プランBでは戦争のリスクが高い。理由は明白で、プランBは中国のAI計画を遅らせるために強硬な行動をとることを求めているからだ。したがって、最もうまく実行されたプランBでさえ、プランCより明らかに優れているとは言えない。
それ以上に重要なのは、プランBはしくじりやすく、歪められやすいと私たちが考えている点だ。ひどく歪められたプランBや、無能な手で実行されたプランBは、破滅的な結果を招く42。たとえば米国は、プランBのうち妨害工作の部分だけを実行し、「本当に減速しよう」という部分は実行しないかもしれない。そうなれば、現状路線（プランD）の欠点をすべて抱えたうえに、権力集中がさらに上乗せされ、中国との対立を早い段階でエスカレートさせたせいで、後からプランAに切り替えるのも難しくなる43。
本気でプランBを実行しようとしても、実際にはプランDに近いものに終わりかねない。その理由をいくつか挙げておく。
中国に勝つことが最上位の関心事になるため、セキュリティが優先される。そのぶん透明性が制限され、最新の情報やモデルにアクセスできるアラインメント研究者はごく少数に絞られる。
開発競争の力学はなくならず、時とともにますます激しく感じられるようになる。そこから、悪いインセンティブ、手抜き、自己正当化が生まれる。
企業を統合し、AI開発を安全保障の問題として扱えば、権力は大統領に極度に集中する。これを避けるには、「プロジェクト」の活動を連邦議会と司法が徹底して監督できるよう、きわめて強力な措置を講じるしかない。
開発競争の力学は、中国やロシアをはじめ多くの国の恐怖を募らせ、エスカレーションの一因になる。しかもプランBでは、中国のAI計画を遅らせるために、米国自身がエスカレーションを招く行動をとるのだ！