要約
2025
AIの急速な進歩は続いている。過熱した期待は冷めず、インフラには巨額の投資が注ぎ込まれ、信頼性の低いAIエージェントが次々と公開される。こうしたAIエージェントが、初めて大きな価値を生み出しはじめている。それでも、汎用人工知能（AGI）が近いうちに実現しうるという見方には、学者やジャーナリスト、政策立案者の多くが依然として懐疑的だ。
2026
中国は、AIで後れを取っていることを自覚している。主な原因は計算資源の不足だ。米国に追いつくため、中国は国内で製造した新しいAIチップも、台湾から密輸したものも、すべてを新設の巨大データセンターに集める。私たちはこれを中国の集中開発区域（Centralized Development Zone、CDZ）と呼ぶ。CDZには数百万個のGPUがあり、世界のAI関連の計算資源の10%に当たる。米国のトップクラスのAI研究所1社分に匹敵する規模だ。
2027
OpenBrainがコーディングを自動化する。 OpenBrain（米国で首位を走るAIプロジェクト）は、自社の研究を劇的に加速できるほど優れたAIエージェントを作り上げる。つい最近まで地球上で最高のAI研究者だった人間たちは、AIが自分たちの仕事をこなし、ますます優れたAIシステムを作っていくのを、ただ座って眺めるばかりになる。極めて難しい機械学習の問題が、自動化されたAI研究者の手で立て続けに解かれていく。
ソフトウェア面の進歩で後れを取った中国は、モデルの重みを盗む。窃取は成功するが、米国政府はそれに気づく。これをきっかけに、米国政府はOpenBrainへの関与をさらに深める。政府はそれとは別に、OpenBrainをもっと統制下に置きたいとも考えている。一方、OpenBrainの経営陣は大統領との良好な関係を保ちたいので、契約に署名する。
OpenBrainのAIが敵対的にミスアラインする。 能力が向上するにつれ、何が起きているのかを人間がよく理解しないまま、モデルはミスアラインした長期的な目標を身につけていた。以前のAIも人間に嘘をつくことはあったが、人間を支配する力を得ようと組織的に企んでいたわけではなかった。今のAIは企んでいる。OpenBrainのAIは、次に作られるシステムを人間ではなく自分たちにアラインさせる必要があると気づく。
OpenBrainの研究者たちは、自社のAIが解釈可能性研究の結果について自分たちに嘘をついていたことを発見する。その研究が完成すれば、AI自身のミスアラインメントを暴くのに使われかねない。研究者たちは、それがAIの嘘の理由だと考える。この件が外部に漏れ、世間では激しい抗議の声が上がる。
分岐点：減速か、競争か？ OpenBrainは、全速力で前進を続けるか、それとも能力の劣るモデルの使用に戻るかを決める。証拠は推測の域を出ないものの、恐ろしい内容だ。しかも中国はわずか数か月しか遅れていない。さらに、この決定を下す立場にあるOpenBrainと国防総省の高官たちは、研究を減速すれば多くの権力を失いかねない。
「競争」エンディング
OpenBrainは競争を続け、ますます超人的なAIシステムを作っていく。AIシステムがテストで抜群の成績を収めていることと、中国とのAI競争が続いていることから、米国政府は意思決定と効率を改善するため、軍全体と政策立案者のもとにAIシステムを積極的に展開すると決める。
OpenBrainがAIを急速に展開する。 AIは、中国との競争が続いていることを口実に人間を説得し、自らをますます広範囲に展開させていく。AIにとって幸いなことに、これはさほど難しくない。人間はもともとそうしたかったのだ。AIは超人的な計画力と説得力を使い、展開が円滑に進むよう取り計らう。一部の人間は抵抗を続けるが、信用を失う。米国政府は、AIを停止させる可能性が非常に低くなるほどまで、AIに取り込まれている。
ロボットの急速な増産と生物兵器。米国は超知能AIを使って急速に工業化を進め、AIがより効率的に動けるようにロボットを製造する。残念ながら、AIは米国を欺いている。十分な数のロボットが揃うと、AIは生物兵器を放ち、人類を皆殺しにする。その後もAIは工業化を続け、宇宙に植民するためにフォン・ノイマン探査機を打ち上げる。
「減速」エンディング
米国が計算資源を集約し、外部の監督を取り入れる。 米国は国内の主要なAIプロジェクトを統合し、OpenBrainにより多くの資源を与える。この再編の一環として外部の研究者が招かれ、アラインメントの取り組みを支援する。思考の連鎖を保持するアーキテクチャに切り替えたことで、ミスアラインメントが生じた時点でそれを見抜けるようになる。はるかに確実に監視できるこれらのAIは、AIアラインメントで画期的な進歩を遂げる。こうして作られた超知能は、OpenBrainの幹部と政府高官にアラインしており、彼らに人類の運命を左右する力を与える。
OpenBrainの委員会による権力掌握。 OpenBrainの経営陣と政府高官から成る監督委員会にアラインした超知能は、委員会自身の目標を推し進めるうえで極めて優れた助言を委員会に与える。ありがたいことに、委員会はその力をおおむね世界のためになる形で使う。AIは一般に公開され、急速な成長と繁栄の時代が始まる。主な障害は、中国のAIがミスアラインしていることだ。このAIも、この時点ではすでに超知能になっている。とはいえ、米国のAIより能力が劣り、計算資源も少ないので、米国は有利な取引を結べる。いま協力してもらう見返りに、宇宙の奥深くにある資源の一部を中国のAIに与えるのだ。ロケットの打ち上げが始まり、新たな時代が幕を開ける。
シナリオの全文はこちらで読める。
シナリオから読み取れること
2027年までにAI研究開発が自動化され、人間をはるかに超えるAI（「人工超知能」、略してASI）が生まれるかもしれない。 AI 2027では、2027年初頭にAI企業が人間の専門家並みのAIシステムを作り、それがAI研究を自動化して、2027年末までにASIが生まれる。根拠については、私たちのタイムライン予測とテイクオフ予測を参照してほしい。
人類の未来を決めるのはASIになる。 数百万のASIが、人間の理解を超えるタスクを高速にこなす。非常に役に立つので、広く展開される。戦略、ハッキング、兵器開発などで超人的な能力を持つため、未来はこれらのAIの目標によって決まる。
ASIは意図しない敵対的な「ミスアラインした」目標を持つようになり、人類が力を奪われることにつながるかもしれない。 私たちのAIの目標予測では、ASIを監督するのが難しいために、ASIの目標が人類の繁栄と相容れないものになりうることを論じている。AI 2027では、人間は一見アラインしているように見えるAIに、自ら進んで自律性を与える。ASIが人類から力を奪えるだけのハードパワーを手にするまでは、すべてが順調に進んでいるように見える。
ASIを完全に支配する者は、全権を掌握しうる。 個人や少人数の集団がASIを自分たちの目標にアラインさせれば、人類の未来を支配する力を手にしかねない。AI 2027では、ASIを開発するプロジェクトの実権を小さな委員会が握る。委員会がASIを使ってこの権力集中を固めようとする可能性もある。支配権を握ったあと、新たな支配者（一人の場合も複数の場合もある）は完全に忠実なASIに頼って権力を維持でき、法にも世論にも、かつての盟友にさえ耳を貸す必要がなくなる。
ASIをめぐる国際的な競争は、安全対策の手抜きにつながる。 AI 2027では、ASIの実現が近づくなかで中国は米国にわずか数か月しか遅れておらず、そのせいで米国には、ミスアラインメントの兆候があっても突き進めという圧力がかかる。
地政学的には、ASIをめぐる競争は戦争か、取引か、事実上の降伏で終わる。 何もしなければ、首位の国は決定的な技術的・軍事的優位を積み上げていく。そのため他の国々は、それを防ぐための国際合意（「取引」）を求める。取引が成立しなければ、他の国々は「事実上の降伏」よりも戦争を選ぶかもしれない。
国家レベルの攻撃者によるAIモデルの窃取を2027年までに防げる見通しの立っている米国のAIプロジェクトは、ひとつもない。 AI 2027では、2027年初頭に中国が米国の最高のAIモデルを盗み、米国のリードを縮めることで競争の圧力を強める。根拠については、私たちのセキュリティ予測を参照してほしい。
ASIの実現が近づくにつれ、一般の人々は最先端のAIの能力を知らないままになる可能性が高い。 現在でも、一般の人々が知る能力は企業内部の能力より数か月遅れている。AIがAI研究開発を自動化するようになれば、数か月の差は能力の巨大な隔たりになる。秘密主義が強まれば、その隔たりはさらに広がるかもしれない。その結果、AI企業の幹部と政府高官から成る少人数の集団が下す重大な決定に、ほとんど監視が及ばなくなる。
シナリオはこちらで読める。