よくある質問

Q：プランAは、権力集中のリスクを悪化させるのではないか？

A：いいえ。プランAは権力集中のリスクを大きく減らす。現状のままでは、とてつもない量の権力が最先端のAI企業（いずれも米国企業だ）に集中していく。もしそれらの企業がアラインメント問題を解決すれば、ひと握りのAI企業のCEOか米国政府の高官が超知能の大軍を支配し、世界を乗っ取れる力を手にすることになる（『AI 2027』の「減速」エンディングで起きたのがまさにこれだ）。

プランAは、次の点で現状を大きく改善する。

最先端のAI企業の数と多様性を増やす。規制によって最先端の進歩が遅くなるため、後れを取っている主体が追いつける。プランAのシナリオでは、2040年までに、さまざまな国の数十社がAI開発の最先端近くに立っている。
AI開発の透明性を高め、外から見えるようにする。権力集中のリスクを生む中心的な力学は、世界の権力の中心のほとんどが、AIによって自分たちの力が奪われることに手遅れになるまで気づかないというものだ。プランAではテイクオフの期間がはるかに長く、はるかに透明なので、一般市民も米国政府も米国以外の国々も、AI企業の内部で何が起きているかを見きわめる時間がずっと多く持てる。
AIによる地球規模の変革を数年余分にかけて進め、誰もが準備し対応する時間を増やす。そうすれば、現在のような抑制と均衡の仕組みに似たものが、混沌とした対立のなかで崩れ去らずに存続する見込みが高まる。
AIシステムに秘密の忠誠心を植えつけることを難しくする。計算資源が精度よく把握されているので、誰であれ隠れた計算資源を手に入れることはもはやできない。隠れた計算資源があれば、AIにバックドアを仕込む学習に使えてしまう。

Q：中国は協定に同意しないのではないか？書面上は同意したとしても、離反してAI開発を続けるのではないか？

A：中国はプランAのようなものを望む可能性が高い。現状のまま進めば、中国は米国のAI企業との競争に敗れるからだ。その先に待つのは、ミスアラインしたAIが世界を乗っ取るか、米国が中国の力を奪えるほど決定的なAI能力の優位を手にするかのどちらかだ（この2つはそれぞれ『AI 2027』の「競争」エンディングと「減速」エンディングに対応する）。現在の中国共産党はAGIやASIの重要性をあまり認識していないようだが、AIが世界に与える影響が大きくなるにつれて、それも変わっていくだろう。

問うべきは「中国は協定から離反するか？」ではない。「中国が気づかれずにやれる最大の離反はどの程度で、それはどれほど深刻か？」だ。

協定から離反する方法は2つある。(1) 世界の他の国々から隠そうとしながら、大規模な秘密プロジェクトを立ち上げる。(2) 合法的に保有している既存の計算資源を使う。

中国が持ちうる秘密プロジェクトの最大規模は、基本的な見積もりで約120万H100eだ。この問題は秘密プロジェクトに関する補足資料でより詳しく分析しているほか、中国がどのように離反しうるかをシミュレートしたシナリオの分岐も用意している。

合法的な既存の計算資源の流用は、学習を検証する仕組みによって防ぐ。米国と中国の監査官が相手国の研究開発用データセンターを完全に見られるようにし、計算資源が申告どおりに使われているかを確認できる状態を想定している。この問題は検証に関する補足資料でより詳しく分析している。

Q：研究の完全な透明性は、アルゴリズム上の機密を中国や他のAI企業に漏らすことになり、よくないのではないか？

国家レベルの攻撃者に対して安全だと主張しているAI企業は、現時点で1社もない。モデルの重みですら守れていない。モデルの重みは1〜10TB規模と大きいことが多いため、個人でも記憶できることが多いアルゴリズム上の機密よりはるかに守りやすいにもかかわらず、だ。AIのアルゴリズムはどのみち競合国に漏れているはずなので、ここで完全な透明性を採るコストは、その莫大な利益に比べれば比較的小さい。

Q：プランAは複雑すぎる。すべてを停止する（プランS）のような、もっと単純でわかりやすいプランにすべきではないか？

私たちが提案するプランAの実行方法はきわめて複雑で、うまく実行しても相当な存亡リスクが残る。しかし、私たちが知るかぎり、より単純なプランはどれもプランAよりさらにリスクが大きい。特にプランSの主な問題は、それ以上の能力のスケーリングを阻んでいる安全性・アラインメントの問題の解決に向けて前進する点で、プランAに劣ることだ。プランSでは、より低い能力の段階で停止してしまうからだ。これが問題なのは、プランAもプランSもいずれは崩れて開発競争に戻るからで、プランSではその時点までに進むアラインメントの研究がずっと少なくなる。とはいえ、私たちはプランSに強く共感しており、結局はその何らかの形のほうが優れていると納得させられる可能性もあると考えている。

Q：米国政府は無能だ。なぜ米国政府がAIをうまく規制できると信頼するのか？

どんなプランでも、実行がずさんになることは深刻な懸念だ。実際、私たちはプランAがずさんに実行されることを強く懸念しており、それが存亡に関わる破局につながりうる経緯を描いたシナリオの分岐も書いた。

米国政府が規制しないなら、ほかに誰がAIを規制するのか？私たちは、業界が効果的に自主規制できるとは考えていない。さらに、AI企業が知能爆発を突き進むあいだ米国政府が蚊帳の外に置かれていれば、状況は不安定になりそうだ。政府が突然事態に気づいて右往左往しかねないし、もっと悪ければ、米国の一企業が事実上政府を操る事態にもなりうる（『AI 2027』の「減速」エンディングで示唆したように）。米国政府が蚊帳の外に置かれていなければ、政府はAIを規制しようとするだろう。だから私たちは、よい規制とはどのようなものかを見きわめ、描き出そうとしている。

プランAの大部分は、政府と、より広く世界全体のAIに関する能力をできるだけ早く高めるように設計されている。たとえば、もっと穏当な形の透明性ではなく研究の完全な透明性を勧める理由の一部はここにある。AIの進歩の速さを制限するよう勧める理由の一部もここにあり、そうすれば新しい能力の段階が来るたびに、世界が対応し準備する時間が増える。また、AIを使って認識の質を高めることや、政府がAIへの理解と効果的な規制能力を高めるためにすぐに取れる行動についても論じている。最後に、プランAの大きな動機は極端な権力集中を防ぐことにある。これはそれ自体よいことであり、政府の無能さの影響を和らげることにもつながる。

Q：プランAはどうせ実現しない。それはわかっているはずでは？

プランAのシナリオは提言であって予測ではない。私たちは、それが実際に起きると予想しているわけではない。それでも、AI 2040に含まれるアイデアの多くはよいものであり、たとえプランAが実現しなくても、事態をよりよい方向に導こうとする人々にとって有益な着想になると考えている。そのうえで、プランAには推進する価値があるほどの実現可能性もあると考えている。

この1年だけでも、政策立案者のAIに対する認識と理解は大きく変わった。AIの影響が大きくなるにつれて、事態に目覚める人ははるかに増えるだろう。引き返せない地点、つまりAIやAIの力を得た人間が世界の残りの人々から力を奪えるようになる時点より前に、AIはおそらく世界に変革的な影響を与える。具体的な内容に確信を持つのは難しいが、例として次のような可能性がある。

AIが仕事の大半を自動化できるようになる。肉体労働はロボットが、知的労働はクラウド上で動くAIエージェントが担う。その結果、大量の失業が広がる。
失業以外の、極端な経済的影響。たとえば、AI企業が2030年まで年に約3倍のペースで売上を伸ばし続ければ、最先端のAI企業の売上は年間10兆ドルに達する。一企業にこれほどの富と権力が集まるのは前例がなく、警鐘が鳴らされるだろう。
AIが戦争のあり方を根本から変える。たとえば、AIが操縦するドローンの群れによって、既存の機械化された軍隊（歩兵、戦車、航空機、空母など）が完全に時代遅れになるかもしれない。そうなれば、AIの最先端にいない国々が軍事的に後れを取り、地政学的な力の均衡が大きく変わる可能性がある。
極端な悪用の能力。たとえば、AIが一般に入手できる材料で生物兵器を安価に設計し、拡散できるようになったとする。こうした能力に対して世界の防御を固めるのはきわめて難しい。

AIが世界に大きな影響を与えた後の政治環境がどうなっているかを知るのは難しい。主な問題は、世界に変革的な影響が表れる時期が、AIによる恒久的な固定化（ロックイン）と比べてどれだけ早いかだ。プランAは、早い段階で、つまりAIがAI研究開発のプロセスを完全に自動化する前に実行すれば、はるかに容易で効果的になる。