よくある質問
Q：プランAは、権力集中のリスクを高めるのではないか？
A：いや、プランAは権力集中のリスクを大幅に下げる。現状のままでは、米国に拠点を置くフロンティアAI企業へ途方もない権力が集中する。そうした企業がアラインメント問題を解決すれば、少数のAI企業CEOや米国政府高官が超知能の大群を支配し、世界を掌握できるようになる。（『AI 2027』の減速エンディングで描かれた展開だ。）
プランAは、次の方法で現状を大きく改善する。
フロンティアAI企業の数と多様性を増やす。規制によって最先端の開発速度が落ちるため、後続企業が追いつけるようになり、プランAのシナリオでは2040年までに、複数の国で数十社がAI開発の最先端付近に並ぶ。
AI開発の透明性を高め、実態を見えるようにする。権力集中を招く大きな要因は、世界の主要な権力主体が、AIに権力を奪われることに手遅れになるまで気づかないという構図にある。プランAではテイクオフにかかる期間がはるかに長く、情報も大幅に公開されるため、市民、米国政府、米国以外の各国はいずれも、研究所の内部で何が起きているかを把握する時間を多く得られる。
AIが世界を変える過程をさらに数年にわたって分散させ、誰もが準備し対応する時間を増やすことで、混乱した紛争へ崩れ落ちる代わりに、現在の抑制と均衡に近い制度が残る可能性を高める。
AIシステムへ秘密の忠誠心を埋め込むことを難しくする。精度の高い計算資源管理によって、AIにバックドアを学習させるための隠れた計算資源を誰かが確保することは、もはや現実的ではない。
Q：中国は協定に同意しないのではないか？書面上は同意しても、協定に背いてAI開発を続けるのではないか？
A：中国はプランAに近い枠組みを望む可能性が高く、現状のままでは米国のAI企業に競り負けるからだ。その先にあるのは、ミスアラインしたAIが世界を乗っ取るか、米国が中国を無力化できるほど決定的な優位をAI能力で築くかのどちらかだ。（それぞれ『AI 2027』の競争エンディングと減速エンディングに対応する。）現在の中国共産党はAGIやASIの重要性を十分に認識していないように見えるが、AIが世界へ与える影響が拡大すれば、その認識も変わる。
問うべきは「中国は協定に背くか」ではなく、「中国はどこまで発覚せずに違反でき、その害はどれほど深刻か」という点だ。
協定に背く方法は二つある――（1）世界の目から隠した大規模な秘密プロジェクトを構築すること、（2）合法的に保有する既存の計算資源を使うことだ。
中国が保有しうる秘密プロジェクトの最大規模は、基準ケースで約1.2M H100eと見積もっている。この問題は、秘密プロジェクト補足資料で詳しく分析し、中国がどのように協定へ違反しうるかを検討するシナリオ分岐も用意した。
既存の合法的な計算資源が使われるのは、学習検証の仕組みで防ぐ。米中の監査担当者が相手国の研究開発データセンターを全面的に確認でき、計算資源が申告どおり使われているか検査できると仮定している。この問題の詳しい分析は、検証に関する補足資料。
Q：研究の完全な透明性は、アルゴリズム上の機密を中国や他のAI企業へ漏らすため、望ましくないのではないか？
現在、国家級の攻撃者に耐えられると主張するAI企業はない。モデル重みでさえ守れていないが、モデル重みは多くの場合1〜10TBと大きい一方、アルゴリズム上の機密は個人が記憶できることも多いため、前者の方がはるかに守りやすい。AIアルゴリズムはすでに競争相手の国へ流出しているはずなので、全面的な透明性がもたらす費用は、その大きな便益に比べれば小さい。
Q：プランAは複雑すぎる。全面停止するプランSのような、もっと単純で明快な案を採るべきではないか？
私たちが提案するプランAの実施方法は非常に複雑であり、適切に実行しても重大な存亡リスクを伴う。しかし、私たちが把握している単純なプランはいずれも、プランA以上のリスクを生む。とりわけプランSでは、より低い能力水準で開発を止めるため、さらなる能力スケーリングを妨げている安全性・アラインメント問題の解決が、プランAほど進まない。プランAもプランSも、いずれは崩れて開発競争へ戻る可能性があり、その時点でプランSではアラインメント研究がはるかに遅れているため、これは深刻な欠点になる。もっとも、私たちはプランSに強く共感しており、最終的にはその何らかの形の方が優れていると説得される可能性もある。
Q：米国政府は無能ではないか。AIを適切に規制できると、なぜ信頼するのか？
どのプランでも、実行の不手際は重大な懸念材料になる。私たち自身、プランAが稚拙に実行されることを強く懸念しているため、それが存亡に関わる大惨事へ至る過程を示すシナリオ分岐を作成した。
米国政府が規制しないなら、ほかに誰がAIを規制するのか。業界が有効に自主規制できるとは考えていない。さらに、AI企業が知能爆発へ向けて競争する間、米国政府が何も知らされない状態に置かれれば、突然危機を認識して場当たり的に介入するか、さらに悪ければ米国企業が政府を事実上操るような不安定な状況になりうる（その可能性は、『AI 2027』の減速ルートの結末でも示唆されている）ほか、米国政府が実情を把握すればAIを規制しようとするはずであり、私たちは望ましい規制がどのようなものかを考え、示そうとしている。
プランAの多くは、政府と世界全体のAIに関する能力を、できるだけ速く高めるよう設計されている。たとえば、私たちが研究の完全な透明性を、より穏健な透明性の仕組みより推奨する理由の一つもそこにある。AIの進歩速度を制限するのも同じ理由であり、能力が新たな水準へ上がるたびに、世界が対応し準備する時間を確保できる。私たちは、AIを使って人間の認識を改善する方法や、政府がAIへの理解と規制能力を高めるために今すぐ取れる行動についても論じている。また、プランAが極端な権力集中を防ごうとするのは、それ自体が望ましいだけでなく、政府の実行能力不足がもたらす害も抑えられるからだ。
Q：プランAなど実現しない。それがわかっていないのか？
プランAのシナリオは提言であり、決して私たちが実際に起きると予想している展開ではない。プランAが実現しなくても、AI 2040に含まれる構想の多くは有益であり、状況をより望ましい方向へ導こうとする人々の参考になると考えている。同時に、プランAには実現を働きかけるだけの可能性もあると見ている。
この1年だけでも、政策担当者のAIに対する認識と理解は大きく変わった。AIの影響が拡大すれば、危機を認識する人はさらに増える。AIやAIで強化された人間が世界のほかの人々から権力を奪える「後戻りできない地点」に達する前に、AIは世界を一変させる影響を及ぼす可能性が高い。具体像を断定することは難しいが、たとえば次のような展開が考えられる。
AIは仕事の大半を自動化できるようになる。肉体労働はロボットが、知的労働はクラウド上で動くAIエージェントが担い、大規模で広範な失業が生じる。
失業以外にも、経済へ極端な影響が及ぶ。たとえばAI企業の売上が2030年まで年約3倍で伸び続ければ、フロンティアAI企業の年間売上は10Tドルに達する。単一企業がこれほどの富と権力を持つのは前例がなく、強い警戒を招く。
AIは戦争の性質を根本から変える。たとえばAIが操縦するドローン群は、歩兵、戦車、航空機、空母など既存の機械化戦力を完全に時代遅れにするかもしれない。AI開発の最先端にいない国は軍事面で遅れを取り、地政学的な勢力均衡が大きく変わりうる。
悪用能力も極端に高まる。たとえば一般に入手できる材料から生物兵器を安価に設計し、拡散できるようになれば、その能力に耐えられるよう世界全体を強靭化するのは極めて難しい。
AIが世界へ大きな影響を及ぼした後、政治環境がどうなるかはわからない。焦点は、AIが権力を恒久的に固定するより前に、世界を一変させる影響がどれだけ早く現れるかだ。AIがAI研究開発を完全に自動化する前に実施できれば、プランAははるかに実行しやすく、効果も高い。