シナリオではACへの到達が2031年、TED-AIへの権限移譲が2040年だ。中央値のケースでは、機能低下していない協定の期間内に権限移譲を行わなければ、プランAの協定はおよそ10年間、機能低下せずに続くと見積もっている。この見方の根拠は協定の弱体化に関する補足資料を参照してほしい。その後も協定は機能低下しながらさらに続きうるが、機能低下のあとまもなく権限移譲が行われる可能性が高い。やや上方修正して、中央値のケースを12年としておく。

ただし、これより前に権限移譲するのが最適な場合もある（たとえばアラインメントでブレークスルーがあった場合）。また、最適でなかったとしても、そもそもプランAの協定が拙く実行され、それほど時間を稼げないかもしれない。そこで、稼げる時間の中央値を2分の1に引き下げ、6年とする。

ACへの到達は2031年、TED-AIへの権限移譲は2040年で、シナリオでは約9年になる。安全税をより重視して最適化するなら、9年以内に払える安全税の上限は約6.5桁になる。ただしそれには、計算資源をより大規模な学習実行に集中させ、ハードウェアもより積極的にスケールアップする必要がある。

米国は大規模な通常兵器による攻撃で、中国の計算資源の保有量と供給量のおよそ90%を破壊できると見積もっている。米国は、まずサイバー攻撃などの手段で半導体工場を妨害し、その後に通常兵器による攻撃へエスカレートして、6か月以内に既存の工場の90%を、2年以内に99%を破壊するところまで進むと仮定する。その後の数年間で、中国は先頭プロジェクトの計算資源を元の総量程度まで積み上げ直せる。その方法は、(a) 地下壕などでより堅固に構築すること、(b) 集約することだ。中国の元の計算資源の総量は米国の先頭プロジェクトの約10%なので、中国のテイクオフは既定では米国より約5倍遅く（根拠はこちら）、約5年かかる。米国は「中国追随」戦略をとり、中国に追いつくのに必要な範囲でしかソフトウェアを進歩させないと仮定する。しかし、中国も独自の妨害で応じると仮定する。具体的には、中国は台湾の半導体工場を爆破して、6か月以内に米国のチップ供給の90%を破壊できる。また中国は、通常兵器による攻撃を含まない予測で仮定したのと同じ効果で米国にサイバー攻撃を仕掛けられ、米国も上記のサイバー型の予測と同じ効果で中国にサイバー攻撃を仕掛けられる。そのため、米国の先頭プロジェクトの計算資源はごくゆっくりとしか増えない。つまり米国は中国のペースに合わせるためにある程度ソフトウェアを進歩させる必要があり、米中は互いの進歩をすべて盗み合う。大まかなモデル化によれば、この結果テイクオフの期間はおよそ5年になる。中国が当初失った計算資源による減速と、米国のソフトウェアの進歩を盗むことや限られた追加のチップ供給による加速とが、おおむね相殺し合うからだ。能力の低さと、中国に対するわずかなリードを許容しにくいことを考慮して、2.5年に引き下げる。開始時期を早めることについては、上記のサイバー型の分析と同じく、小幅な上方修正を加える。

半導体工場はサイバー妨害とサプライチェーン攻撃の標的にでき、中国のチップ供給を2030年1月に50%、2031年6月までに最大90%減らせると考える。米国は当初、激しいサイバー妨害で中国が実際に使える学習計算資源を10分の1に減らせるが、その後の数年で中国の防御が向上し、影響は2分の1まで縮むと見積もっている。中国が米国にサイバー攻撃を仕掛ける場合も同じことが起きると仮定する。並行して中国の実験も妨害でき、使える計算資源を当初は3分の1程度に減らせるかもしれない。その影響は数年以内に2分の1未満まで縮む。中国も米国に同じことをする。これは米国の能力向上の速さには影響しない。米国はすでに、可能な量よりはるかに少ないソフトウェアの進歩しかしていないからだ。ただし、安全性研究も妨害を受けるため、安全性に取り組む能力は下がる。大まかなモデル化によれば、有能に実行し、中国と同じ速さでソフトウェアを進歩させる戦略をとった場合、テイクオフの期間はおよそ3年になる。実際には実行はそれほど有能でなく、中国に対するわずかなリードを許容しにくい可能性もあるので、実際のテイクオフの期間の中央値は1.75年とする。2029年初めに開始する場合は、妨害を強化する時間が増えるので、テイクオフの期間は延びる可能性がありそうだが、どの程度かは分からない。逆に、妨害を早く始めすぎると中国の防御が固まり、AC到達後のテイクオフ期間に響くので、期間が短くなることもありうる。中央値はわずかだけ引き上げ、2年とする。

プランC+で費やせる中国に対するリードは、最大の場合でおそらく0.5〜3年だ。現在、中国の能力は約8か月遅れているが、中国の進歩の多くは蒸留やアルゴリズムの漏出によるもので、積極的な対策で抑えられる可能性は十分にある。加えて、プランC+には現在より積極的な輸出規制が含まれる。とはいえ、実際には蒸留やアルゴリズムの漏出を防ぐのは難しいだろう。ソフトウェアをあまり進歩させなければ自国のAIはずっと役に立たなくなり、特に中国のソフトウェアの進歩を盗んでいない場合には、中国に追い抜かれるかもしれない。さらに、モデルの重みの窃取も心配しなければならず、これを防ぐのはかなり難しいかもしれない。米国が中国のソフトウェアの進歩を盗んでいると仮定すれば、私たちの最善の推測ではテイクオフは約1.5〜2年になる。どちらになるかは、米国の先頭プロジェクトがアルゴリズム・ソフトウェアのセキュリティを持たないか持つか、そして輸出規制がチップ供給をどの程度減らすかによる。米国が中国の進歩を盗んでおらず、中国は米国の進歩を盗んでいる場合、中国より先行したまま大幅な遅延を得るのはきわめて厳しいように思える（たとえば、中国がわずかに米国を上回るこの約2年のテイクオフを参照）。能力不足と、中国に対するわずかなリードを許容しにくいことによる割引を考慮して、テイクオフの期間の中央値を1.5年とする。

プランCには定義上、少なくとも5%の減速、つまり約0.5か月の減速が必要だとする。私たちの推測では、プランCの先頭のAIプロジェクトは最も近い競合に対して0.5〜6か月のリードを持ち、そのリードの10〜90%を費やす意思がある（おそらく下限寄り）。そうすると減速量の中央値は1.5〜2か月となり、合計は約1.15年になる。

リードは0.5〜6か月で、中央値を3.5か月とする。その75%を費やすと約2.5か月、つまり約0.22年になる。

プランDでは定義上、減速はほとんどない。資源の3%が継続的に安全性に割り当てられると仮定する。そうすると減速はおよそ1.5%で、最短1年のテイクオフに対して0.25か月の減速にあたる。

安全税の数値はテイクオフの補足資料から取っている。そこでは、2040年までに世界の計算資源の5%が世界最大の企業に集まり、2030年代後半の学習計算資源の伸びが意図的に抑えられると仮定している。プランAのもとで払える安全税の上限は、シナリオより約3桁大きい。そのうち1桁は計算資源をより多く最大の学習実行に集約することで、2桁は計算資源のスケーリングを続けることで得られる。プランAの実行の中央値の数値を見積もるにあたり、実行の拙さを反映して、安全税の支払いに使う学習計算資源の量に80%の割引を適用する。

安全税の数値はテイクオフの補足資料から取っている。そこでは、2040年までに世界の計算資源の5%が世界最大の企業に集まり、2030年代後半の学習計算資源の伸びが意図的に抑えられると仮定している。プランAのもとで払える安全税の上限は、シナリオより約3桁大きい。そのうち1桁は計算資源をより多く最大の学習実行に集約することで、2桁は計算資源のスケーリングを続けることで得られる。

スプレッドシートを参照。そこでは、余剰計算資源の値をテイクオフのセルでリンクしたモデル化に基づいて設定し、安全税の支払いに使う学習計算資源と、存亡リスクの低減に役立つ用途とに半分ずつ振り分けると仮定している（ただし、テイクオフが長く続くので、追加の学習に使う計算資源をすべて最後の学習実行に投じることはできない）。実行の拙さを反映して、存亡リスクの低減に役立つ用途の計算資源と、安全税の支払いに使う学習計算資源の量の両方に80%の割引を適用する。そのうえで、プランが2029年初めに始まることを考慮して、わずかに上方修正する。

スプレッドシートを参照。そこでは、余剰計算資源の値をテイクオフのセルでリンクしたモデル化に基づいて設定し、安全税の支払いに使う学習計算資源と、存亡リスクの低減に役立つ用途とに半分ずつ振り分けると仮定している（ただし、テイクオフが長く続くので、追加の学習に使う計算資源をすべて最後の学習実行に投じることはできない）。実行の拙さを反映して、存亡リスクの低減に役立つ用途の計算資源と、安全税の支払いに使う学習計算資源の量の両方に80%の割引を適用する。そのうえで、プランが2029年初めに始まることを考慮して、わずかに上方修正する。

プランC+については、モデル化のシートで太字にした余剰計算資源の合計値をスプレッドシートに入力し、実行の拙さ／存亡リスクの低減に役立たない用途を反映した80%の割引を適用する。

計算はスプレッドシートを参照。プランDでは0.02年、プランCでは0.25年の一時停止が、TED-AIの時点、つまりテイクオフの終わりに起きると仮定している。これをもとに、安全性の目的に使える余剰計算資源の量を計算する。そのうえで、安全税の支払いに使う学習計算資源と、存亡リスクの低減に役立つ用途に使う計算資源とに半分ずつ振り分けると仮定する。ただしプランCでは、その50%の大部分（全部ではない）が最後の学習実行の安全税に回る。実行の拙さを反映して、プランCでは65%、プランDでは75%の割引を適用する。この割引は、存亡リスクの低減に役立つ用途の計算資源と、安全税の支払いに使う学習計算資源の量の両方にかける。ソフトウェアの進歩によってより大きな安全税を払えるようにするモデル化も試したが（スプレッドシートの非表示の19〜23行目）、指標の上ではそれほど良くならず、その進歩は後続の主体に盗まれうる。

計算はスプレッドシートを参照。プランDでは0.02年、プランCでは0.25年の一時停止が、TED-AIの時点、つまりテイクオフの終わりに起きると仮定している。これをもとに、安全性の目的に使える余剰計算資源の量を計算する。そのうえで、安全税の支払いに使う学習計算資源と、存亡リスクの低減に役立つ用途に使う計算資源とに半分ずつ振り分けると仮定する。ただしプランCでは、その50%の大部分（全部ではない）が最後の学習実行の安全税に回る。実行の拙さを反映して、プランCでは65%、プランDでは75%の割引を適用する。この割引は、存亡リスクの低減に役立つ用途の計算資源と、安全税の支払いに使う学習計算資源の量の両方にかける。ソフトウェアの進歩によってより大きな安全税を払えるようにするモデル化も試したが（スプレッドシートの非表示の19〜23行目）、指標の上ではそれほど良くならず、その進歩は後続の主体に盗まれうる。

計算資源の補足資料から取った数値で、配分は2.4節で示したとおり。一般向け推論の20%と社内推論の80%が、存亡リスクの低減に役立つ用途に使われると仮定する。プランAの実行の中央値の数値を見積もるにあたり、実行の拙さを反映して80%の割引を適用する。

計算資源の補足資料から取った数値で、配分は2.4節で示したとおり。一般向け推論の20%と社内推論の80%が、存亡リスクの低減に役立つ用途に使われると仮定する。

スプレッドシートを参照。実行の拙さによる80%の割引を適用し、モデル化より早くプランが始まることを考慮して上方修正した。

スプレッドシートを参照。物理攻撃型と同じだが、余剰計算資源が少ない。

スプレッドシートを参照。実行の拙さによる80%の割引を適用した。

スプレッドシートを参照。実行の拙さによる割引は65%で、実行しやすいぶんプランAやBより小さくした。

スプレッドシートを参照。実行の拙さによる割引は75%で、プランAやBと同程度にした。実行はしやすいが、能力の低さと相関するためだ。

プランAのサイドパネルのデータによれば、安全性研究者は平均で約10万人いる。存亡リスクの低減に役立つ用途全体をカバーするためにこれを2倍にし、10年を掛ける。中央値のケースも同程度に思えるが、プランAのあまり良くない変種も含めるために50%引き下げる。なお、人間の研究者の平均的な質は他のプランより低くなる。ただし、平均的には偏りも少ない。

安全性研究者は約10万人（サイドパネルのデータ）。存亡リスクの低減に役立つ用途全体をカバーするために2倍にし、約10年を掛けて約200万。

米国のプロジェクトはアルゴリズムを守ろうとして比較的小規模に保たれるが、実際にはそれでも守りきれない。ただし、安全性が重要だと考えているので、その制約の範囲内でできるだけ多くの研究者を集めようとする。どちらの型でも研究者は平均500人とする。

約3,000人 × 約6年

米国のプロジェクトはアルゴリズムを守ろうとして比較的小規模に保たれるが、実際にはそれでも守りきれない。ただし、安全性が重要だと考えているので、その制約の範囲内でできるだけ多くの研究者を集めようとする。どちらの型でも研究者は平均500人とする。

約3,000人 × 約3年

テイクオフを延長する場合の一部では、フロンティアの能力を利用できる研究者が増え、安全性の手法もある程度は企業間で共有されるだろう。社内と一般公開の能力差がほぼゼロかマイナスになる可能性もあるが、その確率は50%未満に思える。1.5 × 1,000 = 1,500とする。

約2,000人 × 2年（この版のC+はアルゴリズムのセキュリティを備えるため、広く共有するのが難しいかもしれない）

先頭のプロジェクトが何を望むかによって大きく変わるが、一時停止の間に多くの研究者に利用を認めようとする可能性は十分にある。1.13 × 500 = 約500。

約1,500人 × 約1.2年

『AI 2027』のような状況を想定している。1.02 × 200 = 200。

約1,000人 × 約1年

プランAでは、一般への透明性と認識を支えるAIの奨励によって、先頭のAIプロジェクトの認識の質が大幅に改善する。状況を把握するための時間が十分にあることも大きい。ただし、特にフロンティアプロジェクトの数が多いことから、いくつかの問題は残る。本当に良い認識の文化を実現するのは非常に難しいので、プランAの実行の中央値はシナリオより低く評価している。

一般への透明性、認識を支えるAIの奨励、そして状況を把握するための十分な時間によって大幅に改善する。ただし、フロンティアプロジェクトの数が多いこともあり、いくつかの問題は残る。

プロジェクトは安全保障が重視され戦時的な空気をまとう世界で進むので、テイクオフの期間が延びることを考慮する前の段階では、認識の質はプランDと同程度か、それより悪くなりそうだ。テイクオフの期間が延びれば文化がずっと良くなる可能性もあるが、それに賭けるつもりはない。

減速を選ぶこと自体が、より健全な文化のある程度の証拠になる。しかし、認識の質を下げる方向の強い圧力と選択効果は残る。

減速を選ぶこと自体が文化についての証拠になるので、プランCはより良い認識の文化と相関する。しかし、認識の質を下げる方向の圧力と選択効果は依然として働く。

プランDでは一般に、迎合、集団思考、希望的観測などが蔓延する。

完全な透明性のプランを参照。プランAの実行の中央値では、透明性はそこまで徹底しない可能性が十分にある。

完全な透明性のプランを参照。一般への透明性は高い。

プランBの実行の中央値では、フロンティアAIの能力や学習アルゴリズムの詳細を中国などの国家主体から守ろうとするので、一般への透明性はほとんどない。

安全保障上の懸念があるため、うまく実行されたプランBでも透明性を高く保つのは難しい。

プランDより透明にできる可能性はあるが、企業の経営陣が何を望むか次第だ。

望めばかなり透明にできるが、中国に追いつかれたくないという事情で制約を受ける。

プランCではこの問題を緩和できる可能性があるが、企業の経営陣が何を望むかによっては緩和されないかもしれない。

望めばかなり透明にできるが、リードを保ちたいという事情で制約を受ける。

プランDでは、『AI 2027』の開発競争エンディングと同じく、一般に社内と一般公開の能力差が大きい。そのため、社内の能力は一般にあまり知られない。

望めばかなり透明にできるが、リードを保ちたいという事情で制約を受ける。

プランAでは、多くの国の多数のフロンティア企業に権力が分散する。この点は、実行が拙くてもかなり揺らぎにくいように思える。ただし、プランAからどこまで逸脱してもプランAの実行とみなすかによる。

多くの国の多数のフロンティア企業に権力が分散する。

プランBでは一般に、政府が選んだか国有化した単一の米国プロジェクトが、競合をはるかに引き離す。

難しくはあるが、うまく実行されたプランBなら、極端な権力集中の高いリスクを避けられる可能性はある。ただし、一般の人々を意思決定の輪に加えるのは難しいだろう。

企業間の差はプランDより多少縮まるが、極端な権力集中が起きやすい条件は依然として整っている。

うまく実行すれば、国内規制は、政府への権力集中に行き過ぎることなく、AI企業への権力集中のリスクを抑えるのに大いに役立ちうる。

プランCでは、一方的な一時停止によって企業間の差が縮まるが、全体としては依然として極端な権力集中が起きやすい条件が整っている。

減速によって、監督の仕組みを整えるための時間が少し得られる。

プランDでは、単一の企業が他社を大きく引き離すので、AIがアラインされていれば、その企業の経営陣が自らの権力を無期限の独裁に近いものへと固められる可能性が十分にある。

減速がほぼないため、極端な権力集中の機会を避けるのは難しい。とはいえ、多少なりとも役立つ対策は確かにある。

スプレッドシートを参照。最終状態を権限移譲と協定の弱体化に分解して計算し、そのうえで、能力が低いことを踏まえて下方修正した。

スプレッドシートを参照。最終状態を権限移譲と協定の弱体化に分解して計算し、そのうえで上方修正した。計算では単純な基準戦略に従うと仮定しているが、有能なプランAの実行なら、はるかに多くの分析に裏打ちされ、特に協定の期間が長くなるにつれてより多くの証拠を得られるからだ。

プランCを40%としているので、それと比較しながらこの数値を論じる。プランCに対する主な利点は、逐次的な時間がはるかに多いことと、政府による監督がはるかに強いことだ。一方で、プランCのほうが透明性と権力の分散がやや優れ、認識の環境も良い可能性がある。さらにプランBには、中国の妨害を防ぎつつ中国を首尾よく妨害できる可能性があるので、存亡リスクの低減に役立つ用途に大量の計算資源を費やせる見込みも加わる。全体として、プランBはプランCより良いが、大差ではない。

直感による。この問題を考えるうえで私が使っている枠組みの背景は、『AI 2027』の目標予測を参照。

直感による。この問題を考えるうえで私が使っている枠組みの背景は、『AI 2027』の目標予測を参照。

直感による。この問題を考えるうえで私が使っている枠組みの背景は、『AI 2027』の目標予測を参照。

スプレッドシートを参照。最終状態を権限移譲と協定の弱体化に分解して計算し、そのうえで、能力が低いことを踏まえて下方修正した。

スプレッドシートを参照。最終状態を権限移譲と協定の弱体化に分解して計算し、そのうえで上方修正した。計算では単純な基準戦略に従うと仮定しているが、有能なプランAの実行なら、はるかに多くの分析に裏打ちされ、特に協定の期間が長くなるにつれてより多くの証拠を得られるからだ。

プランBでは P(extreme COP | alignment) は35%とする（プランDは35%、プランCは25%）。国有化や準国有化は恐ろしいものの、プランDより高くはしていない。未来のその他の側面については確信がないが、逐次的な時間が増えるぶん、プランBはプランCよりわずかに良いかもしれない。とはいえ、一般への透明性やモデルへのアクセスがないことは痛手だ。時間が増えれば、AIを使って認識の質や意思決定理論を改善したり、宇宙のガバナンスを考え出したりするのに役立つ。また大局的に見て、物事を減速させ、素晴らしい未来とはどのようなものか、そこへどう舵を切るかを社会が考える時間を確保するのは、限界的には良いことに思える。その際には、素晴らしくない未来につながりうる経路依存性に注意を払う。

プランC+はプランCよりわずかに良い。

プランCでは P(extreme COP | alignment) は25%で、プランDの35%より低い。プランCでは、機密扱いの政府プロジェクトを伴わずに、各主体が事態に気づいて極端な権力集中を防ぐ機会が多いからだ。ただし、極端な権力集中が起きるかどうかは素晴らしい未来になるかどうかと完全には対応しないので、この差だけでは p(great future | alignment) 全体の差は10%未満にとどまる。とはいえ、追加の時間は他にもさまざまな面で役立つ。たとえば、AIを使って認識の質や意思決定理論を改善したり、宇宙のガバナンスを考え出したりすることだ。詳しくは上記のプランBの理由づけを参照。

プランDでは P(extreme COP | alignment) は35%で、プランCの25%より高い。プランCでは、機密扱いの政府プロジェクトを伴わずに、各主体が事態に気づいて極端な権力集中を防ぐ機会が多いからだ。ただし、極端な権力集中が起きるかどうかは素晴らしい未来になるかどうかと完全には対応しないので、この差だけでは p(great future | alignment) 全体の差は10%未満にとどまる。とはいえ、追加の時間は他にもさまざまな面で役立つ。たとえば、AIを使って認識の質や意思決定理論を改善したり、宇宙のガバナンスを考え出したりすることだ。詳しくは上記のプランBの理由づけを参照。