各プランの比較
Eli Lifland
はじめに
この補足では、各プランがさまざまな中間指標でどの程度の成果を上げ、優れた未来へ至る確率がどれほどかを推定する。具体性を持たせるため定量指標を示すが、個々の数値の精度にはほとんど自信がない。一方、プランAがB〜Dより大幅に優れているという結論には自信がある。プランAに匹敵しうると考えるプランについては、この表。
政府または先頭企業が各プランの実行を試みたという条件の下で、そのプランがどの程度良い結果を生むかを推定する。以下は網羅的な分類ではなく、あらゆる未来を最も近いプランへ振り分けるのではなく、おおむね記載どおりのプランを試みた場合に何が起こるかを考える。軌道を各プランへ分類する詳しい方法は、後述する。
検討するプランは次のとおりである。
プランA（シナリオでの具体的な実施形態）：検証可能な減速＋研究の完全な透明性。AI研究を完全に透明化し、検証可能な国際減速協定を結ぶ。安全性への高い確信を保ちながら、協定の弱体化と秘密プロジェクト。
のリスクを釣り合わせながらAIの能力を拡大するプランA：検証可能な減速＋相当程度の透明性。一般にプランAへ分類するには、無期限の停止ではなく、AIの能力拡大を続けながらも、検証可能な大幅減速を実施しなければならない。透明性も、少なくとも外国政府の監査官を内部に置き、各国政府へ報告書を提出し、編集版を一般公開する水準が必要であり、詳しくは、フィルタリングされた透明性の提案を参照し、プランのその他の要素、たとえば相互確証計算資源破壊は要件ではない。
プランB（軍事攻撃型）：中国を軍事的に妨害し、優位の一部を安全性向上に振り向ける。安全性向上へ振り向ける優位を拡大するため中国を妨害し、ドローンや通常ミサイル攻撃など大規模な軍事攻撃へエスカレートする意思も持つ。プランBへ分類するには、米国が中国に対する優位を安全性のために使う意思を持ち、実際にテイクオフを少なくとも3か月遅らせなければならない。
プランB（サイバー攻撃型）：中国を非軍事的に妨害し、優位の一部を安全性向上に振り向ける。大規模な軍事攻撃へエスカレートする意思がない点を除けば、プランB（軍事攻撃型）と同じである。サイバー攻撃やサプライチェーン攻撃などが該当しうる。
プランC+：国内規制を行い、妨害せずに中国の進展を遅らせる。米国は中国を妨害せず、国内規制によって相当の時間を稼ぐ。代わりに、輸出管理や中国人人材へのグリーンカード付与など、妨害に当たらない措置で中国側の進展を遅らせる。少なくとも2か月の減速が必要である。
プランC：先頭プロジェクトが優位の一部を安全性のために手放す。先頭のAIプロジェクトが優位の一部を安全性向上のために手放し、国内規制を使わず、他のフロンティア・プロジェクトと協調してさらに減速する場合もある。少なくとも1か月の減速が必要である。
プランD：開発競争。フロンティアAIプロジェクトは、知能爆発をほぼ最高速度で進みつつ、安全性へゼロではないが小さな割合の資源を充てる（少なくとも1%で、これを下回ればプランE）.
に分類する）。政府が実施しうるプランはほかにもあり、その一部は後述する。後述する。
簡略化のため、 次を仮定する。
Automated Coder（AC）からTop-Expert-Dominating-AI（TED-AI）までの最短テイクオフ期間は、2030年初頭から2030年末までの1年弱である。これは、デフォルトのプランAにおけるAI Futures Modelの軌道と一致し、最短テイクオフとは、先頭AIプロジェクトが最高速度で進んだ場合に起こる経路である。
すべてのプランは2029年初頭に実施を始められる。プランAのシナリオと同じだが、CとDはテイクオフ開始まで何もしないため、この仮定は影響しない。能力向上に役立つなら、その間にも安全性研究を行う可能性はある。
以下ではこれらの条件を外し、他の著者の見解も示す。後述する。
プラン評価表
以下の推定はすべて粗い最良推定であり、細かな数値はプランAを推奨する根拠を左右しないが、大まかな結論は重要である。
| 指標↓／プラン→ | プランA | プランB | プランC+ | プランC | プランD | |
|---|---|---|---|---|---|---|
| 軍事攻撃 | サイバー攻撃 | |||||
| 客観指標 | ||||||
| テイクオフ期間（ACから乗っ取り可能なAIまで） | 6年 | 3年 | 2年 | 1.5年 | 1.13年 | 1.02年 |
| 学習計算資源の安全性コスト（OOM） | 2.8 | 1 | 0.75 | 0.46 | 0.13 | 0.02 |
| 安全性向け計算資源（H100e-yrs） | 1,000億 | 5億 | 1億 | 2,000万 | 400万 | 50万 |
| 安全性研究者・年 | 100万 | 2,000 | 1,000 | 1,500 | 500 | 200 |
| 主観指標（1–5） | ||||||
| 認識文化 | 3 | 1 | 2 | 2 | 1 | |
| 市民への透明性 | 4 | 1 | 2 | 2 | 1 | |
| 権力の分散 | 5 | 1 | 2 | 2 | 1 | |
| 結果（実施例全体の中央値） | ||||||
| p（アラインメント）、すなわち1 - p（ミスアラインしたAIによる乗っ取り） | 72% | 50% | 45% | 40% | 25% | |
| p（優れた未来｜アラインメント） | 58% | 50% | 55% | 50% | 40% | |
| p（優れた未来） | 42% | 25% | 25% | 20% | 10% | |
客観指標に基づくプランの順位はアルファベット順であり、プランAとプランBの間には大きな差がある。ただし一部の主観指標では、C+とCがプランBを上回る。安全保障を重視するプランBの戦時体制的な雰囲気は認識の健全性を損ないうるほか、国有化または事実上の国有化が実施される可能性が高く、市民への透明性を下げ、権力を集中させる。
プランの発生確率と結果に関する著者間比較
これらの推定は、デフォルトの能力軌道、プランの実施時期、実施の適切さに関する不確実性をまとめて織り込んでいる。数値はこのシートにあり、プランの分類は後述のとおりである。後述する。
可能性
各著者が見積もる、各プランの発生確率
| Eli | p（政府が少なくともプランBと同程度に強い措置を取る）＝35%で、政府の問題意識は高まっているように見え、ASIの重要性も今後ますます明白になる。ただしプランBに該当するには、実際に少なくとも3か月減速しなければならない。 |
|---|---|
| Ryan | 何を該当例として数えるべきかには、非常に大きな不確実性がある。プランC+に分類されるのは主として、拙い規制によってAIの進展を遅らせる世界だと考える。優位を安全性向上へ振り向けるという条件がなければ、プランBの確率はもっと高くなる。 |
結果
ここではp（アラインメント）、すなわち1 - p（ミスアラインしたAIによる乗っ取り）に注目する。簡略化のため、この節ではp（優れた未来｜アラインメント）を扱わない。
各プランでミスアラインしたAIによる乗っ取りを回避する確率
| Eli | 上のプラン評価で示した確率は、次の条件に基づく。 私が想定するテイクオフ期間の中央値は（a）の約2xだが、より速いテイクオフにも相当の確率を置いているため、私のp（アラインメント）の推定値は、引き上げつつも50%へ多少戻すという二つの調整が必要になる。また、プランAは他のプランほどデフォルトのテイクオフ期間に左右されない。秘密プロジェクトの観点では、テイクオフ開始時と終了時の有効計算資源の差が大きいほど必要なソフトウェア進歩も増えるため、効果がどちら向きかさえ明らかでない。AC到達、すなわちテイクオフ開始までの時系列は私の中央値とかなり近いため、この点では推定値を少し50%へ戻す。 （b）について、私の中央値ではプランの実施はこれより遅いが、A以外のプランではいずれにせよ後から減速する方がよいため、大きな影響はないと考える。この点を踏まえてプランAの評価は下げるが、秘密プロジェクトは発見されずに実行するのが依然難しいと思うため、下げ幅は大きくない。 また、プラン評価の数値は、あらゆる実施例の期待結果を集計したものではなく、実施例の中央値に基づいていた。確信度の低い即席の推測では、期待結果へ切り替えると数値を50%へ戻す方向にも働くが、確信はないため、この調整は小さくする。 以上を踏まえ、次のように調整する。 「その他」の多くは、プランSを含め、ここで扱っていない比較的良いプランだと考える。たとえば、その約40%はA以外の合意である。ただしプランEも含まれる。全体ではBと同じ55と評価する。 |
|---|---|
| Ryan | これらの数値は、プランの分類方法に大きく左右される。たとえばシナリオ記載のプランAのリスクは、補足資料で分類するプランAの3/5程度かもしれない。先頭AI企業が実行する本当に良いプランCは、プランBに与えた数値にかなり近いが、非常に良いプランBには及ばない。「その他」のかなりの部分は、安全性への取り組みが不足し、プランDにさえ分類できない世界である。 |
その他のプラン
政府が採りうるプランはほかにも多い。以下では、特に有望または起こりやすいと考えるものを挙げる。
プランAに匹敵しうるプラン
概要 | 利点（Aとの比較） | 欠点（Aとの比較） |
プランS： 無期限停止。フロンティアAIの能力向上をすべて停止し、少なくとも数年間続ける。プランSの形態によってAI進歩を再開する条件は異なり、たとえば、アラインメントの進展、嘘検出器、人間のアップロード、知能増強などが条件になりうる。 | 予想される減速期間が長く、能力拡大を急ぎすぎた場合の余裕も大きい。より単純な仕組みにできる可能性がある。 | 人間の能力範囲に収まり、制御可能なAIまで能力を拡大すれば、アラインメントと制御、認識の健全性、検証、AI全般への理解を進めやすい。 |
国内優先型プランA。AIによる乗っ取りリスクを許容水準へ下げるまで国内で規制し、そのために長期間減速する。他国も国内規制を行ってプランAのような国際枠組みが不要になる可能性もあり、そうならなければ後にプランAへ移行する。 | 初期段階は米国だけでも実行でき、時間軸を大幅に延ばせるため、国際段階が実現しなくても非常に有益である。中国との信頼も能動的に築ける。 | プランAを同時に交渉する場合に比べ、秘密プロジェクトへの対処と検証体制の構築では劣る。開発競争の力学により、政治的に実現できない可能性もある。 |
GPU軍備管理。歴史上の軍縮協定にならい、各国が保有または新規取得するGPUを制限する国際協定。 | 執行がはるかに単純で、歴史上の前例も多い。相当な減速を実現できる。 | 減速幅が小さく、安全性コストへ充てられる余裕も少ないうえ、開発競争が続くため、技術ツリー上のより安全な経路へ協調して進めない。 |
AI版CERN。フロンティアAIを開発する国際プロジェクトであり、他のすべてのプロジェクトは、能力面で大幅に後れるよう規制する。 | アルゴリズム上の知見の漏洩や、秘密プロジェクトによる蒸留を防ぎやすい。フロンティアの主体が少なければ、執行もしやすくなる可能性がある。 | 透明性と広範な導入が減るため、技術的安全性を含め、意思決定の質が下がる。権力集中のリスクが高まる。 |
プランAより明らかに劣ると考えるプラン
GPUを別用途へ転用：次のGPU軍備管理と似ているが、GPUを破壊せず、実存的に有用な用途へ使うことを義務づける。詳しくは、このコメントには、GPUを外部の安全性組織へ推論能力として提供するか、公開された透明な安全性研究へ使うことを義務づける、より具体的な案がある。理論上、このプランはGPU軍縮より優れているはずだが、元へ戻しにくく、執行も難しい。
減速しないプランB、別名D-war：減速しない点を除けばプランBと同じであり、すなわち中国への妨害で拡大した優位を、ほぼ安全性向上へ手放さない。上の推定では現在、プランDの一形態に分類している。
中国とのより弱い協定。たとえば米国は、「何をしているか完全に透明にするなら、AI推論用のチップをより多く利用できるようにし、米国の安全要件について拘束力を持たない、または多数派には満たない発言権を与える」と提案しうる。
プランE：プランDと同様だが、安全性への投資はさらに少なく、資源の1%未満である。
軌道をプランへ分類する方法
以下では実施期間を次の二時点の間と定義する。
開始（1年前）：自動コーディングAI （AC）へ最高速度で能力を拡大した場合の到達時点。ACとは、AGIプロジェクトのコーディング作業を完全自動化し、コーディング担当者全員を自律的に代替するAI群である。つまり、AIの利用をやめるくらいなら、人間を全員解雇した方がよいと判断する水準である。
終了：乗っ取り可能なAI。敵対的にミスアラインしたAIが存在するという条件の下で、人間がAIによる乗っ取りを阻止できる可能性が、実際上きわめて低くなった時点を「乗っ取り可能なAI」への到達とする。インターネットを停止するなど極端な措置を取れば理論上はAIを停止できるかもしれないが、AIへの依存が深まっていたり、AIが非常に強い説得力を持っていたりするため、人間が実際にそうする可能性は低い。
実施期間を通じて同じプランを試みていれば、軌道をそのプランへ分類する。複数のプランを試みても一つの軌道は最大一つのプランにしか数えないが、これは自明ではなく、同じ軌道を複数のプランへ数える方法も合理的に思える。
実施期間中に複数のプランを試みた場合は、試みたうち最も強いプランへ軌道を分類する。一般的な分類としてはやや曖昧だが、S／プランA／B／C+／C／Dの間では、この一覧で最も前にある、実際に試みたプランへ分類する。そうする理由は、たとえ合意が崩壊するまでが短くても、軌道は主にAまたはSへ数えるのが直感的であり、弱いプランで始まっても実施期間内にA/Sへ移行すれば、やはりプランAまたはSへ数えるべきだからである。
この分類から、強いプランほど、より有能な人々が実行者として選ばれるという選択効果が生じる。また弱いプランには、懸念すべき証拠が出ても後から強いプランへ移行しない人々が選ばれる。
明示的に取り除く選択効果の一つは、アラインメントの難度などの背景変数が、軌道の分類先へ与える影響である。つまりプランを評価する際は、どのプランを試みても、アラインメント難度の分布、具体的にはその分布についての私の全体的な予想が同じだと仮定する。前述のとおり、人間の能力など、人間が制御する変数についてはこの処理をしない。
付録
学習計算資源の安全性コストの定義
学習計算資源の安全性コストとは、一定の能力水準へ到達するために学習実行で実際に使った計算資源と、その能力へ到達するのに最低限必要な計算資源との差である。余分な計算資源を安全性へ有効活用する方法として、より安全だが計算資源効率の低い方式で学習することや、AIを使ったスケーラブルな監督へ大量の計算資源を投じ、学習過程のインセンティブを改善することなどが考えられる。
この方法で安全性コストを測るのは、実際に重視するものの不完全な代用指標である。同じ能力向上をもたらす改善でも、その改善を見送ることが安全性へどれほど役立つかには、大きな差がありうる。
プランSのどの形態を実施するかによるが、プランAとの違いとして、計算資源の増強が遅いこと、透明性が低いことなどもありうる。
その特殊な形として、GPUを停止する：一定割合のGPUについて、（i）停止するか、（ii）暗号資産の採掘に使う（または検証可能な非AI研究開発目的に使う）ことを義務づける。この提案には、GPUの停止を解除しやすくするという利点と欠点の両方がある。
ただし、小規模な公開導入と選択的透明性によって、この問題を緩和できるかもしれない。
プランが特に強い場合は、実施開始をもっと早く認めるべきかもしれない。たとえばプランSは、デフォルトのAC到達時点より1.5年前に始まれば、該当すると数えるべきだろう。