能力スケーリング戦略
Eli Lifland
概要
プランAのシナリオでは、なぜコンソーシアムは、2035年にトップ人間専門家を上回るAI（TED-AI）へ到達するまで能力を着実に高め、その後はほぼ停止状態まで減速して、2040年にこれらのAIへ権限を移譲するのか？ 本補足資料では、能力をスケーリングする際の大枠の戦略と、その根拠を説明する。
一言でまとめれば、プランAの能力スケーリング戦略は、安全性への高い確信を維持できる範囲で、可能な限り速くスケーリングすることである。詳しくは次のとおりである。
まず、取り上げるのは、プランAで採用する能力スケーリング戦略の大枠と、その根拠である。この戦略を2段階に分ける。
制御可能な最大能力のAIに近づくまでスケーリングする。これは、たとえミスアラインしていても、大惨事を引き起こさないよう阻止できると確信できる範囲で、最も高い能力を持つAIを指す。本シナリオでは、制御可能な最大能力のAIはおおむねTED-AIに相当すると予測する。
減速してほぼ停止し、その後、最終的にAIへ権限を移譲する。
続いて、取り上げるのは、能力のスケーリングに時間をかけることのコスト、とりわけ協定の弱体化リスクを論じる。
最後に、推奨戦略をより詳しく論じる対象はステージ1とステージ2。
であり、実際には、最適な戦略を決めるため、本補足資料で行ったものよりはるかに多くの分析が必要であり、プランAの実行中に得られる情報に応じて戦略を調整すべきである。以下では、現時点における筆者の最良推定を述べる。
スケーリングを遅くする方向に働く最重要の考慮事項は特定できていると確信しており、ここで述べる大枠の戦略が正しいことにも中程度の確信があるが、高い確信まではない。精密な定量推定については確信がない。
大枠の戦略
軌道の全体像
無期限に停止せず、一定のスケーリングを行うのは、ゆっくり進めることのコスト、なかでも協定の弱体化、すなわち減速協定が失効するか、実効性を失うリスクがあるためである。
次のような形の軌道を目指す。
プランAを大きく2つのステージに分ける。
ステージ1：制御可能な最大能力のAIまでスケーリングする。
ステージ2：ほぼ停止するまで減速し、最終的にAIへ権限を移譲する。
この場合、曲線はまず比較的速く上昇するが、それでも制御されない知能爆発よりは遅く、その後しばらくはほぼ停止するまで減速する。これは、知能爆発を一様に減速させた場合の曲線とは異なる。
このような曲線を目指すのは、アラインメントや認識の改善、協定の安定化など、重要な用途に極めて有用なAIを利用できる期間をできる限り長く確保したいからである。また、安全性への高い確信を維持しながら、初期段階でこの速さを実現することは可能だと考える。
ステージ1：制御可能な最大能力のAIまでスケーリングする
このステージでは、コンソーシアムは能力を制御可能な最大能力のAI、よりやや低い水準まで高め、その後はスケーリングをおおむね停止する。制御可能な最大能力のAIとは、AIに対する制御を維持できると確信できる範囲で、最も高い能力水準、すなわちAIが望んだとしても壊滅的な危害を引き起こせない水準を指す。この水準は、おおむねトップ人間専門家を上回るAI（TED-AI）、すなわちあらゆる認知タスクでトップクラスの人間と同等以上のAIになると考える。
戦略：未把握の計算資源量を手がかりにすれば、コンソーシアムは秘密プロジェクトの有無を証明できなくても、その可能性をかなり的確に把握できるというのが現時点での最良推定である。また、秘密プロジェクトはおそらく存在しないと予測する。コンソーシアムが秘密プロジェクトの存在を有力と考える一方、その検知可能性について現時点の最良推定（5年以内に約60%）を共有するなら、秘密プロジェクトを理由に通常より遅く進めるべきかは際どい判断になる。検知について現時点の最良推定より大幅に悲観的なら、多くのソフトウェア進歩を生み出さないよう減速し、ステージ1に少なくとも約5年をかけるべきである。 反対に、より楽観的なら、速度を制約する要因は、制御への高い確信の維持と、不安定化の回避になる。迅速にスケーリングする利点は、（a）コンソーシアムがより高性能なAIを得て、有用な作業の自動化や実験対象としての利用ができること、（b）協定の弱体化。
ステージ2：ほぼ停止するまで減速し、最終的にAIへ権限を移譲する
コンソーシアムが制御困難なほど高性能なAIを得た後は、しばらくの間、ほぼ停止に近い水準まで減速する。その後、制御措置を緩和し、AIへ権限を移譲する。制御措置を緩和するとは、AIがミスアラインしていれば世界を乗っ取れる可能性を高める代わりに、AIが物事を実行する裁量を広げることを意味する。単純化のため、本補足資料では権限移譲を二値的なものとしてモデル化する。
戦略：おおまかには、AIがアラインしているとコンソーシアムが高い確信を持てるまで待ち、その後に権限を移譲する。より正確には、AIがアラインしている可能性を高めるために権限移譲を遅らせる便益が、次の各種リスクを下回るまでコンソーシアムは待つべきであり、対象は、協定の弱体化、秘密プロジェクト危険な能力に到達すること、またはパンデミックなど他の実存的リスクである。ステージ2では協定の弱体化がはるかに大きな要因だと考えるため、おおまかには、次のいずれかが成立した時点で権限を移譲すべきである（詳細は後述する）:
アラインメント問題が解決したことに極めて高い確信、たとえば99.5%の確信があり、追加研究による限界的な改善が小さい場合（たとえば年約0.1%）。
アラインメント問題が解決したことに比較的高い確信、たとえば95%の確信があり、追加研究による限界的な改善がやや大きい場合（たとえば年約1%）。ただし、プランAの協定がやや不安定に見える場合である。たとえば、協定が弱体化する確率が年5%超なら、権限移譲を支持する材料となる。
スケーリングに時間をかけることのコスト
以下は、ステージ1で能力向上に時間をかけること、またはステージ2でAIへの権限移譲に時間をかけることの最大のコストである。
第一に、協定が失効したり、悪化したりする可能性がある。これを協定の弱体化、協定の弱体化と呼び、次の2つを含める。
協定の失効。協定が正式に失効する。
協定の機能不全。協定は失効しないものの、適切に実施・遵守された場合よりも実効性が大幅に低下する。協定の機能低下には、次の形がある。
協定の不執行。協定の執行が以前ほど厳格でなくなり、たとえば、ある国が公然と違反しても処罰されなくなる。その結果、協定の条文に反する行為が増える。
協定の実施失敗。協定の条文は守られているが、その実施が不十分である。
協定の改定。協定そのものが明示的に改定され、内容が悪化する。単純に規制を弱める場合だけでなく、不必要に監視を強めるなど、別の方向で悪化する場合もある。
詳しくは、協定弱体化に関する補足を参照。
第二に、秘密プロジェクト国家主体やテロリストが秘密プロジェクトで違法にモデルを利用するリスクがある。秘密プロジェクトが、ミスアラインしたAIや悪意ある主体の手に渡れば大惨事を招く能力を持つ場合、AIによる乗っ取りや悪用のリスクは高まる。ステージ1では、ステージ2とは異なり、コンソーシアムは妥当な長さのステージ1の範囲内で、秘密プロジェクトに先んじるためにより遅い進むべきである。速すぎると多くのソフトウェア進歩が必要になり、それが秘密プロジェクトを利するためであり、詳細は後述する。
最後に、AIへ権限を移譲する前に直接負う、権限移譲前の実存的リスクがある。これには秘密プロジェクトによるリスクは含まれない。次の2つに分けられる。
合法的な、すなわち秘密ではないモデル能力の使用に由来するリスク。
合法的なモデル能力に由来しないリスク。たとえば、小惑星衝突のリスクや、合法的なフロンティアAIの因果的な帰結ではない核戦争などである。
加えて、協定によらない世界情勢の変化もあり、これはゆっくり進めることのコストにも便益にもなりうる。たとえば、権威主義国が民主主義国に対して相対的に力を増すように勢力均衡が変化することも、その逆もありうる。
ステージ1：制御可能な最大能力のAIまでスケーリングする
ゆっくり進めることの便益とコスト
ステージ1では、制御可能な最大能力のAIに至るまで、学習計算資源のスケーリングとソフトウェア進歩をどの速度で進めるかという方針を決めることが目標である。すなわち、制御可能な最大能力のAIに到達する目標終了日を定め、各時点で学習計算資源とソフトウェア進歩をどう配分するかを指定する。単純化と扱いやすさのため、目標終了日をあらかじめ定め、ステージ1の全期間を通じてその日に向けてスケーリングする戦略だけを検討する。実際には、コンソーシアムが情報を得るたびに、ステージ1の進行中にも戦略を調整すべきである。
さらに、負担する学習用計算資源の安全税も決める必要があり、これは、所定の能力水準に達する学習実行で実際に使う計算資源量と、その能力に達するために最低限必要な計算資源量との差である。より高い安全性コストを負担するとは、利用されないまま外部へ漏れる追加のソフトウェア進歩を必要とする代わりに、より安全な学習アルゴリズムを使うことを意味する。秘密プロジェクト。
ステージ1でゆっくり進めることの主なコストは次のとおりである。
そのリスクは上記;時間をかけることで協定が弱体化するリスク、秘密プロジェクトによるリスク（極めて長く停止する場合）、直接的な実存的リスクである。
より高性能なAIを使える期間を失うこと。そうしたAIは、アラインメント、制御、認識の健全性などの有用な作業の自動化や、実験対象として利用できる。また、協定の安定化に貢献し、年ごとの弱体化リスクを下げる可能性もある。
ステージ1でゆっくり進めることの主な便益は次のとおりである。
進歩のうち、ソフトウェア改善に由来する割合が小さくなる。ソフトウェア改善はコピー可能であるため、これは望ましい。秘密プロジェクト。ソフトウェア進歩と学習計算資源のスケーリングは、能力進歩の2つの源泉である。ソフトウェア進歩の大半は公開されるため、秘密プロジェクトにも拡散するため、それらは、最終的には超知能までスケーリングすべき理由である一方、10年を大幅に超えて時間をかけるのでない限り、ステージ1ではより遅いステージ1でゆっくりスケーリングすべき理由になる。
AIがどの程度制御されているかを過大評価し、AIに乗っ取られるリスクが低くなる。
不安定化が抑えられ、とりわけ協定が年ごとに弱体化する確率の上昇を防げる可能性がある。不安定化の一例は、超人的な説得が可能なAIまでスケーリングしたにもかかわらず十分に防御できず、認識環境が劣化することである。ただし前述のとおり、より高性能なAIが安定化に寄与し、協定が年ごとに弱体化するリスクを下げる可能性もある。
コンソーシアムの戦略には、ソフトウェア改善の発見を避けられない可能性があるという制約もあり、理由は2つある：（a）増加した計算資源を活用するには、一部のソフトウェア改善が必要になりうる、（b）大規模な安全性研究開発を行えば、ソフトウェア進歩という形で能力面の外部性がほぼ必然的に生じる。当シミュレーションでは、コンソーシアムが獲得する学習FLOP/sのOOMごとに0.2 OOMのソフトウェア進歩を必要とし、ステージ2ではコンソーシアムのアラインメント研究が年0.25ソフトウェアOOMの割合で能力面の外部性を生むと仮定する。
秘密プロジェクトの可能性が低そうな場合の対応
未把握の計算資源量を手がかりにすれば、コンソーシアムは秘密プロジェクトの有無を証明できなくても、その可能性をかなり的確に把握できるというのが現時点での最良推定である。また、秘密プロジェクトは存在しない可能性が高いと予測する。
秘密プロジェクトの可能性が低そうなら、AIが制御されていることへの高い確信を維持し、社会と協定の不安定化を避けられる範囲で、可能な限り速くスケーリングすることを推奨する。本シナリオではこれが実行され、その結果としての目標年を2035年と描いているが、これは大まかな推定である。シナリオを書き直すなら、目標年はもう少し早くすべきだろうと、弱いながら推測する。
目標年がリスク確率に及ぼす影響
秘密プロジェクトの可能性が高そうなら、速く進める方向に働く協定の弱体化リスクと、遅く進める方向に働く秘密プロジェクトのリスクを比較衡量しなければならず、状況はより複雑になる。
ここから、協定の推移をモデル化する。このモデルはPlan Aのシナリオと同様に、協定は2029年に始まり、ACの1年弱前から実施されると仮定する。ただし、このモデルは決してシナリオどおりACからTED-AI、ACからASIまでのテイクオフが約1年であるとは仮定しない。代わりに、パラメータの中央値をプランAのデフォルト軌道付近に置く形で不確実性を織り込む。2029年時点でも意思決定者にはテイクオフ速度をめぐる大きな不確実性が残るため、コンソーシアムが目標日に間に合わない場合があり、とりわけ検討対象で最も早い2031年半ばの目標には達しにくい（デフォルト軌道では協定前の能力からTED-AIまで約1.5年かかる一方、Plan Aでは2030年初めに学習を再開し、コンソーシアムは1 OOMの安全性コストをTED-AIの基準に上乗せして負担することを目指すためである）。
以下のグラフは、ステージ1の目標終了日に応じて、協定の弱体化リスクと、秘密プロジェクトが制御可能な最大能力のAIへ到達するリスクがどう変化するかを示す。これは、協定の弱体化と秘密プロジェクト補足資料で説明した最良推定を前提とする。ステージ1の期間中、またはステージ2開始後の最初の5年以内に、協定が弱体化するリスクと秘密プロジェクトがTED-AIへ到達するリスクを扱う。5年を選ぶのは本シナリオにおけるステージ2の長さだからであり、詳細は後述する。検討する最新の目標日は2037年であり、テイクオフ・パラメータの中央値では、コンソーシアムがソフトウェア進歩を必要最小限に抑えた場合、TED-AIへ到達するのがこの年だからである。
速度の変化に伴う、協定の弱体化リスクと秘密プロジェクトのリスクのトレードオフ
協定の弱体化によるリスクの最小化と、秘密プロジェクトがTED-AIへ到達するリスクの最小化との間には、トレードオフがある。ステージ2に入って5年を無傷で迎える確率を最大化するという観点では、目標年が2032年から2036年のあいだであれば、いずれもおおむね同等に見える。検知を無効にすると、2035年から2037年はどれもほぼ同じ価値に見え、2032年、とりわけ2031年ははるかに悪くなる。秘密プロジェクトの比重が大きくなるので、これは理にかなっている。
リスクの損害度
これらのリスクの損害度を同等として扱うことは妥当だろうか？
協定が取りうるさまざまな最終状態の望ましさを、こちら（要約こちら）で大まかに推定し、年と、協定の機能が維持されるか、協定が弱体化するか、秘密プロジェクトがTED-AIへ到達するかで分類している。この推定では、TED-AIへ到達した秘密プロジェクト、またはそれが作ったAIが、実質的に世界を乗っ取る能力と意図を持つと仮定した。
ここでは、結果をステージ2開始前と開始後に分け、ステージ2開始後5年間に協定が存続した状態よりどれだけ悪いかに基づいて損害度を計算する。ステージ2への移行は、TED-AIへ到達することで、より優れたアラインメント手法の発見、認識環境の全般的な改善、その他の有用な応用が可能になるため、協定の弱体化と秘密のTED-AIのいずれが生じた場合も結果を改善する。
さらに、TED-AIへ到達した秘密プロジェクトを起点とする人間またはAIによる乗っ取りが起こらない可能性も考慮し、割り引く。
ごく大まかには、失われる価値の割合は次のようになる。
コンソーシアムがTED-AIへ到達する前（ステージ1） | コンソーシアムがTED-AIへ到達した後の最初の5年間（ステージ2） | |
秘密裏の乗っ取りがもたらす損害 | 70% | 55% |
乗っ取り確率 | 55% | 45% |
秘密プロジェクトがTED-AIへ到達することの損害度 | 39% | 25% |
協定の弱体化 | 50% | 25% |
以下では、協定の弱体化リスクと秘密プロジェクトのリスクが、ステージ1とステージ2開始後の最初の5年間にどう分かれるかを示す。
協定の弱体化リスクは、秘密プロジェクトのリスクよりステージ1に偏る
とりわけ目標年が2033年以前の場合、協定の弱体化リスクは、秘密プロジェクトのリスクよりもステージ1で生じる割合が高い。このため、同時に発生した場合の損害度を比較したときの印象以上に、平均的には協定の弱体化の方が、秘密プロジェクトがTED-AIへ到達することより悪い。次に、リスク水準と、そのリスクが現実化した場合に失われる価値を組み合わせた結果を確認する。
TED-AIの目標年別に見た、協定の弱体化リスクと秘密プロジェクトのリスクによる期待価値の損失
この単純な手法には次の2つの問題があり、上のグラフは、遅い目標日に比べて早い目標日に有利すぎるものとして解釈すべきである。
結果変数として失われる価値の割合しか考慮していないが、ステージ2開始後5年時点の価値は、早い目標日より遅い目標日の方がわずかに大きい（ただし、最後の5年間に安全性のためAIを活用する効果がそれ以前の年の効果を圧倒するため、影響は小さい可能性がある）。
失われる価値の割合は、特にステージ1では、早い目標年ほど高い可能性がある。
とはいえ、最良推定のパラメータ値では、協定の弱体化リスクと秘密プロジェクトのリスクの観点から、早い方が良いように見える。ただし、差はそれほど大きくない。失われる価値の期待割合は、目標年が2032年の場合より2036年の場合の方が約2%高いだけである。したがって、前述の問題を補正すれば結論が逆転する可能性がある。
秘密プロジェクトの検知を考慮しない場合、曲線はより平坦になり、失われる価値も大きくなる。秘密プロジェクトが存在し、しかも検知できない状況は、何をしても厳しい。どの目標年もほぼ同じ値になるが、前述の問題を考慮すれば、遅い目標年が有利になる可能性がある。
検知を含めつつ、秘密プロジェクトまたはそのAIがTED-AIへ到達すると世界を乗っ取ると仮定した場合も、も、やはりかなり平坦な曲線になる。
まとめ
コンソーシアムが秘密プロジェクトの存在を有力と考える一方、その検知可能性について現時点の最良推定（5年以内に約60%）を共有するなら、秘密プロジェクトを理由に通常より遅く進めるべきかは際どい判断になる。検知について現時点の最良推定より大幅に悲観的なら、多くのソフトウェア進歩を生み出さないよう減速し、ステージ1に少なくとも約5年をかけるべきである。 反対に、より楽観的なら、速度を制約する要因は、制御への高い確信の維持と、不安定化の回避になる。
以上ではすべて、ステージ1終了時に負担する学習計算資源の安全性コストを一定とし、最低限必要な量を安全性コストの、最低必要量を1 OOM上回る超過学習計算資源に相当し、ステージ1の終了時点で支払われる。これは筆者の推奨値であり、シナリオで描かれている安全性コストでもある。この推奨は、単純なモデル化と直観的判断を組み合わせたものである。確信はなく、安全性コストを高くする利点は、高い能力水準でも制御への確信を高められることである一方、欠点は、秘密プロジェクトにソフトウェアが漏れることと、協定の弱体化後、とりわけ失効後のプロジェクトが利用できる、見送られたソフトウェア改善の余力が生じることである。
ステージ2：ほぼ停止するまで減速し、最終的にAIへ権限を移譲する
制御可能な最大能力のAI、すなわちプランAのシナリオではTED-AIへ到達した後、AIへ信頼を委ねるまでどれほど停止するかを決める必要がある。本分析ではこのステージを停止として扱うが、実際にもシナリオ上も、完全な停止からはいくらか逸脱する：（a）制御技術の改善や不確実性の幅の縮小によって、制御可能な最大能力の水準が上がる可能性があるため、極めてゆっくりとスケーリングすることが望ましい場合があり、（b）安全性研究は少なくとも小さな能力面の外部性を伴うため、合法的なAIの能力向上に使わなくても、秘密プロジェクトへ漏れるソフトウェア進歩が生じる。
ステージ2で権限移譲を遅らせるコストは前述のとおり上記、協定の弱体化、秘密プロジェクト、直接的な実存的リスクである。秘密プロジェクトがそもそも存在したとしても、おそらくすでに検知されているため、通常は協定の弱体化が支配的な考慮事項になると考える。
ステージ2で権限移譲を遅らせる主な便益は、権限移譲先のAIがアラインしている可能性を高められることである。これは主に、AIをアラインさせ、そのアラインメントを評価する方法を解明するアラインメント研究と、より安全な学習過程を使うため、所定の能力水準に達するのに必要な量を超える計算資源でモデルを学習するなどの「安全性コスト」を負担することから生じる。ここで問題にしているのはあくまで権限移譲先のAIであり、アラインしたAIでも、後継AIをアラインさせられない可能性がある（とりわけ権限移譲後に状況が何らかの形で悪化した場合）。
二次的な便益は、アラインメントを条件としたとき、将来が極めて良好になる確率を高めることであり、これも非常に重要だが、おそらくアラインメント確率ほどタイミングには左右されない。さらに、待ちすぎれば、アラインメントを条件とする結果にとって最終的に限界的な悪影響となる可能性もあり、アラインした制御可能な最大能力のAIにより早く権限を移譲し、状況改善のための裁量を広げた方がよいかもしれない。
ステージ2で権限を移譲する時期を決めるには、権限移譲を遅らせることの限界便益と限界費用を計算し、費用が便益を上回った時点で権限を移譲することを推奨する。 AIがアラインしていることに高い確信を得た時点で権限を移譲する、という形が最適戦略になると予想する。
最適な戦略を判断する具体的なケーススタディは以下を参照。
2040年に権限を移譲するかを判断する具体的ケーススタディ
ここから、権限を移譲するかどうかのケーススタディを検討する。具体化のため、制御可能な最大能力のAIへ到達してからしばらく後の2040年、すなわちプランAのシナリオで権限移譲が起こる時点に、権限を移譲するかどうかを判断すると仮定する。
単純化のため、権限移譲を遅らせるかどうかを決める要因は次のものだけだと仮定する。
便益：アラインメント確率の上昇。参照：後述するこちらの議論を参照。
コスト：協定の弱体化リスク。権限移譲を早める重大な理由として、他に最も有力なのは秘密プロジェクトのリスクである。しかし、このケーススタディでは、そのリスクはおそらく極めて低く、その理由は、（a）秘密プロジェクトが存在したなら、おそらくすでに検知されていること、（b）安全性研究の外部性以外のソフトウェア進歩を5年間生み出しておらず、秘密プロジェクトはあまり恩恵を得ていないことにある。
以下では、関連変数の設定を変え、権限移譲を遅らせるべきかについてどのような推奨が導かれるかを試せる。デフォルト値は、シナリオで権限を移譲する時点の値とおおむね一致するよう設定し、アラインメントまたは協定の失効・機能低下に関するパラメータを設定する妥当なプリセットも用意した。
| 低リスク d_prob 0.5%/年 - d_loss 10% | 中リスク d_prob 3%/年 - d_loss 20% | 高リスク d_prob 10%/年 - d_loss 35% | |
|---|---|---|---|
| アラインメント解決への高い確信 a_prob 99.5% - a_change 0.1%/年 | 延期 −0.05% | 権限移譲 +0.50% | 権限移譲 +3.38% |
| アラインメントはおそらく解決済み a_prob 95% - a_change 1%/年 | 延期 −0.95% | 延期 −0.43% | 権限移譲 +2.33% |
| アラインメントは解決済みである可能性が高い a_prob 80% - a_change 3%/年 | 延期 −2.96% | 延期 −2.52% | 延期 −0.20% |
| アラインメントは明らかに未解決 a_prob 10% - a_change 2%/年 | 延期 −2.00% | 延期 −1.94% | 延期 −1.65% |
協定の弱体化の確率と損害度に関する中程度の推定値の根拠は、協定の弱体化に関する補足資料。
推定アラインメント確率の推移
アラインメントはどの程度着実に進展するのか？ 状況をモデル化する際には、2つの極端な見方がある。
全か無か：当初、AIがミスアラインメントを起こしていると極めて強く確信している状態から、ある時点のブレークスルーを境に、AIがアラインメントされていると急速に確信する状態へ移る。
滑らかで予測可能な進展： AIがアラインメントされているという確信度が、着実かつ予測可能に高まる。
不確実性は大きいが、AIのアラインメントに対する確信の軌道は両者の中間で、やや「全か無か」に近いというのが現時点の最良推定である。両者が組み合わさる可能性もあり、しばらくは滑らかで予測可能な進展が続き、その後突然ブレークスルーが起こるかもしれない。たとえば、野心的な機構的解釈可能性が実現し、AIの推論過程をすべて理解できれば、アラインメントへの極めて高い確信が得られる可能性がある。
たとえば、AIのアラインメントにまだ確信を持てていなければ、2040年には、ブレークスルーまでの継続的な改善に加え、確信を得られるアラインメント上のブレークスルーが年約5%の確率で起こりうる一方、シナリオのようにすでに確信を持てているなら、確率は100%に近いため、アラインメント確率の上昇は年0.01-1%程度かもしれない。
壊滅的な危害の例としては、世界を直接乗っ取ること、世界を乗っ取りうる後継AIをミスアラインさせること、世界の認識環境を元に戻すことが困難なほど損なうこと（たとえば超人的な説得によるもの）などがあるが、これらに限られない。
秘密プロジェクトの検知について現時点の最良推定に同意していても、秘密プロジェクトがTED-AIへ到達することの損害度をはるかに高く見積もる場合にも、同じことがいえる。
学習に使う計算資源を構築して速すぎるスケーリングを行うと、協定が弱体化してもその計算資源が破壊されない場合、テイクオフを速められるため状況を悪化させうる。協定が失効すれば計算資源はおそらく破壊されるが、協定が部分的に機能低下しただけなら、そうはならない。しかし、この欠点は、協定の外部や機能低下した協定下ではなく、協定内でより高い能力までスケーリングすることの便益によって、おそらく相殺されると考える。
実際には、権限移譲はある程度段階的に進めることを提言する。段階的な権限移譲の例として、まず移譲する権限を限定し、AIがミスアラインしていれば世界を乗っ取れる可能性がある程度、すなわちそれ以前ほどの安全確信を持てない段階まで進め、その後、AI同士が協調した場合にだけ世界を乗っ取れるが、協調しなければ乗っ取れない程度まで、さらに権限を移譲する。
協定が改善する可能性もあるが、期待値では悪化するというのが最良推定であるため、ここでは含めない。協定の失効については定義上そうであるが、機能低下については確信がなく、より楽観的なら、協定の機能低下の項を除くか、協定の改善を明示的にモデル化できる。
蒸留など、該当する能力から派生するあらゆる方法を含む。
この種の変化は、将来の期待価値に対して期待上マイナスに働くというのが現時点の最良推定であるため、これはスケーリングを速める弱い動機になる。ただし、確信はない。
あるいは、ステージ1では学習計算資源だけをスケーリングする。
ただし、ソフトウェアではなくハードウェアで拡張することには欠点があり、計算資源が協定の弱体化と同時に破壊されない場合、弱体化後に高速テイクオフを実行するのに使われうる。相互確証による計算資源破壊が整っている場合、あるいはコンソーシアムが秘密プロジェクトは大きな問題にならないと確信している場合、コンソーシアムは主にハードウェアではなく主にソフトウェアで拡張することを検討すべきである。
少なくとも、テイクオフがプランAの既定値。
より大幅に速くないと仮定した場合であり、ここで「私たちの」とは、筆者ではなくThomasの見解を反映したプランAの公式なパラメータ中央値を指し、筆者のテイクオフ速度の中央値は大幅に遅い。
ステージ1とステージ2の望ましさに関して、協定の弱体化と秘密プロジェクトによる乗っ取りの違いをいくつか挙げる：（a）秘密プロジェクトは、ステージ1であっても、望むならアラインメントに確信を持てるまで待てるが、協定の弱体化後のプロジェクトにはそれができない可能性があり、（b）一方、秘密プロジェクトはステージ2でコンソーシアムが負担した安全性コストの恩恵を受けないが、協定の弱体化後のプロジェクトは恩恵を受ける。
厳密には、コンソーシアムがTED-AIへ到達してから5年後に、秘密のTED-AIがなく、失効も機能低下もしていない協定がもたらす期待価値との比較である。
秘密プロジェクトの結果を、乗っ取りが起こる場合と起こらない場合に大まかに分け、乗っ取りが起こる場合には価値が破壊されないと仮定している。実際には、価値が破壊されても乗っ取りは起こらない場合もあるが、単純化のため、ここではそうでないと仮定する。
あるいは単に、協定の弱体化に比べて秘密プロジェクトを筆者より悲観的に見積もる場合である。
秘密プロジェクトの検知について現時点の最良推定に同意していても、秘密プロジェクトがTED-AIへ到達することの損害度をはるかに高く見積もる場合にも、同じことがいえる。
また、合法的なAIの能力を高めずに安全性技術を適用することが難しい場合もありうる。
厳密には交差点が複数存在する可能性があるが、実際には、遅らせることのコストが便益を上回り始める交差点は1つである可能性が高いと予想する。ただし、これは保証されず、たとえば各時点で協定失効リスクが予測可能かつ一時的に上昇する場合がありうる。