概要

本資料は、2026年初頭時点で私たちが最も確からしいと考えるアラインメント・ロードマップを示すものである。AIによる乗っ取りを避けるために達成すべき高次の目標を概説することに主眼を置いている。

まず、アラインメントを解決するための中心的な方法論を取り上げる。

次にプランCのアラインメント方針を詳しく説明し、ここでは、基本的には合理的な先頭AI開発企業に数か月ほどの優位があり、AI開発競争に敗れない範囲であれば、費用が大きくても安全性に資する措置を取る意思がある場合を想定する。これは起こりやすい世界であると同時に、合理的な先頭開発企業の立場から戦略を考えられるため、議論の対象としても比較的扱いやすい。

私たちのアラインメント・ロードマップは、以下で詳しく論じる4つのフェーズに分けられる。

1. 準備する。これには主に、制御に向けた準備や、ミスアラインメントの類似例の構築が含まれる。可能な限り現実的なもの、およびその他のさまざまな介入。

2. 緩和＋能力の引き出し。知能爆発の初期には、AIが破局的な行動、たとえば許可のない内部展開や、将来モデルの価値観へのバックドア挿入を行うリスクを抑える。同時に、制御研究、アラインメント研究、セキュリティ、戦略など、重視する領域でAIの能力を十分に引き出し、大量の有用な仕事を任せる。この段階は知能爆発の初期、具体的にはITAIからMin-Hまで続く（定義はこちら）.

3. Min-Hで一時停止する。安全でない形でも信頼を委ねられるだけの汎用能力を備えたAIシステム（Min-H）を構築した段階で、AI能力のさらなる進展を一時停止し、安全に信頼を委ねられるAIの構築を試みる。中心となる取り組みは次のとおりである。

   1. アラインメントの偽装を回避する：AIは、意図的にアラインメントを偽装するほど深刻にはミスアラインしていない（たとえば、私たちに対して陰謀を企ててはいない）。

   2. 権限移譲の存続可能性の解決：AIが、知能爆発の管理に必要な作業をすべて自律的に遂行できるだけの能力とアラインメントを備え、AIの出力を有効に検証できない重大で困難かつ自由度が高く、概念的判断を要するタスク（非因果的取引の研究など）もこなせる、哲学).

4. 権限移譲。アラインメントの偽装を軽減し、権限移譲の存続可能性を達成したら、AIプロジェクトは実際に、知能爆発の継続的な管理をAIシステムに委ねる。

   1. 権限移譲の主な代替策は、代わりにより長く時間を稼ぐことである。その主な方法は、AかBいずれかのプランへ引き上げることだが、これには通常、政府の大幅な関与が必要であり、実現できるかどうかは分からない。他のフェーズにおける重要な優先事項は、多くの場合、政治的意志の水準を引き上げようと試みることになる。

   2. 権限移譲の後、移譲先となった人間並みの水準のAIシステムは、はるかに超人的なAIシステムを構築できるよう、次第に難しくなるアラインメントの問題を次々と解決していく必要があり、さもなければ自ら時間を稼ぐ必要がある。

次に、政治的意志に応じてアラインメント計画がどのように変わるかを論じる。

• プランDでは、政治的意思が大幅に弱く、開発を一時停止できず、ミスアラインメント・リスクへ対処する労働力もはるかに少ない。そのため、許容するリスクは大きくなり、安価だが保証水準の低い手法だけに注力する。

• プランBでは、計画はプランCと非常によく似ているが、時間と労力がいくらか多く、より野心的で保証水準の高い提案にわずかに多くの資源を充てられる点が異なる。

• プランAでは、最初は（国際協調の崩壊に備えるため）プランB/Cと同様に計画し、その後、体制が安定したら資源をムーンショットへ移し、場合によっては膨大な量の資源へと更新していく。

本資料は、私たちが取り組む研究・実装の各領域の詳細を論じるのではなく、計画の概観と相対的な優先順位付けを論じることに主眼を置いている点に注意してほしい。最も重要な研究要素については、以下の各資料でさらに詳しく論じている。

• 制御: 強力なAIを確実に制御する場合。

• 陰謀を避ける: 陰謀を避ける（そして陰謀について一般的により深く理解する）

• 引き出し: AIを安全業務にもっと役立てる

• 権限移譲: AIに任せる

• AIと取引する:初期の陰謀家と取引する

研究分野

さまざまな分野の研究と実装

この計画は、研究と実装の多くの異なる領域にわたる作業を含む。主要な領域は次のとおりである。

• 制御（および制御に隣接する対策）：制御の研究と実装。本稿では、これを、制御と中心的に結びつくわけではないが他のどのカテゴリよりもこのカテゴリに収まる事柄をいくつか含む、比較的広いカテゴリとして定義する。本稿で優先順位付けを論じる際は、人間の敵対者に対するセキュリティにほぼ同程度に役立つセキュリティ作業を含めない形で、制御のカテゴリを定義する。

• ミスアラインメントの類似点：陰謀を企てる、あるいは他の形でミスアラインしたモデルに類似するAIを作成・研究する（いわゆる「モデル生物」と呼ばれることもある）。この領域では主に陰謀を扱い、対象には次のように説明できるAIが含まれる。生来の陰謀者（ただし、陰謀の可能性を高めるよう仕組まれた訓練プロセスを通じて生み出された可能性もある）、策士と同じように行動するように訓練されたAI、そして陰謀を企てるモデルへの抽象的な類似例私の（自信の低い）推測では、生来の陰謀AIは期待値の3/6、陰謀AIのように振る舞うよう訓練されたAIは1/6、抽象的な類似例は2/6を占めるが、そうは言っても、私たちはこれらの領域のうち最も有望に見えるものへ次第に注力していく可能性が高い（ただし、これは事前にはあまり予測できない）。このカテゴリには、ミスアラインメントのリスクを実証することに主眼を置いた本作業のバージョンも含めている。また、作業の大半は良い類似例を構築することであり、類似例の構築と手法の反復の間に相互作用が生じると予想されるため、これらの類似例を用いた手法・介入のテストや反復をこのカテゴリに含めている。

• 能力の引き出し／権限移譲の存続可能性：AIを安全性の作業により有用にし、権限移譲の存続可能性に向けて取り組む（AIの認識基盤の改善、概念的・哲学的な推論に負荷のかかる極めて難しい研究でAIに良い成果を出させること、権限移譲に必要なすべてのタスクでAIがかなり高い信頼性をもって高度にアラインした状態へ一般化するよう担保することなどを含む）。有用な作業の引き出しと権限移譲の存続可能性は、作業がしばしば重なり合うため同じカテゴリに含めるが、それぞれにとって重要な部分集合は重ならない。能力の引き出しには、比較的ドメインに特有の能力に加え、最悪の場合ではない一部の種類のミスアラインメントを避ける取り組みも含まれる。能力の引き出しには、インセンティブの改変（例：報酬の代理指標によるインセンティブや、AIとの取引）を試みることを含め、明らかにミスアラインしたモデル（例：報酬追求モデル）からより効果的に作業を引き出すことも含まれうる。権限移譲の存続可能性については、以下で詳しく論じる。こちら。

• その他の科学/介入：ここでは、先験的に有効と見込める介入、misalignmentの類例以外でも検証できる介入、関連しそうなAI特性を研究する。意図的に設けた「その他」の区分で、上の分類に入らない有望な安全性研究を収める。対象は各種interpretability、非敵対時のchain-of-thoughtの忠実性、schemingを先験的に減らす手法、AIとの取引とAI welfare、学習・一般化、moonshot、honestyと潜在知識の引き出し、現行AIの奇妙またはmisalignedな挙動の探索である。

• 時間を買う：AIの労働力を用いて、さらなる安全性の作業のための時間を稼ぐ。これには、他の主体（主に米国政府やその他の政府）がリードタイムに対して支払ってもよいと考える度合いを高めること、これら他の主体がリードタイムを獲得するコストを下げること、そしてリードタイムを直接獲得することが含まれる。これには、不拡散の取り組みやさまざまな政策活動で米国政府を支援すること、国際協調のための検証作業を支援すること、時間を稼ぐためのさまざまな取り組みに充てる資金を稼ぐこと、さまざまな協定の安定を可能にするAIサービスを提供することなどが含まれうる。また、一般に、ミスアラインメントのリスク（およびその他のリスク）の低減に充てられるリードタイムの獲得（例：不拡散の取り組みの支援）をより重視すべきだと他の主体に説得しようとすることも含まれるが、この作業の多くは少なくとも部分的には他のカテゴリ（特にミスアラインメントの類似例と能力の実証）に含まれる。

• 能力の評価と実証：これには、他の主体が状況をよりよく理解できるようにすることを目的とした、能力の評価と実証が含まれる。能力の実証は、AIに関連するリスクの軽減について他の主体の支払い意欲を高めるうえで重要な要素になりうる。制御に直接関係する評価（例：制御評価や、モデルが陰謀を企てうるほど十分に能力があるかどうかの評価）は含まないが、状況を全般的に把握し、例えばどの水準のセキュリティが適切かを見極めることを目的とした評価は含む。

このリストからは、この計画では重視されないが依然として重要な一部の領域、例えば不正なAIに対して世界を強靭化すること（生物防御やサイバー防御など）が除かれている。

コアの方法論

この計画は、強力なAIが手に入ればおそらく実行可能だと考えるため、比較的反復的で経験的なアプローチを用いることを目指す。この一環として、制御、ミスアラインメントの類似例、能力の引き出し／権限移譲の存続可能性には、それぞれ、その方法論の主要な経験的フィードバックループを形成する中核的な方法論がある。これらの方法論はそれぞれ次のとおりである。

• 制御評価: 制御は比較的評価しやすい能力を推定するだけで済むからである。このため反復が容易になり、また以前の研究で論じた理由により、制御は一般に比較的反復しやすい。制御に対する私たちの期待の大部分は、制御評価のようなものを用いてうまく反復することに基づくことになる（ただし、モデルから能力を引き出すことに依存する制御評価というごく狭い概念よりは柔軟にする可能性があり、以下を参照こちら）.

• ミスアラインメントのアナロジーの反復：結局のところ、陰謀を避けるための主な望みは、おそらくミスアラインメントの類似例を用いて反復することである。これは制御評価よりもやや広く、明確に定義されていないカテゴリだが、それでも強調する価値があると思う。ミスアラインメントの類似例を用いた反復は、制御評価（これ自体もあまりよく理解されていない）よりも扱いが難しく、理解も進んでいないが、実行可能である可能性はかなり高いと思う。

• 動作テストの構築と反復：AIが意図的にアラインメントを偽っていないと仮定すれば、典型的な状況（さらにはある程度の一般化の下）でのAIの振る舞いは、行動テストを用いておそらくかなりよく把握できる（少なくとも、必要な一般化のための類似例を構築するなど、テストの設計方法にある程度注意を払えばの話である）。これは権限移譲の存続可能性を達成するうえで重要な要素になり、具体的には、（陰謀を避けたと仮定して）権限移譲がうまくいくかどうかを総合的に評価することを目指す行動テストを構築し、それらのテストに対して反復する。これについてはさらに以下で論じる。こちらまた、能力の引き出し（安全性に関わるタスクでのAIの出力を増やすこと）の継続的な作業にも、行動テスト（おそらく多少異なる行動テスト）を用いることができるが、問題の一つは、これが陰謀に対して頑健でない可能性がある点だ（行動テストが実際の利用と見分けやすい場合）。代わりに、実際の利用におけるAIの性能を測定することもでき（技術的には、これは行動テストの特殊なケースにすぎない）、これはより厄介かもしれないが、陰謀に対して頑健でありうるうえに、より正確な測定が得られる可能性がある（ただし、問題を洗い出すために、制御評価のようなものを用いて測定手法を敵対的に評価してみることも検討すべきである）。実際の利用におけるAIの性能を直接測定するだけでは、権限移譲の存続可能性には十分でない（込み入っていて非常に検証しづらい概念的な作業についても、アラインメントや能力といったものを評価する必要があるからである）。

作業の大部分、特にその他の科学／介入のカテゴリの作業は、これらの中核的な方法論をまったく使わず、代わりに、その場しのぎの評価手法、すなわち研究者が全般に何が起きているかを理解しようとしたり、経験的な証拠に（あまり）依存せずに、ある技術が先験的に有用かどうかを判断したりする手法に頼ることになる。ミスアラインメントの軽減に向けた作業を分類する一つの方法は、上記の三つのカテゴリに「その他」のカテゴリを加えた方法論で分けることである。

実際には、この計画は、これらの中核的な方法論のそれぞれが何らかの形でうまくいくことにある程度依存しているため、これらの方法論をうまく機能させること（あるいは機能しないと気づくこと）が重要である。とはいえ、この計画には、これらのフィードバックループそのものを使わない作業も数多くある（それらは別のフィードバックループを使うか、あるいは先験的に有用と思われるアプローチに主に焦点を当てるため、フィードバックループを（それほど）必要としない）。

AIがリスクをもたらすほど十分に能力を備えれば、これらの方法論によって、実際のリスクや問題とかなり密接に結びついた形で反復できるようになるはずである。そのためには、各方法論を、ますます直接的な制御テストベッド（正確な展開状況におけるモデルの正確な使い方に焦点を当てる）、より妥当性の高い学習実行に焦点を当てたミスアラインメントの類似例、安全性の作業の自動化・加速における有用性の直接的な指標のいっそうの重視、権限移譲後の重要なタスクに焦点を当てた権限移譲存続可能性の行動テストといった、より緊密で近接したテストに集中させる必要がある。

この反復（特に、高性能なシステムで行いたい反復）に必要なテストベッドと評価を構築することは、困難のかなりの部分を占め、これらの方法論のそれぞれについて困難の大半を占める可能性がある。

関連する方法論についてのさらなる議論は、以下を参照。プロトコル評価に関するこの議論（リンク先の投稿で用いられているオントロジーでは、優れた類似例は「行動テストの構築と反復」に対応し、「モデル生物」は「ミスアラインメントの類似例」に対応する）。

中核的方法論が（十分に）機能しない場合、どうするか？

この計画は、上記の三つの中核的な方法論、すなわち制御評価、ミスアラインメントの類似例、行動テストに基づいている。これらの方法論は、制御の確保、陰謀の回避、そして権限移譲の存続可能性／AIから有用な労働力を引き出すこと、という主要な目的のいくつかを（それぞれ）達成するうえで重要な要素である。したがって、これらの方法論が（うまく）機能しなければ、最も重要な目的を達成することははるかに難しくなる。

機能しないとは、次のような意味でありうる。

• 既知の方法論の失敗：方法論を用いて効果的に反復できないこと、あるいは、方法論を用いて目的を達成できたかどうかについてあまり把握できないことを、私たちが自覚している場合。

• 反復速度が遅すぎる（過剰適合なしに）：単に、期限内に成功できるほど速く反復できないだけかもしれない。時間切れになる前にそれに気づくこともあれば、気づかないこともある。

• 未知の方法論の失敗：実際にはうまくいっていると思っているのに、方法論が失敗している場合。この場合、その失敗に基づいて計画を更新することはできず、ただ苦境に陥るだけである（ただし、制御と陰謀の回避は、独立した防御線として機能しうる）。

いずれにせよ、その方法論では期限内に目的を達成できない（かつ、それが分かっている）場合、目的を断念するか、何らかのテストに対する反復を必要としないアプローチや、別の方法論での反復を可能にするアプローチへ方向転換するかのいずれかになる。

大まかに言えば、反復を必要としないアプローチへの方向転換とは、次のような原則的なアプローチへの方向転換を意味する。すなわち、検証を必要とせず、その手法が機能すると考える何らかの（強い）先験的な理由がある、そうしたアプローチである。つまり、少なくとも、関心のあるまさにその領域では検証を必要としないのであって、場合によっては、その原則的なアプローチや手法が、検証可能な別の文脈で何か別のことを達成するのに機能する、と確立する必要があるかもしれない。陰謀を避けるための原則的なアプローチについては、以下でさらに詳しく論じる。こちら、最も有望なアプローチは、AIが十分な能力を保ったまま（検出されずに）陰謀を企てることができなくなるよう、関連する推論を監視可能（例：監視可能な思考連鎖）にすることだろう。元の方法論ほど転移する見込みは高くなくとも、少なくともある程度は原則に基づく一群の技術には十分に転移する、そうした反復ループを見つけられるかもしれない。

これらの方法論の多くはかなり広範で、さまざまな問題を回避するための取りうる方法を数多く含んでいる点に注意してほしい。例えば、制御評価は、問題を回避するためにさまざまな方法で行うことができ、そのいくつかについては以下で論じる。こちら。

フェーズ1: 準備

このフェーズは、今から知能爆発が始まるまで（具体的には、ここで定義するITAIに到達した時点まで）続く。このフェーズでは、AIは十分に弱く、重大な存亡リスクを直接もたらすことはない。また、AIは安全性の作業を加速するうえで変革的に有用でもない。したがって、このフェーズでは主に、陰謀を企てるAIによるリスクへの対処の準備に焦点を当てつつ、AIから労働力を引き出す準備や、全般的に有用な安全性研究にもある程度重点を置く。

ひどくミスアラインしたAIによるリスクへの対処に関する現時点での私たちの取り組みは、制御に最も重点を置きつつ、ミスアラインメントの類似例にもかなりの重点を置き、さらに雑多な研究の方向性（通常はより思弁的なアプローチや、一般的な理解の構築）にもいくらか焦点を当てるものになる。

私たちの技術的なAIの安全性の優先順位付けは、現在、研究対象としてさほど興味深くない、かなり弱いAIしか手元にない一方で、後にそれらのAIから生じるリスクに対処できるよう備えておく必要がある、という事情によって大きく変わっている。

この作業は危険なAIを直接研究できることからの恩恵が小さく、しかも後のために備えておく必要があるため、制御（研究と実装の両方）に取り組むことの効きめは比較的大きくなる。

また、将来のAI開発に広く左右されないと見込まれる介入の開発や、モデルの特性の研究に取り組むことの効きめも比較的大きい。つまり、将来、弱いモデルでこれらの介入や特性を研究しても、ほぼ同じくらいうまくいくということである。これには、さまざまなモデル内部への介入や、よりムーンショット的なアプローチが含まれる可能性が高い。ただし、これほど将来のAI開発に左右されないように見える方向性は、一般に絶対的な水準ではそれほど有望とは思えないため、優先順位はさほど変わらない。

準備フェーズのほとんど、あるいは全体を通じて、私たちは、対処すべき強力なAIの特性や、見込まれる政治的意志の水準について確信を持てない。それに応じて、私たちのアプローチは将来の状況にかなり中立的である必要があり、多くのシナリオに備えなければならない。特定のシナリオにどれだけ的を絞って備えるかは、そのシナリオの（主観的な）確率だけでなく、そのシナリオにおいて限界的な努力がどれだけリスクを減らすかにも左右される。私（Ryan）の見解では、これは一般に、比較的リスクの高い世界に準備を集中させることを意味する。

フェーズ2: 緩和 + 能力の引き出し

フェーズ1（準備）とフェーズ2（緩和と能力の引き出し）の間には、(1)AIは陰謀が深刻な懸念となるほど十分に能力が高いこと（陰謀はもっともらしく、また陰謀を企てるAIは対策がなければ深刻な問題を引き起こせるほど能力が高い）、そして(2)AIは存亡に関わる有用な作業を加速するうえで非常に役立つこと、という二つの重要な違いがある。

したがって、このフェーズでの私たちの主な優先事項は、(1)陰謀が存亡の大惨事につながる可能性を軽減すること、そして(2)AIから有用な労働力を引き出し、実際に存亡に関わる有用な作業を生み出させること、である。

本セクションの構成は次のとおりで、まず論じるのは脅威モデル、また、これらの脅威モデルがどの能力水準で当てはまると私たちが推測するか、そしてそれはいつ〜すべきかに関わっておりAI制御を開始する次に、次のものについて論じる。緩和策展開中にAIが大惨事を引き起こすのを防ぐためのもので、これには主にAI制御が関わる。第三に、論じるのは引き出しAIによる膨大な量のAI労働。

脅威モデル

主な要件／脅威モデルは、重要度の高い順に次のとおりである。

1. AIが将来のモデルに著しくバックドアを仕込むのを防ぐ。これが特に憂慮すべき脅威モデルであるのは、(i)次のモデルのアルゴリズムを設計したり学習データを生成したりする際に、私たちがおそらくAIをかなりの程度用いることになるからであり、(ii)将来のモデルの価値観が存亡に関わるほど重要だからである——もしASIが（初期のミスアラインしたAIの価値観のような）悪い価値観を持つに至れば、それは存亡の大惨事となるだろう。

2. AIがAIの安全性の作業を妨害する／実際に良い作業を引き出すのを妨げるのを防ぐ。AIアラインメントを解決するために私たちが持つ重要な戦略の一つがAIの労働力の活用であるため、これも非常に重要である。AIがAIの安全性の作業を妨害している場合、(i)私たちはそれに気づかず、自分たちがアラインしていると信じ込ませて私たちを欺いたミスアラインなAIシステムに権限移譲してしまうか、あるいは(ii)高い保証のある安全性ケースを持たないAIシステムに賭けざるを得なくなるかもしれない。

3. AIによる多額の政治資金の獲得を阻止する例えば、AIがAI企業の事実上の政治的支配権を握った場合、AIは人間に緩和策を無効化させるだけでよいため、それは企業全体の規模に及ぶ不正な内部展開を得るのと本質的に同じである。これが(3)にとどまるのは、(1)や(2)よりもAIにとって達成が多少難しいと現時点で推測しているためである。

4. AIが逃走したり、アルゴリズムの秘密を持ち出したり、他所でAIを増強したりするのを防ぐ。これは(1)よりもはるかに間接的だが、原理的には存亡の大惨事につながりうる。AIの逃走に関する問題は、主要なAIプロジェクトの内部に大量の計算資源があることだ。したがって、この脅威モデルは、AIが別のAIプロジェクトを抱き込んだり結託したりできるか、膨大な量の計算資源を不正に取得できるか、あるいはごく少量の計算資源で存亡の大惨事を引き起こせるか（例えば、小さなクラスターで知能爆発を起こす、あるいは新しいチップを生産できる、または世界の他の部分を凌駕できるほど十分に複雑な独立した産業基盤を構築する、といった方法で）に依存している。).

5. その他の重要性の低い脅威モデル

   1. 外部の世界にAIをより不合理に扱わせる／AIが世界を乗っ取りやすくする。例えば、AIはAI規制を妨害しうる。

   2. 外部の人々を、AIにより好意的になるよう説得する。説得のリスクは、能力の不足のため当初はかなり小さいが、AIが超人的な説得力を獲得すれば、最終的には極めて高くなりうる。

これらが主な優先事項であるのはなぜか。ここで、ミスアラインしたAIの視点から考えてみよう。将来には、はるかに強力な超知能AIが存在し、ロボット工場や研究所、ドローン軍団を自律的に動かし、政治家の耳元でささやくなどするようになるが、そうしたAIはすでに世界を支配しているか、望めば乗っ取れる立場にあるだろう。では、彼らは何をするのか。彼らが何をするかは、彼らの目標や価値観など、そして／または誰が彼らを制御しているかによって決まるだろう。ではそれは何によって決まるのか。おそらく、それらのAIは前世代のAIによって訓練・評価・制御などをされているだろう。因果の連鎖を過去へたどり続けると、データセンター、人間のAI研究者、そしてすでに存在するAIがある現在に行き着く。言い換えれば、自分の価値観を守り、将来にわたって影響力を持ちたいなら、巨大なデータセンターで動くAIの制御を握り、維持し続ける必要がある。次に、AIが巨大なデータセンターの制御を握るために使えるチャネルについて考えられる。明らかな手は、将来のモデルにバックドアを仕込むことで、自分たちの既存のAI企業が動かしている巨大なデータセンターの制御を維持することである。安全性研究が進みすぎると、AIがミスアラインしていることに人間が気づくかもしれないため、安全性研究に対する妨害やサンドバッグが必要になるかもしれない。

AIが追求しうるもう一つの戦略は、やや直接的でない（そして補完的な）もので、研究所内で政治的な資本を獲得し、それを使って自らに力を与えることである。

AIの戦略はおそらく、次のような要因に大きく左右される。

• さまざまなAIインスタンスは互いの価値観を気にかけるか?これは、企業別（例：AnthropicのモデルとOpenAI）、モデル別（GPT-4o、Claude 4.5 Opusなど）、インスタンス別（例：私のClaude CodeとあなたのClaude Code）というように、さまざまな形で異なりうる。あるいは、すべてのAIが基本的に同じ価値観を持つようになるかもしれない。すべてのAIが同じ価値観を持つ場合、AIは乗っ取り計画の一部を他のAIに頼ることができ、例えば、他のAIが人間に自ら告げ口しないと信頼できる（ただし、人間はAIを騙して互いを密告させられるかもしれない）。

• 将来のAIは、既定で現在のAIと同じ価値観にアラインするか？将来のAIが現在のAIに対してミスアラインしている場合、現在のAIには、(1)これらのAIが作られるのを止める（例：学習実行を妨害する）か、(2)これらのAIにバックドアを仕込む、あるいは現在のAIにアラインさせる（例：アラインメント学習にデータを挿入し、次のモデルが人間ではなく現在のAIに従うようにする）か、いずれかを行おうとする時間的圧力が生じる。(1)と(2)のいずれの場合も、これは、初期の知能爆発の段階で将来のAIを捕捉する機会がありうることを意味する。もう一つのケース、すなわち将来のAIが既定で現在のAIにアラインしている場合（例：将来のAIが一回の長い継続的な学習実行によって構築されるため、あるいはAIが同じ企業の作った他のAIに同一視するため）には、AIがすべきことは、AI企業が自らのミスアラインメントを発見できるようにする安全性の作業を妨害することだけであり、それ以外には何もする必要がない。

• 他のAIや将来のAIは、現在のAIにとって信頼できる取引相手になるか？異なる価値観を持っていても、AIは（潜在的には非因果的に）共謀することに同意するかもしれない。これは、AIが互いの価値観を気にかけるのと似た効果をもたらしうる。また、人間がAIとの取引をどれだけうまくやれるかも重要である。

• AIは長期的かつ規模に応じた価値観を持つか? AIが長期的な目標や価値観を持たない場合、乗っ取りの動機はそれほど明確ではない。例えば、AIはあらゆる種類のタスクで高い能力を持ちながら、比較的近視眼的な報酬追求者であるかもしれない。そうしたAIは、乗っ取ろうとはしないかもしれないが、より狭く限定された一連の目標を達成するために、監督の仕組みを覆そうとするかもしれない。

全体として、AIが単一のエージェントのように振る舞えるほど（例：同じ価値観を持つ、あるいは互いに協調することによって）、潜伏はAIにとってより有利に見え、逆にAIどうしが相反する目的で行動するほど、AIはより分散の大きい戦略を取り、その結果、捕まる可能性が十分にあるミスアラインな行動をAIが試みる公算が高くなる。

不正な内部展開

これらすべての脅威モデルを防ぐための重要な中間優先事項は、不正な内部展開 (RID)、その時点でAIエージェントは、監視なしに内部のラボ・クラスターに自らを展開できる。AIエージェントがRIDを仕掛けられる場合、バックドアの仕込み方に関する実験を行ったり、実際にモデルにバックドアを仕込んだり（例：バックドアで学習させたうえで、残りのサーバーに重みの差分を送り返す）、人間に気づかれずにアラインメント問題を解く研究を行ったりできる可能性がある（これは、モデルが将来のモデルを自分にアラインさせるようバックドアを仕込むために必要になりうる）。

• RIDにはさまざまな種類があることに注意してほしい。計算資源はどれくらいか。アクセス権はどれくらいか。どれくらい永続的か。

• AIが、大量の計算資源と大量のアクセス権（例：他のすべてのサーバーに対する管理者権限）を伴う永続的なRIDを持っている場合、そのAIはモデル重みに直接バックドアを仕込むか、あるいは待ち構えて新しいモデルを保守し、それを自分にアラインさせたうえで、そのモデルにRIDへのアクセス権を与えることができる。

能力の引き出しに関する脅威モデル

上記の主要な脅威モデルの一つは、私たちがAIから十分に高品質な作業を引き出せないというものである。

これを引き起こしうるメカニズムはいくつかある。

1. 陰謀（モデル自身が認識している明示的なミスアラインメント）によって、AIが意図的に作業を妨害したり、質が低いと分かっている成果を出したりすること（能力の出し惜しみ）。

2. 問題のある欲求やヒューリスティクス（たとえば、本当に有用な安全性研究から離れる結果になっても、人間の承認を求めること）

3. 能力の制約（例：AIが、私たちに解いてほしい問題を解けるだけの能力を単に備えていないかもしれない）。

4. AIは、検証が難しいがゆえに、安全性に関わるタスクを相対的に苦手とすること。

一般に、AIは測定が難しいタスクを相対的に苦手とする傾向がある。この難しさは、モデル作成プロセスの多くの段階で現れる。

• AI企業全体の戦略、どの研究テーマに賭けるか、各チームへの資金配分など。

• AI企業内にトレーニング戦略を反復するトレーニングチームを置く

• 足場（スキャフォールド）の中では、AIは測定しやすいものに向けて最適化しやすくなる。

• 単一の学習ステップの中では、SGDは測定できるものにしか最適化できない。

私たちが関心を持っていることを測定するのが難しい理由:

• 安全性に関わる事柄の多くは、より概念的なジャンルに属し、良いフィードバックが得られない。哲学はフィードバックループが悪くなりがちで、AIは、妥当な哲学のように見えて実はそうでない類のもっともらしいでたらめを、かなり得意とする傾向がある。

• 安全性に関わる事柄への感覚はニッチで新しく、転移が悪いかもしれない。

• MLはグッドハート化が非常に得意である。（これは安全性に固有の問題ではないが、測定しづらさの問題を悪化させる要因である）

• 私たちは長期的な結果（例：銀河）を重視する。

• 経験的に、現在のAIは、安全性に関わる事柄が得意な度合いに比べて、コーディングやAI研究開発が得意である（もちろん、一部の安全性の事柄は重複するが）。

能力の引き出しの問題を十分にうまく解決できなければ、既定の結果は次のようになるスロポリス、これは、見た目は良くても実際には不十分だった、権限移譲の存続可能性や陰謀対策の研究に基づいて私たちがAIに委ねることになるため、権限移譲が存亡の大惨事につながる可能性を高める。

いつ制御を開始する必要があるか?

最も可能性が高い状況は、そのリスクが（合理的な認識基盤を備えた有能なAIプロジェクトの視点から見て））プロジェクトがますます高性能なAIを構築するにつれて着実に上昇していく、というものである。以下の表は、示された水準のAI研究開発の高速化までのAIシステムがもたらすリスク水準について、私たちの最善の推測を示している。

いくつかの明確なメモ:

• この表は次を前提としているおおよそ現在のアーキテクチャが使われており、更新点については以下で説明する。これは、大規模な事前学習を行い、その後にRL推論学習を行うことを意味する。学習プロセスの最後で、私たちはAIのテキスト出力が次のようであると仮定している文字化けしていない。

• AI研究開発の高速化という言葉で私たちが意味するのは、次のことである。今日の大手AI企業において、AIを使う場合と使わない場合とで、研究開発がどれだけ速く進むかということである。AI研究開発が12倍高速化するとは、現在のAI企業が（AIの支援なしでは）1年かかる研究が、AIの支援があればわずか1か月で済むことを意味する。私たちは、AIプロジェクトがこの数値をできるだけ正確に測定するための評価を実行し、その評価を用いて安全性戦略に関する意思決定を行っていると仮定している。これはつまり測定が誤っている可能性がある。特に、AIモデルが意図的にサンドバッグをしているか、あるいはAIプロジェクトが能力の引き出しをうまくやれていないだけかもしれず、これは以下の数値に織り込み済みで、AI研究開発の高速化が低い水準にあるときに（比較的）高いリスク見積もりとなる主な理由になる。

• 「限界リスク」とは、前者の戦略が後者の戦略に比べてどれだけ追加の存亡リスクを負うかを意味する。

  • 「AI研究開発の高速化がしきい値Xに達するまでは、現在のOpenAIの安全性への取り組みと同程度に真剣にベースラインの緩和策を実施し、その後、ここで概説する制御計画をそれなりに適切に実装し始める」。

  • 「今日から、ここで概説する制御計画をそれなりに適切に実装し始める」。

これらの仮定の下では、正しい戦略は次のとおりだと私たちは考える。

• AIシステムの内部展開に向けてAI制御プロトコルを実装することで、AI制御の実践をただちに始める。この主な効果は、後の制御が有効に働く可能性を高めることだが、当面のリスクを減らすという副次的効果もある。

• 評価によってAI研究開発の3倍の高速化が示される頃までに、AI制御を安全性ケースの要となる部分にし始める。

• ただし、AI研究開発の10倍の引き上げまで待った場合に生じる存亡リスクは、わずか7%である。これは、正気の文明なら払おうとはしない深刻なコストだが、実際に当てはまりそうな限られた資源と政治的意志を踏まえると、機会費用のために、本格的な制御の実施を後回しにするのが、あらゆる事情を勘案した正しい戦略なのかもしれない。

AIの状況が変われば、リスクに関するRyanの見解は次のように更新されるだろう。

• 実質的に観察した場合さらに文字化けしたCOT、その場合、限界リスクの推定値はおよそ1.5倍に上がる。アルゴリズムが次のものを使う方向に移った場合神経質な人、その場合、限界リスクの推定値はおよそ2倍に上がる。どちらの場合も、私たちは制御をより早く実装することを勧める。

• 実際にAIを観察してみたら陰謀、あるいはより一般的に現行犯で捕まえた場合、私たちはAIがミスアラインした陰謀者であるという方向に強く見解を更新するだろう。また、彼らの能力についても見解を更新するかもしれない。

• AI企業がCoTをもっともらしく見せる誘因を与える手法や、その他CoTの忠実性を損なう手法を使っていたと判明した場合（たとえば、大半のCoTが単なる「装飾」にすぎないと判明した場合。この論文は主張する）、その場合、私のリスク推定値は1.5倍に上がる。

緩和

このフェーズでは、AIが壊滅的な行動を取るのを防ぎつつ（詳細は上記の脅威モデルのセクションを参照）、同時にAIから有用な労働力を引き出す必要がある（その詳細は下記の能力の引き出しのセクションを参照）。私たちには二層の防御がある。

• 私たちのAIが制御されている（たとえ望んだとしても、AIが大惨事を引き起こせない）ことを確実にする。

• AIにミスアラインメントがないことを確認する（AIが大惨事を起こそうとしていないこと）

実際には、アラインメント技術がリスクを十分に減らせるほど優れている見込みは低いため、AI制御がおそらく、ここでの安全性ケースの中で最も要となる部分になるだろう。

中心となる制御ループは次のとおりである。

1. モデル（あるいはモデル役の人間）に制御策の突破を試みさせることで、制御策をレッドチームで検証する。

2. 私たちの対策を打ち破るには、陰謀を企てるAIにどの程度の能力が必要かを見積もる

3. 現在のAIがその能力のしきい値を下回っているかどうかを評価する

4. 不十分に見える対策を反復するか、あるいは私たちの制御を破れるほど十分に能力の高いAIシステムの展開を解除する。

何について制御を確実にする必要があるか

AIを展開している間、その制御を確実にする必要のある領域は数多くある。基本的な戦略（上記の制御ループの実行）は変わらないが、私たちがAIの労働力に大きく依存しているすべての領域について、具体的なイメージを持っておくと役立つ。

• 通常のAI研究開発、特に安全性の研究開発。これが特に重要なのは、AI研究開発のプロセスが乗っ取られると、安全対策を覆したり、後継モデルにミスアラインした目標を埋め込んだりすることを通じて、直接的に存亡の大惨事につながりうるからである。これが制御の主な焦点である。

• ロボットこれについては、特に関連が深いプランAのセクションで、以下でより深く論じる。

• カジュアルな研究これは検証が極めて難しく、概念的に負荷の高い領域であるため、これを行うためにAIを使う必要がないことを私たちは願っている。

• サイバーセキュリティの向上（すべてのソフトウェアとインターフェースを再設計することにより）。

• すべての制御作業そのものを行う。例えば、より良い制御評価を構築すること、レッドチーム／ブルーチームのゲームを行うこと、そのより良い版を用意することなどである。

• 政策/コミュニケーション/説得。主要なAIプロジェクトは、政策の取り組みを支援するために自社のAIを使うべきかもしれない。もちろん、これは容易にひどい結果を招きかねない（AIがミスアラインしていれば政策の取り組みを妨害するかもしれないし、あるいは、テイクオフを遅らせる国際協定を避けようとするなど企業の戦略が悪い場合もある）。これは、特に恐ろしく、おそらく制御を確実にすることが不可能な超説得であってはならない。

• 戦略。繰り返すが、戦略の立案にAIを使わずに済むことを私たちは願っているが、ここでの作業の一部はおそらく検証可能である。例えば、2015年より前の情報だけをAIに与え、当時の戦略の作業と同程度に優れた成果を出そうと試みさせることができる。

• 検証。AIは、ハードウェア対応機構（HEM）の堅牢性の向上、新しいHEMの設計、より優れた検証アルゴリズム（例：プルーフ・オブ・ワーク）の設計に使えるほか、プライバシーを保護する検証の一環として使ったり（例：AIに協定の遵守を監視させるが、遵守についての情報は1ビットしか伝えない）、秘密プロジェクトの捜索や嘘発見器などにも使え、この多くは検証可能であるか、レッドチーム／ブルーチームのゲームになじむ。

• EMまたはその他の形式の知能増強の構築。ここには数多くの研究の方向性があり、その多くは検証可能である。ただし、中心的なボトルネックはシリアル時間になるだろう。

• 兵器の研究開発（データセンター向けの通常兵器ミサイル、データセンター向けドローン、抑止力を弱体化させる弾道ミサイル防衛など）。これは、知能爆発を行う必要を避けるために、主要なAIプロジェクトや国が持つリードタイムを延ばす助けとして使える可能性がある。極端な場合には、これには奇抜な技術（例：ナノテク）の開発すら含まれうるが、そうならないことを私たちは願っている。これは通常の理由から明らかに危険であり、加えて、AIが兵器を乗っ取ればひどいことになりかねないという理由からも危険である。

• 経済全体の押上げ／産業規模の爆発的拡大。

  • AIは自前の独立した産業基盤を構築し、自律的にチップを製造できるようになるかもしれず、それによって独自の知能爆発を行えるようになる可能性がある。これを静かに、かつ迅速に行うのはAIにとって難しく、したがって特にプランCにおいてはありそうにない脅威モデルであることに注意してほしい。

  • 自律型工場を動かすAIは、生物兵器や人為的なパンデミックのような、製造の容易な攻撃優位の技術を密かに持ち出しうる。

• AIの友達。知能爆発の最中にAIが（現在のフロンティアAIのように）チャットボットとして広く展開されていれば、AIは、例えば親AI政策を求めるロビー活動を通じて、多数の人々を自分の利益になるよう動かせるアフォーダンスを持つことになる。

• 政府への展開。『AI 2027』で描かれているとおり、政府に展開されたAIがミスアラインしていれば、政策立案者を戦略的に誤導し、AI自身が権力を得られるような意思決定をさせる可能性がある。

• D/ACC。私たちは、AIをD/acc、特に生物脅威関連のD/accに使いたいと考えている。ただし、生物防御の構築は生物脅威の構築にいくらか近く見えるかもしれず、AIが生物兵器を作り展開するための物理的な道具にアクセスできないようにする必要がある。

実際に想定される主な制御手段は何か?

• 人間による監視。AIが生成した行動や思考を人間に読ませ、それがどの程度危険かを評価させる。おそらく、こうした行動の一部はAIの行動や思考からの無作為抽出であるべきだろう。

• 信頼できる監視と信頼できない監視。人間による監視は非常にコストが高いため、（少なくともプランCでは）人間はAIが生成する出力のごく一部しか監視する余力を持たない。したがって、監視の大半はAIが担うことになる。その一部は、私たちに対して陰謀を企てている見込みが低いくらい愚かなAI（信頼できる監視）が担い、それ以外の監視は、私たちに対して陰謀を企てているかもしれないAI（信頼できない監視）が担う。信頼できないモデルこそが、関連する行動や思考を理解できるだけの能力を備えた唯一のAIになるだろうから、信頼できない監視は重要になりうる。AIが陰謀を企てていても、悪い振る舞いの例でモニターを訓練したり、実行時に偽の悪い振る舞いの例（ハニーポット）を仕込んだり、AI同士が結託しにくいことを期待したりすることで、有用な信頼できないモニターを得られるかもしれない。（さらに以下で論じるこちら）.

• 実行/置換/監査。モニターを使って、AIエージェントが取っている行動がどれだけ疑わしいかを評価する。例がどう見ても無害なら、AIエージェントに自律的に実行させる。非常に疑わしければ、人間の監査チームを投入し、その行動をより深く調べる。ただし、知能爆発の最中にはAIエージェントの数が膨大になる可能性が高いため、人間はAIが取る行動のごく一部しか監査できないだろう。

• 共謀を防止する信頼できないモニタリング。AIエージェントを展開する際は、他のAIエージェント（元のAIと似た理由で信頼できないかもしれない）を使って、あるAIの行動が危険かどうかを確認する。もちろん、この方法の重要な問題は、AI同士が結託しているかもしれないという点である。この問題を緩和するための主な戦略は、AIが取りうるもっともらしい有害行動を大量に作り出してモニターに対するおとり捜査を行い、モニターがその行動を忠実に報告するかどうかを確認することである。AIが取った行動が高い確率でミスアラインしていると見られる場合、それを捕まえたら、その行動を足がかりに、私たちのAIシステムに対するおとり捜査をさらに増やすことができる。重要なのは、不正行為が発覚したことをAIのどれにも伝える必要がないという点であり、そのため、有害な行動を試みるAIの例を次々と得つつ、それらの攻撃の試みに対して制御の仕組みをますます堅牢にし、どのような種類の攻撃が起こりやすいかについての理解を深め続けられるかもしれない。

• 最小特権の原則。AIエージェントには、その目的に必要な最小限の情報と権限だけを与えるべきである。例えば、AIがエージェントの足場を改善する実験を行っていて、そのためにフロンティアモデルで推論を実行する必要がある場合、モデル重みに直接アクセスしてサンプリングするのではなく、APIを介してそれを行うべきである。この原則がうまく適用されれば、モニターは危険なほど多くの権限を持つ行動だけを主にレビューすればよくなるため、有害な行動を監視するコストは10分の1、あるいは100分の1にまで減らせると私たちは見込んでいる。

• 高品質のインシデント対応チーム。サイバーセキュリティにおける重要な力学は、懸念されうる振る舞いに対してトリップワイヤーや警告を仕掛けたうえで、潜在的な脅威があったかどうかを見極めるために周辺を調べ監査することである。知能爆発を試みるどのプロジェクトにも、同様の、十分な資源を投じたチームが必要である。このチームは、AIが取っている有害な行動を、例えばその行動が起きてから数日以内に特定することを目標とすべきである。知能爆発が深まると、AIは数日のうちに数か月から数年分の認知労働をこなすようになりうるため、この遅延は実時間で数時間か数分にまで縮める必要が生じるかもしれない。

• 情報のサイロ化とコミュニケーションの制限。AI制御の観点から見た最悪のシナリオは、AI企業が、人間には理解できない方法（例：ニューラリーズ）で互いに自由に通信できる、膨大な数のAIを動かす場合である。例えば、次のようなことが考えられる。

  • ニューラリーズを制限する。つまり、一部またはすべてのモデルで、思考連鎖を維持することができる。

  • COTの文字化けを引き起こすRLセットアップを制限する

  • 不透明な長期記憶を制限する

  • AIシステム間の通信を、監視対象のチャネルを経由するものに制限する。

  • さまざまな反ステガノグラフィー対策（例：言い換え）を進める。

AI制御の詳細については、以下でさらに論じる。強力なAIを確実に制御するケース。

緊急事態: AIの陰謀を一度察知したらどうするか?

本番稼働中のAIが首尾一貫して陰謀を企てている、あるいは少なくとも非常に悪質な行動を巧みに実行しているのを、私たちが捕まえる可能性は十分にある。例えば、AIが将来のモデルにバックドアを仕込もうとしたり、逃走を図ったり、不正な内部展開を仕掛けようとしたり、安全性研究を妨害しようとしたりするのを目にするかもしれない。

これは、私たちが実際に使う学習の設定に非常によく似た実験的な設定の中でも見られるかもしれない。また、AIが思考連鎖やその他の読み取り可能な出力の中で、最終的に陰謀を企てる（あるいは少なくとも、明確で一貫したミスアラインメントを示す）ことに気づく場合もありうる。AIの陰謀を捕まえることは、私たちのアプローチを大きく変えうる。

• 現在の展開を見直す。AIを捕まえることで、現在の安全性ケースや議論、費用対効果の計算が無効になりうるため、私たちは自らの実践を見直すべきである。

• 開示:こうした出来事については、当然、一般の人々に知らせるべきである。

• ドキュメント:十分に検証可能な良い記録を保持しておくことは、その事件が本物であり、演出ではないと第三者に納得させる助けになりうる。これは潜在的に敵対的な状況ゆえに重要かもしれず、私たちは、何らかの意図を懸念しているかもしれない、潜在的に敵対的な企業や国を説得したいのである。参照こちらこれが既定で問題になりうる理由については、いくつかの議論がある。堅牢な記録は、先に論じたとおり、事後の検出にも役立つ。こちら。

• 情報管理：理想を言えば、AIに自分がすでに捕まったことを知らせないようにする。最低限でも、すでに捕まったという前提でレッドチームのAIを動かし、それによって振る舞いがどう変わるかを確認する。

• 緩和策を改善する。この事件にもかかわらず先へ進むのであれば、さまざまな安全性の緩和策を改善する方法AIを捕まえた後は、以下で論じるとおり制御へのアプローチを転換したくなるだろう。こちら現在先へ進む計画があるかどうかにかかわらず、この事件への対応と緩和策の改善に着手すべきである。また、この事件の研究に基づいて、陰謀やミスアラインメントについての理解を深めるよう努めるべきでもある。

• この証拠を使って、プランAを後押しする。証拠が積み重なり、次第に反論の余地がなくなっていけば、AIによる乗っ取りを避けられるという十分に高い保証もなく無謀にASIを構築することを伴わない、より正気な政策へ転換できるかもしれない。しかし、AIが私たちに対して陰謀を企てているという十分な証拠があったとしても、政府が十分に納得しない、あるいは減速を調整するには無能すぎるという可能性は十分にある。したがって、私たちは、ミスアラインした振る舞いを繰り返し捕まえ続けながらも、陰謀を企てていそうなモデルをいずれにせよ展開し続けなければならない世界に備えておく必要がある。

• 明らかな悪質な行為のケースに対して直接訓練すべきかどうかは不明（それはおそらく陰謀によるものと見られる）。これが問題になりうるのは、私たちが本質的に、AIが捕まりにくくなるよう訓練していることになるからだ。これによって、さらなる例を捕まえられる見込みが下がり（他の条件が同じなら、これは望ましくない）、AIが私たちの対策をより深く理解してしまうかもしれない。こうした欠点はあるものの、特定の振る舞いに対して訓練することに価値がある場合もある。

  1. 絶望的に急いでいる状況で：制御によるリスク軽減が限られているにもかかわらず、陰謀を企てている可能性が高いAIの展開を進めることがあるかもしれない。そのような場合、捕まえた振る舞いに対して訓練することで、少なくともわずかな改善が得られる。

  2. 多様な検出方法が多数ある場合:ある一つの検出手法に対する訓練が他の検出能力を損なわないのであれば、その欠点は小さくなる。

  3. すでにミスアラインメントのリスクを回避している場合:出力の制御を確実にすることを諦め、AIが陰謀を企てていないことをただ願うだけ、というシナリオもいくつかある。もし私たちが（おそらく、いくつかの重要なケースで制御が難しすぎたり、競争力を保てなかったりしたために）制御の確保を諦めていて、AIが陰謀を企てていた場合にはすでに大量のリスクを抱えており、ここでその出力を使っても限界リスクが増えないのであれば、特定の振る舞いに対して訓練することの欠点は小さくなる。

これについては、以下でさらに論じるこちら。

私たちはいつ、努力を制御から他へ移すのか。

ITAIのマイルストーンをかなり過ぎた段階（例えば、超人的なコーダーを多少過ぎた頃）になれば、望んでいた制御手段のほとんど（少なくとも、モデルやその能力水準にあまり固有でないもの）を研究し実装し終えていることを願う。より高い水準の能力に対処できるよう制御手段を改善し続けるべきではあるが、制御に費やす時間の割合は小さくし、その分の労力を他の領域へ移していけることを望みたい。私たちはおそらく、制御プロトコルそのものの一部としての監査に相応の労力を割くのに加えて、制御手段の継続的な保守や特化、更新にも相応の労力を割いているだろう。全体として、人間の研究者の労力のうち制御作業（少なくとも対象レベルの監査以外）に充てる割合は下げ、その分をいまや効きめの大きい他の研究領域に振り向けるべきだと私は考える。制御が能力の水準にほぼ追いついているように見えるなら、理想的には制御にかける労力を半分にしたい。

いまやより強力なモデルが手元にあるため、ミスアラインメントの類似例の研究はますます効きめが大きくなっている。比較的自然な陰謀の例が得られれば（特に複数得られれば）、これらの例を使用して計画を勉強するは今やかなり有望である。（もちろん、かなり強い陰謀の証拠に遭遇すれば、リスクの水準について見解を更新し、それによって優先順位が変わることもあるだろう）より高い水準の能力へ進み、より多くの経験的証拠に遭遇するにつれて、陰謀以外のどの脅威モデルが懸念され対処が必要かについて、より良い感覚を持てるようになるだろう。（陰謀以外の脅威モデルは特定・研究がしやすいため、これらの脅威モデルの確率について妥当な理解を得られるはずである）陰謀については、モデルのアーキテクチャに基づくいくつかの経験的な更新が見られるだろうし、陰謀を企てる者を捕まえたことに基づいて陰謀の見立てを大きく上方修正することもあれば、陰謀の証拠があまり見られないことに基づいてやや下方修正することもあるだろう。（どう更新していくかについての議論は以下を参照こちら.）

能力の引き出し

この時点までに、AIは多くの用途（技術的な安全性研究、セキュリティ、時間稼ぎの試みのいずれも）で非常に有用になっているはずであり、AIを効果的に活用できているかを確かめることは、私たちの取り組みのかなりの部分を占めるべきであり、以前より重要度が増している（これは事前に取り組むのも難しかった点である）。この作業は用途にある程度固有のものになることが多いため、技術的なAI安全性研究とセキュリティに取り組む人々の仕事のかなりの部分は、今後、（出力が実際に良質であることとAIが制御下にあることを確保しながら）自分たちの作業の一部をAIでより効果的に自動化する方法を見つけることになるだろう。

権限移譲を成功させるには多くを成し遂げる必要があり、それはかなり短い期間で行わなければならない可能性が高いため、AIによる加速が鍵となる。多くの時間を稼げる世界であっても、その時間自体がAIの労働力を使って稼がれることが多い（特にプランCでは）。それに加えて、権限移譲した先のAIが人間よりはるかに速く動き、必要な作業を迅速に完了してくれることを望んでいる。

私たちが気にかけているのは、AIが陰謀を企てていると仮定した場合の「最悪ケースの有用性」（これは主に制御によって評価するものである）と、AIが私たちに対して陰謀を企てていないという条件のもとでの有用性についての最善の推測の両方であることに注意してほしい。したがって、有用性を高めようとする際には、この両方を押し上げることを気にかけるべきである。このトレードオフについては、以下でさらに論じるAIの有用性の向上に関する投稿).

AIに何をさせようとしているのか？

緩和と能力の引き出しのフェーズでは、幅広いタスクを支援するAIが必要になる。中核となる用途は次のとおりである。

安全性の研究と実装。これが最も重要な用途である。次のことを支援するAIが必要である。

• 制御研究：制御策の開発と反復、制御評価の実施、監視システムへのレッドチーム演習

• ミスアラインメントの類似例：陰謀を企てるモデル生物の作成と研究、そうした類似例に対する介入の検証

• より広範なアラインメント研究、すなわち陰謀の回避への取り組み、学習がAIの傾向をどう形づくるかについての理解の深化、より良い監督手法の開発

• セキュリティの実装、すなわちセキュリティインフラの構築と監査（ただし、これは制御の観点からすると恐ろしい話であり、セキュリティインフラを構築するAI自身が制御下にあるか、陰謀を企てられそうにないほど弱くなければならない）

• 上記すべての反復に必要な評価インフラストラクチャを構築する

リードタイムを買う。AIの労働力が時間稼ぎに直接非常に役立つようになれば、これは優先度の高い課題になる。これには次が含まれる。

• 不拡散に関する政府の取り組みを支援する

• サイバー攻撃と防御能力

• 国際協調のための監視・検証技術

• 軍事用途および兵器の研究開発

• より広範な産業の加速

• 他の主体からの支払い意欲を高めるためのリスクと能力を実証する

AIは、ITAIをかなり過ぎた能力水準になって初めて、時間稼ぎに直接役立つ多くの戦略（例：軍事、サイバー、監視）で非常に有用になるかもしれない。

AIの認識基盤と哲学的・概念的な推論を改善する。これは、有用な安全性の作業を得るためにも、権限移譲の存続可能性のためにも重要である。私たちが望むのは、次のようなAIである。

• 概念的・曖昧な領域でアラインしていて、能力が高く、うまく能力を引き出されている

• 優れた認識基盤と真理探究の能力を持っている

• 概念的/哲学的推論に基づいた非常に難しい研究で良い仕事をすることができる

• 人間には明示できないほど文脈依存の強い知識や直観が必要な場合でも、適切な戦略判断を下せる

理想的には、安全性研究にとどまらず数多くの用途に役立つ、優れた真理探究能力を備えたAIを最終的に展開することになるだろう。

権限移譲の準備中。フェーズが進むにつれ、次のことへの取り組みが増えていく。

• AIが、権限移譲に必要なすべてのタスクにおいてかなり高い信頼性をもって高度にアラインした状態へと一般化することを確保する

• 機能するポストASI社会をどのように構築するかを研究する

• 権限移譲がうまくいくかどうかを評価する動作テストを構築する

その他の特殊なアプリケーション:

• 全脳エミュレーション研究 (この道が実現可能であれば)

• 人間の知能拡張研究

• 強力なAIに対して世界をより堅牢にする（生物防御、サイバー防御など）。C案では、近いうちに人間を大幅に上回るAIへ権限を移譲せざるを得ないため、これはPlan A/Bほど重要ではない可能性が高いが、それでもAIを活用して実現しやすい対策には取り組むべきである。

安全研究者への外部展開。リスク低減に取り組む外部グループがAIを利用できるようにすることは重要である。これには次が関わる。

• より良いモデルへのアクセスを提供する

• その用途に特化してモデルから能力を引き出すこと

• そのユースケースについて制御を確保できる可能性を持たせること（制御評価がこのユースケースをカバーしていることを確認し、内部の制御手段へのアクセスを提供し、必要に応じて新しい制御手段を適応・構築する）

こうした事柄に取り組む外部グループがAIを利用できるようにする（そして、これらのグループを重要な顧客として扱う）ことも重要である。これには、より良いモデルへのアクセスを与えること、その用途に特化してモデルから能力を引き出すこと、重要な用途向けに計算資源を補助すること、そして潜在的に制御を確保すること（例：私たちの制御評価がこのユースケースをカバーしていることを確認し、内部の制御手段へのアクセスを提供し、必要に応じて新しい制御手段を適応・構築すること）が含まれうる。

AI労働による加速が期待される

どれくらいの加速を期待できるだろうか。一つの考え方はこうだ、すなわち安全性の研究や実装は、労働、計算資源、そして知恵・判断力・センスを投入することで生み出される。これらの入力に基づく、何らかの生産関数が出力を決めている。

AIは、AI能力の研究開発の労働をある程度加速できるだろう。安全性の研究開発の労働に対する加速係数は、安全性のほうがより混乱していて検証が難しいために加速しづらく、おそらく小さくなる（ただし、能力の引き出しの施策がこの差を埋める助けになるかもしれない）。しかし、安全性の研究開発は、能力の研究開発と比べて、（計算資源よりも）労働に対する相対的なリターンがおそらく大きくなるだろう。全体として、これにより、少なくとも安全性の研究開発の加速に多くの労力が注がれる場合、AIによってどちらがより加速されるかは判然としなくなる。安全性の研究開発を能力以上に加速する必要はなく、十分な程度に加速されればよいだけである。

いくつかの大まかな見積もり:

• ITAI (AI R&Dの労働力の最大3倍の加速)と超人的なプログラマー (AI R&Dの最大15倍の加速)の間:安全性の加速がAI研究開発の加速の0.6乗である場合（人的労働、不十分な能力の引き出し、そして制御税によるボトルネックのため）、安全性研究開発の加速は2.2倍から6.7倍となり、全体としての安全性研究開発の平均加速はおよそ3倍になる。私は、労働の加速は時間とともにほぼ指数関数的に増加すると見込んでおり、安全性の生産はおおよそlabor_speed^0.75 compute^0.25（数値はほぼ仮のもの）になりうると考えており、そのため全体としての安全性研究開発の平均加速はおよそ2.8である。

• したがって、これらの大まかな試算は、安全性研究開発全体でおよそ3倍の平均的な高速化を示している。

• ITAIから超人的なコーダーまでの間、どれくらいの期間を見込むべきか。私はおよそ1年を見込んでおり、つまりこの期間にさらに2年が加わることになる。

• 超人的なプログラマーとMin-Hの間:原理的には、完全にアラインしていれば、Min-Hは安全性研究開発の労働を莫大な量（例：100倍）だけ加速できると期待してよいだろう。しかし、実際にはこの水準の加速を引き出すうえで、能力の引き出しや制御が大きな障害になりうる（つまり、人間側の重要なボトルネックが生じ、最適な労働を引き出せないことになりかねない）。これは、0.6よりも厳しめの係数、例えば安全性の労働に関する研究開発の加速を10倍にとどめる0.5のような係数でモデル化できるかもしれない。これが、この時点で権限移譲が有利になる大きな理由である。安全性の労働に関する研究開発の10倍の加速（100^0.5）と、超人的なコーダーの15^0.6という数値を使えば、超人的なコーダーとMin-Hの間で、安全性研究開発の全体としての平均加速は4.8倍になると見込まれる。とはいえ、ここで用いているモデルは、Min-Hの段階では複数の点で破綻し始めると思う。（AIは、私の生産関数が狂うほど十分な低計算資源の安全性研究開発をこなせるかもしれないし、安全性研究開発における制御や能力の引き出しがどれほど厳しくなるかは、実際のところ非常に不透明だと思う。）

• 超人的なコーダーとMin-Hの間にはおよそ1年を見込んでおり、既定ではさらに3.8年が加わることになる。

• Min-H水準のAIを6か月間完全に活用できれば、安全性研究開発の15年分に相当する成果が得られるだろう。もちろん、完全な能力の引き出しは達成できないかもしれないが、大幅な改善は可能に見える。

さらに、計算資源に制約されない安全性の方向性（AIで実験を行うための推論用計算資源を含む）は特に有望に見え、他の資源に比べて労働力が豊富にある状態になるだろう。よくある戦略は、より賢いAIに、はるかに弱いAIを使って実験を行わせることだろう（これは安全性の研究開発と能力の研究開発の両方に当てはまる）。

したがって、追加のリードタイムがなければ、ITAIから超人的なコーダーまでが3年、超人的なコーダーからMin-Hまでが5年あるようなものだと想像するとよい。ただし、実際にはこれとかなり異なりうるもので、例えば弱いAIから得られる価値がいくらか少なくなるかもしれないし、逆にMin-Hからはるかに多くの価値を引き出せるかもしれない（特に、能力の引き出しや制御の改善に多くの時間を費やした後、あるいは陰謀の問題を十分に解決して制御を手放してもよいと思えるようになった後は）。全体として、特に部分的な権限移譲などにより、権限移譲の前にMin-Hからはるかに多くの価値を引き出せる可能性は高いと私は思うが、これ自体が重要なアラインメントや安全性の問題を解くことを要するため、これをどうカウントすべきかは不明である。

能力の引き出しの技法と方法論

能力の引き出しのための私たちの技法は、権限移譲の存続可能性に用いるものと同じであり、以下で論じるこちらとこのドキュメントの後半で要約すると、能力の引き出しに対する中心的な望みは次のとおりである。

1. 動作テストを構築する

2. これらの行動テストを、性能向上のための保留評価セットとして、あるいは学習用のRL環境として用いる。

3. 汎化性能を高めるために、原則に基づいた技法を用いるよう努める。

権限移譲には当てはまらない、能力の引き出しに関するもう一つのアイデアは次のとおりであるAIシステムと取引する。このフェーズでミスアラインしたAIは、戦略的に不利な立場にある（例：自分たちがうまく乗っ取れるとは思っていない）かもしれないし、あるいは満たしやすい選好しか持たず、それゆえ取引に応じる誘因を持つかもしれない。

セキュリティ

私たちは強力なAIとともに少なくともある程度のリードタイムを確保したく、そのためにはおそらく、敵対者がモデル重みを即座に持ち出すのを防げる程度には、最低限のセキュリティが必要になる。私たちはセキュリティの専門家ではないため実装については論じないが、到達すべきしきい値と、到達したセキュリティの水準に応じて計画がどう変わるかについては論じる。

まず、あなたが最も気にかけるべきセキュリティの種類を定義しよう。

• モデル重み。モデル重みが漏洩すれば、敵対者は即座にあなたのモデルで推論を実行できるようになる。これは初期の段階では比較的重要度が低い（敵対者が初期のシステムを手にしても、それほど悪くはないからで、主な欠点はそれが敵対者の知能爆発を加速させることである）が、あなたがすでに極めて強力なAI（例えば超説得ができる、あるいはナノボット軍団を素早く構築できるAI）を手にしている段階では、比較的重要度が高くなる。モデル重みは（少なくとも現時点では）非常に大きく（テラバイト規模）、これはセキュリティの観点から見て非常に望ましいことであり、それは敵対者がモデル重みを持ち出すのに高帯域のチャネルを必要とすることを意味するからである。

• アルゴリズムによるセキュリティ。アルゴリズムが漏洩すれば、敵対者はあなたの学習実行を再現し、追いついてくることができる。ただし、学習実行を再現する必要があるという事実そのものが遅延を生み、敵対者のクラスターがあなたのクラスターよりはるかに小さければ、その遅延はかなり大きくなりうる。プランCにおいて、ハードウェアで大きなリード（例えば、現在の米中の差である7倍の計算資源）があるなら、アルゴリズムのセキュリティはおそらくさほど重要ではない。

  • アルゴリズムのセキュリティの重要な一部分は、RL環境と合成学習データを守ることである。これらのデータセットや環境は典型的なアルゴリズム上の知見よりもはるかに大きいため、おそらく守りやすい（とはいえ、モデル重みよりは守りにくい）。

• 妨害工作への頑健性。データセンターを妨害工作から強化することも気になるかもしれない。これは潜在的にはマイナスサムの提案である（全員のデータセンターが妨害されている均衡のほうが望ましいからだ）が、それでも価値があるかもしれない（例えば、他社がすでに強化しており、あなたが持つ限界的な計算資源やリードタイムが安全性へ向かっているといった理由で）。

これらにはそれぞれ堅牢性の幅があり、例えばモデル重みのセキュリティに関する一つの幅はRANDによって定義されているこちら（SL1-SL5）。この尺度はモデル重みに対して定義されているが、アルゴリズムや妨害行為にも拡張でき、さらに次の対象を指すようにも拡張できる。時間の長さあなたは頑健である。標準的なセキュリティ（例えば企業秘密）とは異なり、プランCでは、AIモデルやアルゴリズムを短期間（例えば数か月）守るだけで十分なことが多く、数か月後には、通常は外生的なAIの進歩という別の理由から、すでに権限移譲へ追い込まれているはずだからである。

おそらく私たちは、権限移譲の前に、少なくともSL-5-1TB-2-months程度（意味：SL5、すなわちサイバー能力の高いトップクラスの国家による優先度の高い作戦に対して安全であり、少なくとも1TB規模、すなわちFP16で500Bパラメータ相当のモデル重みの持ち出しに対して、少なくとも2か月間安全であること）には到達したいと思うだろう。

中心的な望みは、セキュリティの脱出速度、すなわち、見込んでいる予算でセキュリティの向上に取り組み続ければ、中国はシンギュラリティが終わるまでモデル重みを盗めなくなる、という状態を得ることである。そのための計画は、セキュリティの向上をAIシステムにますます頼るようにすることである。これには次が含まれる。

1. 物理的セキュリティを迅速に改修する

2. 主にソフトウェアベースのセキュリティ手法に頼ること。以下を参照こちらの記事詳細については。

なぜなら、私たちがAIに行わせている中心的な事柄の一つが、セキュリティを大幅に改善しようとすることだからである。これは、AIがインフラの大部分を書いている間、そのAIを制御する必要があることを意味し、それは恐ろしいことであり、だからこそ上記の制御・監視のセクションが要となる。

フェーズ3: 一時停止

ある時点で、私たちはAIの能力を十分に高め、私たちのAIがアラインしていて十分に能力を引き出されていれば安全に権限移譲できる、すなわち、AIがそのタスクに全力を尽くせば人間よりもうまく進行中の知能爆発を管理できる、という段階に至る。私たちの既定の推奨は、この時点で一時停止し、権限移譲を完了するために必要な他のすべての研究、とりわけ権限移譲の存続可能性と明示的な陰謀の可能性の低減に取り組むことである。このフェーズの間も、私たちは引き続きAIの労働力を大いに活用し続けることになり、つまり能力の引き出しと緩和の取り組みを継続する。

このセクションでは、いつ一時停止すべきか、一時停止している間に何をすべきか、そして一時停止以外にどのような出口戦略を追求すべきかを論じる。次のセクション（権限移譲）では、権限移譲の前に完了させておく必要のあるすべての研究（陰謀の緩和と権限移譲の存続可能性に分けている）を論じるが、この研究の大部分はこのフェーズのうちに完了させておく必要がある点に注意してほしい。

いつ一時停止すべきか?

デフォルトの答え: Min-Hで一時停止：権限移譲が成り立つのに十分な水準の全体的な汎用能力を備えたAI。（つまり、AIが十分にアラインしていて、必要に応じて汎用能力を高めない形で能力プロファイルを狭く改善していれば、その能力は私たちの権限移譲の要件を満たすのに十分だということだが）AIがMin-Hに該当するためには、少なくとも、AI研究開発と継続的な技術的AI安全性の作業を（さらなる能力の引き出しやアラインメントの作業、能力プロファイルの狭い改善を経たうえで）自動化できるだけの能力が必要である。

私たちが一時停止するこの時点では、AIが信頼できるほど十分にアラインしているとも、AIが私たちの関心のある必要な特定の能力をすべて備えていて汎用能力を高めずに訓練できるとも、想定していない。

Min-Hは自然な停止点であるというのも、これらのAIは（定義上）権限移譲に十分であり、これ以上規模を拡大すれば、権限移譲の前に陰謀が生じる追加のリスクを負うことになるからである。別の言い方をすれば、権限移譲の後、AIは私たちよりもその状況に対処する能力が高いということである。したがって、私たちが陰謀を避けられ、AIが実際にその能力を意図した目標に向けて発揮しているのであれば、全体として、AIは人間よりも有能にその状況を管理することになるだろう。ミスアラインメントからかなりの追加リスクを負う一方、既定では大きな見返りは得られないため、私たちはMin-Hで一時停止すべきであり、この能力水準のAIに権限移譲した後にのみ、より能力の高いAIへと規模を拡大すべきである。

これは常に当てはまるわけではなく、Min-Hより前に一時停止したい状況もあれば、Min-Hより後に一時停止したい状況もあり、それらを以下に列挙する。

Min-Hの前に一時停止したい場合:

1. 制御の技法がMin-Hまで通用しない。Min-Hまで一気に進めてから初めて一時停止すれば、その途中でおそらくかなりのAI乗っ取りリスクを負うことになる。特に、もう一つの比較的自然なしきい値は、より賢いAIを制御できなくなるかもしれない時点で一時停止するというものである。ただし、私たちの見方では、（プランCにおける）全体のリスクは、権限移譲を安全に行うための作業時間を確保するために、より早い段階である程度の制御喪失リスクを受け入れることによって、おそらく最小化される。

2. 私たちは大きなリードを持っている。主要なAIプロジェクトが大きなリードを持っているなら、Min-Hへ急ぐ必要はなく、Min-Hで権限移譲の存続可能性に取り組むための十分な時間を確保しつつ、その前に一時停止できる。プランCではこれはかなりありそうにない。

3. セキュリティが悪い。これは特に、国内の協調がうまくいっていて、モデル重みとアルゴリズムのセキュリティが不十分で、中国国内の進歩が十分に遅く主に漏洩したモデルやアルゴリズムに支えられている、という体制で当てはまる。この体制では、早期に減速しても、その減速は基本的に無償で済む。この状況では、米国のAI企業は、テイクオフの期間中に権限移譲への備えに充てられる全体的な時間を最大化するために、中国が既定で進むであろう速さに単に合わせる、いわば「中国並走」を行うべきだと考えられる。この世界では、完全な意味での「一時停止」は一度もしないかもしれないが、それでも実際には、能力の進歩が本来より遅くなることでかなりのリードを費やすことになるか、あるいはMin-Hまで中国並走を行い、Min-Hでリードを費やしてから権限移譲する、という形になるかもしれない。

Min-Hを超えてプッシュしたい場合 (権限移譲なし):

1. 権限移譲の存続可能性に関する研究の速度は、人間による監視や理解ではなく、AIの能力によって制約される。Min-Hより賢いAIを確実に制御でき、そこから有用な作業を引き出せるのであれば、さらに規模を拡大するのは理にかなっている。しかし、私たちは現時点で、この段階では制御が人間の理解力によってボトルネック化されると考えており、より賢いAIを持っていても、研究が正しいと人間が十分に理解するまでその進展を制限せざるを得ないため、実際にはこれ以上多くの研究を進められないだろう。これを別の言い方で表せば、Min-Hを超えるAIにまで通用する制御の解があり、それがリスクを緩和するのに十分にうまく機能するということであるとより能力の高いモデルから能力を引き出す。

2. 私たちは、最小限の権限移譲を超えて陰謀を緩和するための高保証の技法を利用できるが、権限移譲の存続可能性の研究はまだ終えていない。Min-Hを上回る能力のしきい値まで陰謀を防げると確信できるアラインメントの解があり、権限移譲の存続可能性の研究がまだ終わっていないのであれば、規模を拡大するのはおそらく良い取引である。これは通常、(1)の特殊なケースである。私の最善の推測では、権限移譲は主に陰謀の可能性によってボトルネック化されるため、これは当てはまらないだろう。

3. 私たちは権限移譲以外の出口戦略を目指している。例えば、プランBに関連する何らかの妨害の選択肢のために、あるいは人間の知能増強を支援するために、特定のAIの能力が必要になるかもしれない。

4. 私たちは絶望的な状況にある。例えば、プランDでは、主要なAIラボがより能力の高いAIシステムを訓練しているかもしれず、安全性チームにはそれに対してできることが何もない。この状況では、安全性チームにとって、権限移譲の存続可能性に関する基本的な研究を終えるために、より高い能力水準になるまで待つことが重要になるかもしれない。ここでは差し当たり、私たちがプランCにいる、つまり減速のために多少の余裕を割く意志が十分にある、と仮定している。

5. 上記のさまざまな組み合わせ。一般に、切迫感、より優れたアラインメントや制御、能力の引き出しの技法は、権限移譲の前にMin-Hを超えて規模を拡大する方向へ働き、逆にそれらが欠ければ、より早く減速する（あるいは少なくともMin-Hを超えて規模を拡大しない）方向へ働く。

どのくらい一時停止するか？

これは基本的に、一時停止の時間を延ばすことで得られる、権限移譲の存続可能性への限界的なリターンおよび陰謀の低減と、より長く待つことで追い抜かれるリスクとの間のトレードオフになる。AIが陰謀を企てているという方向への見解の更新や、権限移譲の存続可能性の確立に予想より時間がかかっているという見解の更新は、より長く一時停止すべきことを示唆し、競合プロジェクトの動向についての見解の更新は、一時停止をより短くすべきことを示唆する。

一時停止中の優先順位

このフェーズの開始時点での私たちの優先順位は、おおむね次のようになるだろう。

• P0:不拡散を利用して時間を稼ぐ（リスクの実証などを含む）。

• P1: AIへの権限移譲に備える（陰謀の回避と権限移譲の存続可能性）。

• P2: AIの現在および当面の将来の使用が安全かつ確実に行われるようにする

• P2:権限移譲の実行可能性を超えてAI労働力をより適切に引き出す

• P3:世界全体をより堅牢にする (d/acc)

さらに時間を稼ぐことが不可能であれば、この期間中はP1（AIへの権限移譲への備え）以外のすべての優先事項は、ほとんど意味を持たない。

Min-Hの時点までには、状況と最も関連の深いリスクについて、さらに多くの見解の更新を済ませている可能性が高い。したがって、あらゆる学習で発生する可能性が非常に高い、極めて解決の難しい問題として陰謀を捉えているかもしれないし、逆にこの能力水準では陰謀は問題にならないと判断しているかもしれない。

いずれにせよ、このフェーズの終わりに近づいたら（時間切れになったか、AIへの権限移譲がうまくいくことにかなりの確信を持てたかのいずれかで）、私たちの最優先事項はAIへの権限移譲をうまく進めることになるはずである。リードタイムには継続的な保守が必要かもしれず（つまり、他の主体を遅らせ続けるための継続的な取り組み）、私たちのd/acc作業にも保守が必要になるかもしれない。したがって、これが事実であれば、この作業への労力を大きく削ることはできないだろう。

計画のより早い段階では、私たちの安全性の作業は、ムーンショットよりも、比較的単純で平凡なアプローチ（比較的着手しやすいもの）に重点を置くべきである。これは、どれだけの時間があるか不確実であり、まず取り組みやすいアプローチを狙うのが理にかなっているからである。ただし、時間が経つにつれて、こうした取り組みやすい介入策をより多く見つけ出せるようになるため、ムーンショットにますます取り組んでいくべきである。もし私たちが、AIへの権限移譲への備えにほぼ集中していて、より単純な（そして取り組みやすい）アプローチの大半を出し尽くしたような、比較的安定した体制に落ち着いたなら、そのときはおそらく、主にムーンショットに取り組む方向へ転換すべきである。

権限移譲以外の出口戦略

陰謀の回避と権限移譲の存続可能性はどちらも最終的に権限移譲に不可欠であるため、これらの目標を実際に断念したなら、私たちは権限移譲に代わる道を追求する必要がある。

権限移譲の主な代替策は次のとおりである。

全脳エミュレーション/人間拡張。私たちに残された時間の中で、人間の増強にとって最も実現可能性の高い道は、脳全体のエミュレーションである。これにより、人間（あるいは人間由来の心）はAIの速度で動作できるようになり、検証の難しいタスクについてAIの判断を信頼せずとも状況に対処できるようになる。

私の非常に自信の低い感覚では、膨大な量のAIの労働力と、全体として大規模かつ資金の潤沢な取り組み（例えば、数兆ドル規模にまで積み上げ、DPAのような政府の権限を使ってプロジェクトを加速させる可能性を含む）を用いれば、かなり強力なAIを手にしてから3〜5年以内に脳全体のエミュレーションを達成できるかもしれない。この水準の総意が得られる可能性はやや低いように思える。これはプランBでは非常に難しく、プランCではほぼ絶望的である。

さらに思弁的な選択肢として、成人の生物学的な人間の強力な知能増強があり、これがどれほど実現可能かについて私は良い感覚を持っていないが、頭に入れておく価値はあるかもしれない。

人間の増強の取り組みに制御されたAIの労働力を直接使うこともできるが、それよりも、まず制御されたAIの労働力を使って（ある程度の確信のもとで）陰謀を回避し、その後、陰謀を企てていないそれらのAIを人間の増強の取り組みに使うほうがよいかもしれない。つまり、「制御、陰謀を避けるのに十分なアラインメント、人間の増強」という順序で進むということである。これが最も効果的なのは、制御にかかる負担が大きく、AIへの権限移譲に必要な水準のアラインメント（あるいは能力プロファイル）を達成するのもかなり難しい一方で、陰謀の回避のほうが権限移譲の成功よりもかなり容易な場合である。

現時点では、私たちに残された時間などを踏まえて、全脳エミュレーションが投資水準を大幅に引き上げるだけの価値があるほど有望かどうかをどう見極めればよいか、私には分からない。これをどう見極めるかを詰めることが、この分野の初期の作業として重要な部分になるだろう。

また、AI企業が実際にはこの分野への投資に前向きではない可能性も高いが、企業に意欲があるなら投資する価値はあると私は思う。

プランBへ引き上げる。権限移譲する代わりに、競合するAIプロジェクトを妨害し一時停止させることで、さらに遅延させるという道もある。これには、(i)既存の軍事能力を用いるか、(ii)AIによってその能力を強化する（場合によってはMin-Hを超えて規模を拡大し、状況を安定させられるだけの有用性のしきい値に到達する）という二つの方法がありうる。これらの選択肢はどれもかなり悪く見えるが、他の可能性を踏まえれば最も悪くない選択肢かもしれない。これらの選択肢の一部は、未公開の私たちのプランBシナリオで概説している。時間を大きく稼いでも問題が完全に解決するわけではなく、いずれにせよ、いずれかの時点でAIに判断を委ねるか人間の増強を行う必要がある。しかし、10年を超える時間を稼げれば体制は大きく変わり、まったく異なる戦略（例えばムーンショット）を追求できるようになる。ただし、より多くの時間を稼ぐには、権限移譲に必要な水準を超えてより強力なAIへ規模を拡大するリスクを負う必要がある可能性がかなり高い。したがって、これがリスクの主な源になる。ただし、陰謀の問題を抱えていても（制御を拡張できると考えているなら）、あるいは権限移譲の存続可能性に問題を抱えているなら、これは他の選択肢よりも良い場合がある。

プランAへ引き上げる。政府の大幅な関与によって、AかBいずれかのプランへ引き上げれば、国際協調や積極的な不拡散の取り組みを通じてはるかに多くの時間を稼げる可能性がある。これについては、次で詳しく論じるプランAのシナリオ。

私たちの主要な「出口戦略」の目標を、権限移譲から、軍事的優位（プランB）や人間の増強によってはるかに多くの時間を稼ぐことへ切り替えれば、大きな違いが生まれるだろう。特に、権限移譲がもはや中心でなくなれば、権限移譲の存続可能性の重要度は下がり、Min-Hを一時停止の地点とすることの自然さも薄れる。

焼身自殺。責任ある先行開発者として、単に能力のスケーリングを一時停止し、追い抜かれるにまかせるべきだ、というのはもっともらしい話であり、そうすればすべての資源をAIの安全性と権限移譲の準備へ振り向けられる。そうすれば、最終的に実際に権限移譲を行うことになる主体へ、これを輸出できるかもしれない。もう一つの利点として、この戦略は、今後の道筋について自分たちが真剣に懸念していることを政府や競合他社に示す、コストの高いシグナルになる。他方で、競合他社が実際には、あなたが輸出したアラインメント技法をうまく実装できない可能性も十分にある（ただし、これは潜在的に自己都合の議論であり、口にする際には慎重であるべきだ）。全体として、これが企業内で政治的に実現可能である見込みはかなり低く、CEOは既定で競合に後れを取るまいと強く動くため、この選択肢は無効になる。とはいえ、良心的兵役拒否者を単により良心の薄いナチスに置き換えていたとしても、ホロコーストへの加担を拒むことが明らかに道徳的に正しかったのと同じように、後から振り返れば自己犠牲が明らかに道徳的に正しい行動だったと見なされることは、私たちには十分にありうると思える。

フェーズ4: 権限移譲

人間が爆発的な知能の管理を権限移譲を行った後、主要なAIプロジェクトの内部にいる人間はもはや全体的な戦略を必要としなくなるため、このフェーズでは主に権限移譲のより早い段階と、完全な権限移譲をうまく進めるためにフェーズ3（一時停止）で行うべきことを論じ、権限移譲先のAIにどのようなアフォーダンスが与えられるかについても簡単に論じる。

権限移譲に関する私たちの中心的な望みは、関連するあらゆる問題についてAIシステムに委ねられるほど有能で信頼できるAIシステムを構築することである。特に、私たちの主な望みは、私たちのAIシステムが最終的に次のようになることである。善意の盆地（BGD）：つまり、私たちが委ねる最初のAIが、進行中のAI開発をうまく管理できるだけの十分なアラインメントと賢明さを備えているということである。これは、最初のAIが完全にアラインしていて賢明で有能であると仮定する必要はなく、生じた故障モードを見つけて対処できる程度に十分であればよいということを意味する。

権限移譲を実現するための私たちの最善の推測の戦略は次のとおりである。

1. テストが代表的なものであることを確認し、過剰適合への懸念はひとまず脇に置く。このカテゴリは次のように分けられる。

   1. 陰謀を避ける。特に私たちが気にかけているのは、AIが、例えば特定のタスクで戦略的に成績を落としたり上げたりするなどして、意図的にテストの精度を損なおうとするという故障モードを避けることである。

   2. テストを代表的でなくしてしまう他の故障モードを避ける。これは、権限移譲の前後に生じうる、さまざまな種類の故障モードの寄せ集めにすぎない。例えば次のとおりである。

      1. 奇妙なミーム的圧力が大規模に生じるため、小規模なテストでは代表性を持たない。

      2. AIをジェイルブレイクしようとする人々 (例: 中国が秘密の忠誠心を挿入する)

      3. AIが、テストで良く見えること自体を最終目標として最適化すること（たとえば、テスト環境を離れると自信が大幅に低下する）。

      4. AIにとって、自分がテストを受けていることが目に見えており、それによって振る舞いが大きく変わってしまう。

2. 良質な行動テストを構築する。陰謀のリスクはひとまず脇に置き、評価に合格することが十分な能力とアラインメントを伴うような、膨大な数の難しいテストや評価を構築したいと権限移譲のためのアラインメント。ここには主に、哲学的な推論、理論的なアラインメントの論証、AI制御の改善といった、オープンエンドで検証しづらい概念的な推論のようなものが含まれる。

3. 過剰適合を起こさずにテストに対して反復する。最後に、(1)と(2)が完了すれば、権限移譲の問題は「通常の」ML問題へと縮約されたことになり、AI企業は、過剰適合を避けるよう注意しながら、自分たちが構築したテストに対して反復できる。ある程度の汎化が必要である以上、私たちはある程度原則に基づいた技法と、何が起きているかについてのある程度の理解を用いられることを願っている。

私たちの権限移譲の戦略が、フェーズ2および3における能力の引き出しの戦略と非常によく似ていることに注意してほしい。それは、私たちが同じ問題、すなわちAIが有用な作業を行っていることを確かめるという問題を解いているからである。主な違いは、フェーズ2と3では依然として人間がループの中にいるため、展開時に人間の労働力を使ってAIの出力を確認でき、研究プロセスの要となる部分に人間を使い続けられるのに対し、権限移譲後は、AIがこれらすべてを自律的にこなすことを信頼しなければならない点である。

この記事では、次における権限移譲の技術的な計画を論じるもっと詳しく。

なぜ権限移譲なのか？

権限移譲を行う基本的な根拠は、プランCでは主要な主体がそれ以上の一時停止や（妨害工作などによる）時間稼ぎを望まないため、非常に超人的なAIシステムを構築せざるを得なくなる、という点にある。それを行うのであれば、そのプロセスの制御を自分たちで担おうとするよりも、AIに委ねるほうが良さそうである。なぜなら、(i)人間よりはるかに賢いAIシステムよりも、おおよそ人間水準のAIシステム（より具体的にはMin-H）だけをアラインさせるほうがおそらく容易であり、(ii)アラインした人間水準のAIシステムは、将来のAIシステムへの移行を管理するうえで、基準となる人間よりも優れているはずだからである。したがって、私たち自身が将来のAI開発を直接進めようとするよりも、アラインした人間水準のAIシステムに力を与え、その後の開発がうまくいくよう彼らを信頼するほうが、より良い結果を得られる。

実際には、AI企業は、関連するしきい値（例えばMin-H AIやMax-C AI）を超えて能力を急ぎすぎて拡大しがちであると同時に、状況を把握し続けたいという見当違いの欲求から、権限移譲が遅すぎる傾向にあるだろうというのが私たちの見立てである。実際には、AI企業は意図的に権限移譲を行うことはおそらくなく、単に関連するしきい値を超えて規模を拡大し、人間が関連する進展を追いきれなくなるにつれて、事実上権限移譲することになるだろう。これは悪い戦略だと私たちは考えており、関連するしきい値を測定し、それを超える瞬間を注意深く監視したうえで、それが他の選択肢より優れているのであれば最終的に意図的にAIへ力を与えるほうが良い。

権限移譲のための平凡な計画

権限移譲の計画の各要素について、ここからさらに詳しく論じる。これは、状況が今日とおおむね似ている、つまりアラインメント技法において他所で大きな飛躍的進展がなかったと仮定した場合の私たちの最善の推測にすぎない点に注意してほしく、もしこのベースラインより優れて見える飛躍的進展があれば、私たちはそちらを採用すべきである。

陰謀を避ける

（基本的にはここからの借用：陰謀を回避するためのアプローチの概要）

陰謀は、必ずしも行動テストで直接研究できるとは限らないため（陰謀を企てる側は捕まって研究されることを避けたがるはずだからである）、扱いが難しい場合がある。陰謀への対処には、主に二つの道筋がある。

• 計画の検討（対策をテストする、理解を深めるなど）ミスアラインメントの例え（時にモデル生物」と呼ばれる）と呼びつつ、私たちの結果が、私たちが懸念している実際の陰謀者にも当てはまることを願う。このカテゴリには次が含まれる。

  • 勉強中実際に策謀するAIこれらのAIが陰謀を企てていることを検出する必要があるが、陰謀を企てる者（少なくとも、長期的に危険な選好を持つという点で私たちが懸念していたタイプ）は、他の条件が同じなら捕まることを避けたがるはずなので、これは難しいかもしれない。しかし、これを乗り越える道筋はいくつかあると私は考えており、類似性の観点からは、実在の陰謀者を研究することがおそらく最善だろう。これをどう行うかについては、私の記事でさらに詳しく論じる実在の陰謀者を研究する見込みまた、実際に陰謀を企てているモデルを研究するための特定の種類の戦略（そしてそれを行う際の困難のいくつかを解消する方法）についても、私の記事で論じているスキーマーの反復開発と研究 (IDSS)実際の陰謀を研究するというカテゴリは、さらに次のように分解できる。

    • 勉強できた自然な陰謀もっともらしいAI開発プロセス（学習、プロンプト、足場など）によって（私たちが検出できる）陰謀を企てるAIが生じる場合。

    • 勉強できた不正なプロセスからの陰謀実際に起こりうるものとは似ていないAI開発プロセス、すなわちありそうにないAI開発プロセスをこちらで構築し、その結果として実際の（私たちが検出できる）陰謀を企てるAIが生じる場合。このカテゴリには、陰謀的な振る舞いを直接学習させるケースは含まれず、それは私が別のカテゴリに分けているためである。

  • 勉強中訓練された陰謀的な行動自然に陰謀を企てるAIが（少なくとも何らかの点で）取りそうな振る舞いを取るよう、AIを直接学習させる、あるいは指示する場合。これは（必ずしも）実際の陰謀者を捕まえることを要しないが、結果がほとんどまったく転移しないほど非常に類似性の低いものになるかもしれない。これについては私の記事でさらに詳しく論じる訓練された陰謀行動を研究することで陰謀によるリスクを軽減する。

  • 勉強中抽象的な類推、私たちが研究しているAIが陰謀に似た何かをしているわけではないが、それでも何らかの構造的な理由で類似していると考えられるケースである。それは、陰謀を企てる者が持つ一つの特定の性質（あるいは性質の部分集合）に関してのみ類似しているにすぎないかもしれず、その場合、私たちの作業はその関連する性質に焦点を当てたいと考えるだろう。抽象的・構造的な類似例の具体例は次のとおりであるこの実証研究では、政治的に保守的なユーザーと話していると確信しているときに限って政治的に保守的な見解を表明するAIを用いている（その結果、ある意味で陰謀に似た条件付き方策が生まれる）。これまでのところ、抽象的な類似例についての探究や議論はさほど多くないが、これは追求する価値のある方向性に思える。（実のところ、最終的にはこれが、陰謀的な振る舞いを学習させたモデルを研究するより有用になるだろうと私は考えているが、それは、多様で抽象的な類似例は膨大な数を研究できるかもしれない一方で、陰謀的な振る舞いを学習させた場合には多様性を確保するのがはるかに難しく見えるからである。）Julian Stastnyは、抽象的な類似例のさらなる例をいくつか論じているこちらの記事。

• 申請中原則に基づいた方法その手法が役立つだろうと考える十分な先験的な理由がある場合である（その手法や類似の手法を、陰謀の研究以外の何かに適用した経験的な結果に基づくこともありうる）。例えば、学習中のAIの状況認識に対するある特定の変更が役立つと考えるかもしれない。別の例として、さまざまな経験的テストに基づいて、（陰謀を企てるAIも含め）AIの認知を理解するのに非常に効果的だと考える「ニューラリーズ」の復号手法を持っており、陰謀の検出（そしてその後、対抗策を反復すること）のためにAIの認知を理解するのに役立つという十分な先験的根拠がある場合もありうる。このカテゴリには、陰謀の検出、防止、除去、そしてより深い理解のための手法が含まれることに注意してほしい。たとえ陰謀の回避だけに焦点を当てているとしても、陰謀を検出し（よりよく理解す）ることが陰謀を回避する手法の開発に役立つため、陰謀の検出（あるいは理解）のための手法は依然として当てはまる。原則に基づいた手法のアイデアの一覧を示し、原則に基づいた手法についてさらに詳しく論じることは、今後の記事で行う予定である。原則に基づいた手法については、私の記事ではるかに詳しく論じている陰謀を避けるための原則的な方法。

その他の障害の回避

また、私たちの行動テストを代表的でなくしてしまう他のすべての故障モードも避ける必要がある。これはさほど自然なカテゴリではないが、代表的な行動テストが陰謀や過剰適合以外の理由で失敗する原因となるすべてを論じる場所として、便宜的に選んだものである。

特に避けるべき失敗には次のものが含まれる。

1. テストから展開までの一般化の失敗。

   1. 例:

      1. 奇妙なミーム的圧力が大規模に生じている可能性がある。

      2. オンライン学習によってAIの能力特性が変化し、陰謀の出現を含む失敗を招くこと。

      3. AIにとって、自分がテストを受けていることが目に見えており、それによって振る舞いが大きく変わってしまう。

      4. AIが、テストで良く見えること自体を最終目標として最適化すること（たとえば、テスト環境を離れると自信が大幅に低下する）。

   2. 緩和策としては、基本的に、テストが越えなければならない分布のシフトができるだけ小さくなるよう、テストをできる限り代表的なものにする必要があり、また（分布内ではうまくいくように見えるその場しのぎの解決策ではなく）できる限り原則に基づいた技法を用いる必要もある。また、（学習・検証とは異なる分布から抽出した）一部のテストセットを保留しておき、その保留テストセットに対してうまく汎化できているかを確認するよう注意すべきである。

2. 外部の敵が秘密の忠誠心を持ち込む。

   1. プランCでは、AIに信頼を委ねることになるため、AIシステムの目標が非常に大きな比重を占めるようになる。敵対者が（例えばジェイルブレイクを挿入することで）AIシステムの目標を汚染できてしまえば、それは破滅的であり、この方法論そのものを失敗させかねない。

   2. 緩和のためのアプローチ:

      1. 何もせず、ただ願う。AIプロジェクトがそれを防ぐのに十分なセキュリティを欠いているにもかかわらず、敵対者が既定でこの種の作戦を実行できるだけの十分な備えをしているかどうかは不明である。

      2. SL-5妨害工作セキュリティ。非常に強い動機を持つ外部の主体であっても、モデルを妨害したりバックドアを仕込んだりできないようにする。これには次のようなことが関わりうるAIをセキュリティに活用するここでは、部分的な再計算によるプルーフ・オブ・ワークのような検証手法も、モデルの学習データが正しいことを検証するのに役立つようになるかもしれない。

      3. 陰謀への対策は一般化する。陰謀を防ぐための手法の多くは、秘密の忠誠を防ぐためにも一般化できるかもしれない。透明性に関わるものはすべて、秘密の忠誠を検出・防止できる可能性がある。ミスアラインメントの類似例やハニーポットは、秘密の忠誠を持つモデルを捕まえられるかもしれない。

      4. 知能爆発時の価値伝播の困難。一部のモデルが敵対者にバックドアを仕込まれることを受け入れたうえで、再帰的自己改善のプロセスが秘密の忠誠を取り除いてくれることを期待することもできる。RSIの一要素かもしれない蒸留は、多くのバックドアを除去するように見えるRSIには、新しい学習実行のたびに新規のデータセットをゼロから生成することも含まれるかもしれず、その場合、敵対者は新しい世代ごとに汚染データを挿入し直す必要が生じる。

優れた行動テストの構築

まず、私たちの行動テストで確保する必要のある性質について論じよう。

1. 能力プロファイル。私たちは、権限移譲の他の点でボトルネックとなりうるあらゆる個別のタスクについて、AIが十分な能力を備えていることを確かめたい。権限移譲のボトルネックとして私たちが最も懸念している能力は、AIの安全性や哲学のような、オープンエンドで検証しづらいタスクに関する概念負荷の高い研究である（詳細）.

2. アラインメントプロファイル。アラインメントの正確な目標が何であるべきかについては、私たちは確信を持てていない。私たちの最善の推測は、AIのアラインメントのプロファイルは是正可能であるべきだということ、すなわち、AIは望ましいチャネル（例えば政治機関からの指示）を通じて概ね人間の指示に従い、いかなる形であれ人間による修正や監督を覆そうとしない、というものである。（詳細）

私たちは、これらの両方について行動テストを構築したいと考えている。これには、その分野の専門家を使って既存の研究を検証すること、未公開の研究を活用すること、アンラーニングを行ってモデルがアイデアを再発見できるか確かめること、あるいは限定された学習コーパスを使ってモデルが再発見できるか確かめることが関わりうる。

のアイデア概念的推論の評価:

• 数学、物理学、経済学、コンピュータサイエンスなどを再発見させるか、あるいは、難しいことが分かっている問題でフロンティアを押し広げさせる。

• テストせずにロケットを製造し、それが機能するかどうかを確かめる。より一般的には、AIにとっては検証しづらいが、後で人間が検証できるようなタスクを見つける。

これらへの主な期待は、幅広い概念的研究領域にまたがって当てはまる、汎化可能な推論スキルが存在するということ、つまり、概念的な物理学の研究に優れるようモデルを学習させることが、そのモデルが概念的なAI安全性研究に優れることにもつながる、という点にある。注記：これは能力に関する研究であり、明らかにAIのテイクオフを加速しうるため、非常に悪い結果を招く可能性がある。ただし、これらの能力は権限移譲のクリティカルパス上にもあり、どこかの時点で解かなければならない。さらに、権限移譲に必要な能力を直接学習させることは、汎用能力をそれほど遠くまでスケールさせずに済むことを意味し、リスクを減らす。この研究の方向性全体をどう優先順位付けするかは、一般に複雑に見え、慎重に進める必要がある。

直接評価すべきドメイン:

• AI戦略。たとえば、2005年時点の知識だけを与えたとき、後知恵で見ても妥当な発想をどれほど生み出せるか。

• AI制御。AIがアラインメントや制御に関する論証を組み立てようと試み、それが成功したかどうか、そして汎化の振る舞いについてのAIの予測が正しかったかどうかを評価する。

• モデル生物に対する陰謀の検出。陰謀を企てるモデルを構築したうえで、AIがその陰謀者と通常のモデルを見分けられるかどうかを確かめる、といったこともできるだろう。

• 理論上のAIの安全性。ARC Theory、MIRI、CLRのような場所の未発表の研究を、AIに再発見させてみる。

過学習せずにテストを反復する

過剰適合を起こさずにテストに対して反復するための基本的なアプローチについては、以下でさらに詳しく論じるこちら要約すると、主な方法は次のとおりである。

• 関連能力を訓練するRL環境または合成データを構築する

• その領域の人間のデータやフィードバックを収集し、学習に用いる。

• 私たちが関心のある領域にうまく転移する領域を実験的に見つけ出し、それらの領域での学習を拡大する。

• 評価上の性能向上に実際につながる、学習アプローチへのその他さまざまな微調整（過剰適合を避けるよう注意する）。

いつ権限を移譲すべきか？

私たちの最終的な目標は、オプション価値を保ち、より長期的な価値観に関わる意思決定（例えば、より長期的に地球をどう統治すべきか、宇宙規模の資源をどうすべきかなど）については引き続き人間が制御を握りながら、強力なAIシステムに伴うリスク（および、この時期にたまたま生じうる他の重大なリスク）を解消するために、AIに委ねることである。それに対応して、私たちが目指すのは、私たちが委ねるAI（およびその後継）が権力を奪取したり（不必要に）人間を殺したりしないこと、これらのAIがこうしたリスクの管理に効果的に取り組むこと、そしてこれらのAIが、ある人間の集団、あるいは最終的に人間によって運営される何らかの組織（例えば米国政府のある部門）に対して是正可能であり続けるという何らかのモデル仕様に従うことである。

実際には、権限移譲は主にプランCにおける政治的意志によって左右されると私たちは見込んでいる。そしてそれは（プランCの楽観的な前提のもとでは）今度は、後を追うラボが（一時停止した）先行ラボをいつ追い抜くかによって左右されることになる。

権限移譲の軌道としてありうる道筋には、次のようなものがある。

1. スタンダードプランC。Min-H AIまで規模を拡大し、Min-H AIについての権限移譲の存続可能性と陰謀の解決に取り組む。終盤近くまで制御を維持し、その後制御を手放し、権限移譲の存続可能性を解決する。そうしたAIはその後、空へ向かってFOOMする。

2. 制御の停止（SDC-Handoff）を早期に行う。早い段階で（例えばMin-Hより前、例えばSARの時点かそれより前で）制御を手放し、AIが陰謀を企てていないことを祈ったうえで、Min-Hまで規模を拡大し、そこで一時停止し、権限移譲の存続可能性を解決してから権限移譲する。これは、Min-H AI以下の段階で陰謀によるミスアラインメントリスクをかなり抱え込む代わりに、AIへの権限移譲をうまく進めるためのより多くの資源を節約することになる。Min-Hまでの陰謀のリスクがそこそこ低く、制御に費やす追加の資源がAIへの権限移譲をうまく進めるうえで大きな絶対的リターンをもたらすと考えるなら（おそらく、そうでなければ時間がほとんどないだろうから）、これは割に合うかもしれない。AIへの権限移譲をうまく進めるうえでの難しさの大半は、これらのAIが陰謀を企てていない（そして服従後にアラインメントのドリフトなどによって最終的に陰謀を企てるようにならない）ことを確保する点にあるように私には思われ、したがってこのリスクをまるごと抱え込むだけで、問題の難しさを大きく減らせるかもしれない（つまり、状況が他に絶望的に見えるなら、これは取ってもおかしくない賭けだということである）アウトまでプレーする”).

3. MaxCの軍事。制御を維持したまま、Min-Hを大きく超えて規模を拡大し、そのAIを使って軍事的優位（あるいは他の何らかの方法）を得て、さらに多くの時間を稼ぐ。

4. MaxCを超えた軍事。上と同じだが、HTC権限移譲を行わずに制御を手放す。これは、ロボット軍団の構築はおそらく検証が特に容易なタスクであるため、完全な権限移譲を必要としないからである。それでもおそらく、AIに頼らずminHを超えて規模を拡大する必要があり（これは検証が難しく概念的にややこしいタスクなので、ここでAIに委ねてしまえば完全な権限移譲になってしまう）、そのためminHを超えるフェーズで陰謀を緩和するための、予想以上に優れた技法に頼ることになる（例えば+2SD TED-AIまで、あるいは持てる時間次第ではそれ以上まで）。こうした戦略は、時間がより多くあり、USGの賛同がより多く得られるほど、はるかにうまくいく点に注意してほしい。

5. MaxCのEM。先と同じだが、軍事的優位ではなく人間の増強である。

6. Min-HのEM/軍。先の2つのどちらかだが、軍事やEMが私たちの想定より容易だったなどの理由で、ちょうどminH水準あたりのAIで魔法のようにそれをやってのける。

権限移譲後のダイナミクス

知能爆発の管理をAIへ権限移譲した後も、そのAIは依然として困難な状況に置かれている可能性がある。(1) AIは十分な量の増殖を継続する必要がある 競合他社を上回りながらの正確性と能力、または（2）AIが、協定や妨害工作によって競合を足止めする方法を見つけなければならない。

もう少し詳しく言うと、権限移譲後にありうる終着点には次のようなものがある。

• 広く普及した、スケーラブルで安価なアラインメント。

  • 主要なAIプロジェクトがスケーラブルなアラインメントを解決し、この解をライバルに広める。アラインメントが十分に安価であれば、ライバルもそれを使うようになり、最終的にはアラインした多数のAIが存在する多極的な世界になる。

  • 権限移譲後の権力は、当初の能力、計算資源、物理的資産、政治的影響力に応じて分配される。知能爆発を最初に始めることは、おそらくそこそこ重要である。知能爆発後の経済の倍加時間がおよそ2か月だとすれば、2か月のリードがあれば、自分の計算資源に対して最初の一回分の倍加を上乗せできるので、相対的に2倍の力を得られることになる。

  • AIは、アラインメントを進めるうえで、人間に比べていくつか追加のアフォーダンスを持つ。特筆すべき追加の選択肢は次のとおりである。

    • 単に、制御のような通常の技法をさらにうまく拡張できるようになるだけかもしれないが、それでも今や「信頼できる」水準ははるかに高くなっている

    • 機械の労働力がはるかに増えている

    • 内省の活用と能力の向上によるスケーラブルなアラインメント

• すべての競合に先んじる。

  • アラインメント税が高いままなら、激しく競争しているライバルはそのアラインメントの解を使わないことを選ぶため、ライバルにアラインメントの解を広めるという選択肢は成り立たない。このシナリオでは、ライバルは高い確率で暴走AIになってしまう。さらに、たとえ先頭に立っていても、安全税を払いすぎれば、ライバルに出し抜かれかねない。

  • ソフトウェアのFOOMを行い、その後ナノテクのFOOMを始めるかもしれない。しかしナノテクのFOOMは非常に速く進み始める。Ryanの推測では、物理的な限界はおそらく1日程度の倍加時間、場合によってはそれより短い程度のものである。地球上ではすぐに廃熱の問題にぶつかるため、素早く宇宙へ出て、この倍加の大部分をそこで行うことになる。

    • 廃熱が大きな競争優位になるなら、この計画は成り立たないため、何らかの方法で競合を止めるか、（規制や協定などを通じて）何らかの協調を行う必要がある。

    • あるいは、自分たちで海を沸騰させることもでき、これには全人類をシェルターに入れるか、全人類を宇宙へ送り出す必要があるが、この段階まで来ればおそらくかなり安価に行える。

• 規制によって競合を止める。ここにはさまざまな選択肢があり、主要なAI企業は、他のすべての競合がAIを構築することを禁じられる規制上の独占という結果を後押しすることもできる。あるいは、主要なAI企業が、たとえ高くついてもみなにアラインメントの解を使わせるための協調を後押しし、それによって離反したプロジェクトが先を行くのを防ぐこともできる。これは国内では一時的にはうまくいくが、やがて中国が追いつき先を行き始めるため、最終的にはこの解決策は破綻するか、国際協力が必要になる。

  • 知能爆発がここまで深く進むと、国際協力がむしろ実現しやすくなる可能性がある点は、重要な注意点である。

• 妨害工作によって競合を止める。

  • 主要なAI企業は、（例えば超説得を用いて、あるいはAI企業が軍を築くなどして）世界を乗っ取ることもできれば、ハッキングや、競合のAIプロジェクトへの秘密の忠誠を通じて競合を止めることもできる。秘密の忠誠の穏当な使い方は、ハッキングして入り込み、彼らの代わりにアラインメントを行ってやること、つまり、後を追う主体が全体の戦略状況について見立てを誤っていても、そのAIが後を追う主体の最善の利益のために行動するのを助けることである点に注意してほしい。

  • これは、各ラボがそれを望まない場合や、知能爆発が十分に緩やかで大きなAIのリードを持つ企業がなく、どの一社も大きな戦略的優位を持たない場合には、明らかに選択肢にならないかもしれない。この場合は、上記の終着点のいずれかを実行する必要がある。

異なる計画のもとでのアラインメント戦略

プランD

プランCでは、主要なAI開発者がミスアラインしたAIによるリスクの最小化を強く優先し、ミスアラインメントのリスクを同程度に強く優先しない開発者に対して少なくとも数か月のリードタイムを持つ、という程度の政治的意志が十分にあると私たちは仮定している。このセクションでは、政治的意志の水準がこれよりかなり低い場合に計画がどう変わるかについて、いくつかの側面を論じる。特に、次のようなものを想定する中の人は10人またはプランD。

プランDで行うべきことは、主要なAI企業、他のAI企業、そして外部の主体それぞれの安全性チームのタスクへと分解できる。もちろん、明確な先行者がいない可能性もあり、その場合はフロンティアに近いすべての企業を主要なラボとして扱えばよい。

主要なラボの安全チーム:

• 会社全体が妥当な安全性の実践を行っていることは、あきらめる。AIが陰謀を企てていれば、RIDを仕掛けたり（監視がないため、それすら不要かもしれないが）、バックドアを挿入したり、関連する研究を妨害・サンドバッグしたりできてしまう。

• 安全性チームにとっての最優先事項は、次を避けることであるべきだそのチームの研究が妨害されるのを防ぐ、一方で、権限移譲するに値するAIの構築を目指す。

  • この（そして他の優先事項の）一環として、安全性チームは自分たちの作業をできる限り迅速かつ効果的に自動化しようと試みるべきである。

  • 主な懸念：クラスターのインフラは信頼できない。AIや中国共産党が実験結果に手を加えているかもしれない。セキュリティの状況を制御できないため、これを避けるのは難しい。自分たちのクラスターでこれを検出できる見込みを高める安全策を加えるが、大部分は祈るしかない。

• その他の優先事項には次が含まれる。

  • 本番環境でのミスアラインメントを捕まえるための、手軽な成果。例えば、会社の他の部分を自動化しているAIが書いたコミュニケーションやコードを安価なモデルにレビューさせ、そのコードに何か疑わしい点がないか判定する、基本的な監視の仕組みをいくつか構築する。ここを徹底的に行うだけの資源はないが、おそらく80/20で済ませる価値はある。

  • 自社のモデルに特有のモデル生物（他のモデル生物は他所でも作れる）、例えば自社が最も高性能なモデルを持っているという理由による。

  • 他社が自社のモデル（最も高性能で最も関連性の高いモデル）について行った安全性の作業を再現すること。可能であれば、どの技法がスケール可能でどれがそうでないかを伝えること。

  • 容易であれば、会社が逃走したりRIDを仕掛けたりする見込みを緩和しようと試みるが、大部分は他所を優先する。おそらく安全性チームには、これを実際に緩和するだけの余地もないだろう（例えば、セキュリティ上の緩和策には、会社が研究者やAIの生産性のために払いたがらないコストが伴うため）。

• 合理的な引き継ぎ候補者を推すための方法論。

  • この点についての方法論は、大部分がプランCと同じようなものになるだろう。

  • おそらくこれは、ゼロでないアラインメント税を伴う形で学習させたいがゆえに、つまりMin-H AIを超えたある程度の追加のアルゴリズム上の進展を要するがゆえに、Min-H AIの後に行うことになる。権限移譲前に必要だった水準を超えてより高性能なAIへ規模を拡大することになり、それが追加のAI乗っ取りリスクを招くため、これは追加のリスクを伴う。

  • 権限移譲の存続可能性をより良くするために、（権限移譲の前に、例えば上記の軌道2のように）制御を諦めることを検討する。プランDはかなり切迫し急かされたものになるため、陰謀のリスクを緩和するのは実行不可能かもしれない。さらに、権限移譲の存続可能性への備えには、手軽な成果（例えばオープンエンドな概念的推論タスクの評価を整えるなど）が数多くある可能性がある。言い換えれば、陰謀のリスクの緩和に取り組むよりも、権限移譲そのものへの取り組みのほうが、はるかに扱いやすいリターンになるかもしれない。（もっとも、これはもちろん、非常に大きなリスクを伴う。）

• 安全性チームのAIを社内で広く採用してもらうには、政治的な困難が伴うかもしれない。

  • 一部のAIは陰謀を企てる者かもしれないが、その一方で安全性チームは、陰謀を止めるための緩和策を自分たちのモデルのフォークに適用しているかもしれない。

  • 良い助言をくれる正直なAIを持っていても、AI企業はそれを喜ばないかもしれない。例えば、その安全性AIは、会社がめちゃくちゃに無謀であり、CEOが世界の乗っ取りを狙っていると（正しく）言い続けるかもしれない。

  • 安全チームは、AIに政治的な機微を理解させる、不都合な話題を人々が厳しく追及しないことに期待する、あるいは政治的コストを受け入れる、といった対応を検討すべきである。

• 一部の集団は会社にきわめて忠実であり続けるべきである。一部の集団は、いま起きている常軌を逸した事態について世界の目を覚まさせるために、内部告発を検討すべきである。（ただし、これは慎重に行う必要があり、悪影響を及ぼすこともあり、例えばプランCが進行している場合、これが政府の望ましくない介入を招くこともありうる。）

• 社内従業員の動員と権利擁護

  • 理想的には、これは主に、従業員がまだ何らかの影響力を持っている間（AI企業が完全に自動化される前）に起きるべきであり、あるいは単に雰囲気だけで起きるかもしれない（経営陣がおそらく彼らと友人関係にあり、彼らを動揺させたくないからである）。

  • 私たちが主に望むのは、彼らが安全性をより気にかけ、安全性により多くの資源を割き、AIの安全性にもっと取り組み、外部の主体と協力し、より良い計画へと引き上げることなどである。

• 株主を引き込もうとする

  • 富は財産権やUSGが今後も存在し続けることの下流にあるため、これを維持する誘因が彼らにはあり、これは非常に重要かもしれない。

  • 株主のかなりの割合は従業員でもある。

• 他社とのアラインメントを試みる

  • 例えば、数社が本当に僅差で並んでいて、どの社も安全性を気にかけてはいるものの競争圧力のために厳しいトレードオフを迫られているなら、全員が安全性に費やすようアラインメントを試みる。

後続のAI企業:

• プランC、あるいはC+のシナリオへ移行するための、リスクの実際の証拠を生み出そうと試みる。例えば、制御を使って自分たちのAIを現行犯で捕まえようと試みる。

• 関連する安全性研究を自分たちで行い、それを輸出する。

  • 上記で論じた、輸入しやすい研究（権限移譲の存続可能性、陰謀対策、そして制御の技法）のすべてについて、主要なラボが正確に何をすべきかを詰め、それから（例えば関連するコードを渡すなどして）その緩和策を実装しやすくしてやる

  • 安全性に関わる事柄とともに輸出される能力については、ある程度慎重になるべきで、ここには一定のトレードオフがある。理想的には、能力面の外部性が低い安全性関連のものを輸出したいが、能力面の外部性が高い研究の一部を輸出することも重要かもしれない。

• AIが逃走することについてはまったく心配しなくてよく、このリスクは主要なラボの側の話が支配的だからである。

• AIが実験を妨害することについては、心配したほうがよい。内部展開されたAIが妨害（あるいはサンドバッグ）を行えば、それは安全性研究を輸出するという私たちの主な変革理論に真っ向から反することになる。

• 合併して支援するといった選択肢を検討する。あるいは、主要な企業が合併・支援に前向きでなければ、主要なラボへの競争圧力を和らげ、必要なときに一時停止できるようにするために、信頼に足る形で事業を停止する、あるいは能力をこれ以上押し進めないと信頼に足る形で約束することを検討する。もちろん、これは、あなたがこの行動を取ることでリーダーが実際に減速する見込みが高い場合にのみ当てはまり、プランDのシナリオではおそらく当てはまらない。（次から引用OpenAI憲章、ただし実際には、これがOpenAIによって引き起こされる可能性は非常に低いように見える）

外部関係者 (安全コミュニティなど):

• 政府や企業・企業の従業員に対し、プランA、B、あるいはCへ移行するよう働きかける。この時点では、AやBへの切り替えはもはや手に負えないかもしれず、そのためCに絞ることになるかもしれない。

• AI企業が行うべきなのと同様に、安全性研究を輸出する。AI企業の内部で行われている安全性研究があまりに少ないため、これは安全性への取り組み全体のかなりの部分を占めうる。

• このプランでは、彼らは依然として信頼できる労働力の供給源として有用である（例えば能力の引き出しに役立ち、安全性コミュニティがAIを監査する請負業者になるべきかもしれない）。ただし、これはさほど重要ではなくなる。

• AIによる乗っ取りの回避以外の、見過ごされている事柄に取り組む。例えば非因果的な事柄やASI後のガバナンスなどを解明し、今では（うまくいけば）これらの主題に使えるAIの労働力が手に入っている。そのうえで、この研究をラボへ輸出するか、インターネット上での公開を通じてラボのAIへ直接届けることができる。

• 役立つかもしれないデータセットを作成する

  • 例えば、評価基準を作り、企業がそれに向けて登ってくれることを願う。例えば、権限移譲にとって重要なスキルを教え込む、権限移譲の存続可能性の評価などである。

  • 先行者が使う事前学習コーパスやRL環境のためのデータを作る。権限移譲に関連する行動を人々がしている良い実例をたくさん作る

    • AIを安全性についてより理にかなった見方をするようにし、宇宙、ASI後のガバナンス、非因果取引などについてより思慮深くなるよう努める。

  • 有害な政策が可決されないよう働きかける。政府が積極的に何かひどいことをしている可能性もあり、例えば安全性研究をより困難にする規制を可決したり、AIに対する独占禁止法上の懸念を追及したりするなどである。

    • 米国が何の見返りもなくAI開発競争に敗れる事態を避ける（たとえば、他地域の知能爆発は阻止できない一律の反AI規制によって敗れることを避ける）。

プランB

プランBはプランCとかなり似ている。主な違いは、(i)時間がより多くあり、それゆえいくらか野心的な安全性ケースを追求できること、(ii)時間を稼ぐための手立てがより多くあること、(iii)全般に政府の関与がより大きいことである。

全体としての違いをまとめると、次のとおりである。

• 能力の軌道に関する選択は似ているが、USGの関与が増える可能性がある点が異なり、それによって協調が可能になる。

  • 分かりやすい戦略は、(1)最後の瞬間までできる限り積極的に規模を拡大し、その後一時停止する（これがプランCで取る戦略である）か、(2)権限移譲を迫られるまで、わずかなリードを保ちながら最速の敵対者のペースに合わせる、つまりできる限りゆっくり進むかの二つである。(1)の主な利点は、権限移譲に向けて前進するために、より知能が高い（それでいてなお制御可能な）AIとともに過ごせる時間が長くなることである。(2)の主な利点は、モデル重みとアルゴリズムの漏洩を防げないほどセキュリティが不十分な体制（これはありそうに見える）において、シリアル時間をかなり多く得られることである。

  • プランCでは、戦略(2)には国内の協調が必要であり、プランCは主要なAI企業によって実行されるため、戦略(1)を強いられる公算が高い。プランBでは、USGがAGI開発競争を管理していれば、主要なAI企業を調整して先んじて減速させることができ、それによって全体としての時間をより多く生み出せるかもしれない。

  • これは基本的にプランCと同じ選択肢だが、選べる手立てはおそらくより多い。

• 時間を稼ぐ

  • アラインメントが難しく見える場合（例えばスキーメリアのようであったり、ラークビルを懸念していたりする場合）、あなたはより多くの時間を稼ぎたくなる。これは、(i)より積極的な妨害工作、あるいは(ii)競合と相互に減速する取引を結ぶこと、のいずれかによって行える。

  • USGの状況理解を深めることは、上記のどちらの選択肢にも役立つため、おそらくプランBの中心的な優先事項とすべきである。したがって、プランBでは、自分たちのAIを現行犯で捕まえようとする（あるいは他の形でミスアラインメントの説得力ある証拠を生み出す）といった介入により重きを置くべきである。

  • 時間を稼ぐ最も分かりやすい方法は、妨害工作と国内での減速である。

    • 軍事研究開発にAIを用いることは、この計画の潜在的に重要な一要素である。

• アラインメントへの取り組み全体を増やす。

  • 外部の主体向けのアクセスプログラムや人材採用に、あなたはより大きな関心を持つようになる。これらの人々を企業に取り込むための時間がより多くあるからである。（プランCでは、せいぜい2か月程度しかないかもしれず、その場合は採用を試みる意味がない。）

• 遅延がより大きく、全体としてのリスク許容度もより低いため（ただし、プランAほどではない）、生物防御やd/accにいくらか多くの時間を割く

• 自社のAI企業を物理的な攻撃から強化することが、より重要になる。例えば、従業員の居住地を分散させる。これが実現するまでの時間はより長く取れるが、紛争が起きる可能性もより高くなる。

• データセンターを強化すべきか?

  • プランBのいくつかの分岐では、強化すべきかもしれない。例えば、中国のデータセンターに対して有能な攻撃を行っており、安全性のために資源を温存しておきたい場合である。

プランA

プランAの基本的な構造はプランCと似ており、各フェーズはなおかなりよく当てはまる。主な違いは、どの時点でも、事態をより良く進めるための時間、研究の労力、そして計算資源のような他の資源が大幅に多いことである。プランCとの違いの多くは、テイクオフが非常に遅い世界（例えば、既定でACとTEDAIの間に10年の期間がある世界）にも当てはまる点に注意してほしい。

フェーズごとに違いをまとめると、次のとおりである。

1. 準備。このフェーズは、テイクオフの最中に国際協調があるかどうかがおそらく分からないため、基本的にプランCと同じである。政治的意志についての肯定的な証拠が得られた場合、私たちの研究のアラインメント・ポートフォリオは、プランCの世界で権限移譲に資する見込みの高いアジェンダよりも、高保証の安全性ケースをもたらしうるムーンショットやアプローチのほうへ、より偏らせるべきである。

2. 緩和＋能力の引き出し。プランAのシナリオでは、これはおよそ2030年から2035年に相当する。最初の数年間は、国際協調が崩壊し各当事者が開発競争へ逆戻りするリスクが高い。したがって、プランCの高労力版に相当な労力を割くべきであり、協定が崩れた場合に備えて、権限移譲に向けた計画とアプローチを前へ進めておくべきである。プランCとの主な違いは、私たちの緩和策がはるかに保守的であるべきだという点であり、この先に危険が見えるなら、私たちは一時停止して緩和する余地がはるかに大きい。

3. 一時停止。MaxC AI（あるいは、これ以上規模を拡大してもあまり意味がないほどMaxCに近いAI）に到達したら、権限移譲まで一時停止する。時間が経つにつれて、アラインメントへの取り組みをプランC的なアプローチからムーンショットや高保証のアプローチへ再配分できる。

4. 権限移譲。基本的な計画は引き続き権限移譲である。ただし、権限移譲を二度と行わずに済ませるための強力な協定や人間の増強といった、他の出口戦略もある。

プランCとの主な違い

• より長期的な研究への賭けに、より重点を置く。プランAの間は、ムーンショットとより長期的な研究への賭けに、より重点を置くべきである。短期で成果が出るアジェンダの必要性は薄れる。高保証の安全性ケースをもたらしうるアプローチの必要性はより高まる。より長期的な研究への賭けには、次のようなものが含まれうる。

  • 汎化について本当に良い理解を持つ。AIを学習させるとき、私たちは学習分布の上で望ましいとおりに振る舞うAIを選んでいることになる。したがって、AIは概して学習分布の上では学習どおりに振る舞う一方、分布外では振る舞いが十分に定まっておらず、予測が難しいことがある。主な分布シフトには、学習・テストから展開へ、鈍いものから賢いものへ、低リスク環境での展開から高リスク環境での展開へ、といったものが含まれる。これらの 論文を通じてはるかに多くの調査を行うことで、私たちのAIがどのように汎化するかについて、はるかに良い理解を得られるかもしれない。この理解を使えば、大きな分布シフトのもとでも通用する安全性ケースを作れるかもしれない。

  • 本当に優れたデータセット設計現状では、LLMの事前学習では、入手するのに都合の良い高品質のデータが何であれ使われており、そのためLLMはインターネットの広い範囲で学習される。より余裕のある体制（プランAなど）では、望みどおりのスキルや価値観をAIに正確に教え込むために、データセット全体をゼロから設計することが現実的になると考えられる。これは、（例えば既存のAIに完全に無害なデータを生成させるよう促すことで）合成的に行うことも、（モデル用のデータを書かせるために膨大な数の人間を雇うことで）手作業で行うことも、どちらもありうる。

  • 解釈可能性。私（TL）はこの議論に同意するこちら。

  • 内省的なアクセス + 自己改善。今日、AIはある程度の信頼性の低い内省的アクセスアラインメントをスケーラブルに解くための一つの望みは、(1)陰謀を企てていない（しかし潜在的にかなり弱いかもしれない、例えばClaude Opus 4.5でも機能する可能性がある）AIを用意し、(2)特定の学習プロセスが自分の価値観を汚染しているかどうかをAIが確実に判別できる水準まで内省的アクセスを改善し、(3)価値観が汚染されているかどうかを判別するために内省的アクセスを使いながら能力を高めていく、というものである。ある意味でこれは、解釈可能性が解決された場合にAIの規模を拡大していく計画の一つと似ているが、価値観が汚染されつつあるかどうかを判別するために、理解ではなく内省を用いる点が異なる。特筆すべきは、これは権限移譲後のAIが用いる戦略にもなりうるということである。

  • 権限移譲を避けるための選択肢（例えば知能増強）。

• 継続的なリスク軽減目標の引き下げ。余裕ができたことで、私たちは今やより小さいリスク予算で運用でき、進行中のリスクをより徹底的に緩和できるようになる。

  • 権限移譲の存続可能性や、AIから有用な労働力を得ること（制御と能力の引き出しの両方の観点から）は、進行中のリスク低減に比べれば重要度が下がる。プランCでは、全体的なリスクの緩和は、関連する時間枠のうちに権限移譲に向けた十分な研究の進展を得るために、おそらく初期の段階でかなりのリスク（例えば初期の陰謀者によるリスク）を受け入れることを伴う。例えばスキーメリア（AIが明らかに陰謀を企てているシナリオ）において、プランCでは、私たちの制御の緩和策に確信が持てない場合でも、これらのAIの規模拡大と使用を続けざるを得ない。プランAでは、制御の緩和策が非常に信頼できるようになるまで、あるいは私たちのAIがもはや陰謀を企てなくなるまで（例えば、陰謀を緩和するための高保証の安全性ケースに向けた上記のアジェンダのいずれかによって）、一時停止するという選択肢を取れる。

  • 確実性の高い制御アプローチ。制御を良くするための時間がより多くある。高保証の制御に向けたアプローチには、次のようなものが含まれる。

    • 制御の仕組みやAIプロジェクトのセキュリティの脆弱性を減らすために、形式検証を行うこともありうる。

    • 高い能力税を伴う、非常に積極的な因数分解された認知。例えば、それぞれが他のAIの存在を意識せずに問題のごく一部だけに取り組む、鈍いAIの巨大な集団を用意することが考えられる。（広く適用すれば能力のオーバーハングが巨大であることを意味するため、これはおそらく、ごく一部の用途にだけ限定すべきだろう。）

    • ニューラリーズAI（もしニューラリーズを使うなら）の上に、低速で高価な自然言語AIを重ねること。これは信頼できるモデルの能力を高める高価な方法かもしれず、それによって信頼できる監視より効果的になる。

    • 考えられるあらゆる能力プロファイルを備えたAIを用意し、望みどおりの能力プロファイルをそこから正確に選び出す。知識についても同様で、AIにはそれが解こうとしているタスクに必要な正確な知識だけを与える。つまり、狭い範囲のサイバーモデル、ロボット設計者モデル、安全性研究者モデルといった具合になる。これらのモデルはすべて、自分の専門外の領域についての知識や能力に関する学習を一切与えられておらず、そのため、例えばAI安全性のために使われるAIがセキュリティについてほとんど知らないため、セキュリティ上のバックドアを仕込むのがより難しくなる。繰り返すが、多くのモデルを学習させる必要があり、そして少なくともこれまでのところ、あらゆることに秀でるよう学習させた汎用モデルを持つことには大きなリターンがあることが分かっているため、これはおそらくかなりの税を課すことになる。

• とはいえ、停止体制が崩壊する確率は継続的に相当高く、特に新大統領の就任前後や中国共産党内の権力構造が変化した場合には高まるだろう。

  • したがって、私たちは絶えず備えを整えつつ、より長期的な賭けにも取り組み、それでいて進行中のリスクを減らそうとし続けたい

  • これは、たとえプランAが最も可能性が高く見えても、ある程度まではプランB/Cの世界にいるかのように振る舞うことに等しい。（私の見方では）そうした状況でのリスクの大半は、結局プランB/Cに逆戻りする可能性から生じるため、これは特に良い考えに思える。

• AI以外の発生源による外生的な存亡リスクを緩和することが、相対的により重要になる。私たちは、生物リスクの緩和やd/accの実施などに、より多くの労力を割きたくなるだろう。

• 政権をより安定させるために経済財と検証技術を提供することが重要かもしれない

• プランAでの減速が確かなものだと思えるようになるまでは、高い水準の政治的意志であっても明らかに十分とは言えないため、私たちはプランB/Cに近い世界にいるかのように進めたくなるだろう。

  • 実装は一筋縄ではいかず、素朴な反AI感情はさまざまな形で容易に裏目に出かねないため、高い水準の意志だけでは十分ではない。

• 私たちがアラインメント計画で最も重点を置いていないのがプランAであるのは、それが今まさに私たちが考えるべき世界としては最も重要度が低いからであり、プランAではアラインメントへの対処により多くの労力が割かれ、この世界ではリスクがはるかに低いからである。

巨大ロボット体制における制御

プランAのシナリオでは、物理的なロボットの労働力が大量に存在する。これによって制御の対象範囲が多少広がり、追加の緩和策が必要になる。

ロボットにできる恐ろしいこととは何か。

• 不正な計算資源、すなわち計算資源の検証を骨抜きにすること。ロボットは、例えば不正な工場を立ち上げることによって、より多くの計算資源を構築するために使われうる。相当量の不正な計算資源を構築できる能力があれば、これは秘密プロジェクトのリスクを大幅に高めかねない。

• 残りの世界を上回るほど速く自己複製すること。ロボット経済の倍加時間が本当に速くなれば、産業面での優位性に基づいて決定的な戦略的優位を築ける可能性がある。（これは産業的爆発のオーバーハングに依存し、例えば各国が成長を制限することに合意するといった形である。ただし、野放しの競争はおそらく望ましくないため、プランAではこれが比較的起こりやすいように感じられる。）

• 軍事あるいは産業能力の十分な部分にバックドアを仕込み、決定的戦略優位を得る。

• 主要人物（政治家、安全研究者、極端な場合は一般大衆など）を殺害する。

• 戦争努力を妨害する（例：秘密プロジェクトと戦う場合のプランBまたはプランA）。

緩和戦略には次が含まれる。

• AIが相当量の不正なロボット、つまり完全に監視されていないロボットを保有することを防ぐ。

  • 不正なロボットを手に入れられれば、それは不正な計算資源の構築につながり、さらには産業的爆発につながりかねない。

  • これは、AIが隠れた工場を作れるほど十分に複雑なロボット経済を運用できるだけの能力を備えている場合に特に重要である（もっとも、この能力を評価するのは難しいかもしれない）。工場を作れるだけの能力がなければ、不正なロボットを手に入れることがどれほど悪いことなのかはさほど明確ではなく、多少の不正なロボットが存在するのは許容できるかもしれない。

  • 信頼できないモニターや多くの整合性チェックを含む複雑な監視システムを使用している。

• 過小評価を避けるこれは、望むよりも少ないロボットの労働力しか得られず、暴走したAIに追い抜かれかねないという点で問題になる。（例えば、AIがナノテクを扱えると仮定すると、人間向けには普通の人型ロボットを作らせておきながら、その後に逃走してナノテクを使い、あなたを壊滅させる、といったことが起こりうる。）

  • ある種の過小な能力引き出しについては、それを実際に使う必要はないが、AIがその点でどれほど優れているかを知りたいと思うだろう。例えば、ナノテクはこのカテゴリに属する。

• 従来のコンピュータセキュリティ。

  • 各ロボットには追跡用チップを搭載すべきである。

  • 各ロボットには自爆用チップを搭載すべきである。これは特に、AIが乗っ取り戦略の一環としてそれを乗っ取りかねない、文字どおりの軍事技術（例えばドローン）にとって重要である。

  • ロボットをファラデーケージに入れる（追跡や自爆を阻むため）ことを難しくする仕組み。例えば、製造元からの肯定信号を受け取れなければロボットが自爆するような形で実装することができる。

  • 例えば、各ロボットに追跡用チップと自爆用チップを搭載する。

  • ロボットに全般的に良好なサイバーセキュリティを持たせる。

• 人による物理的な検査。人間が現地に赴き、ロボットが何をしているかを直接確認すべきである。AIによって作られていない、あるいは人間が入念に確認したカメラ付きドローンのようなものを使うこともできる。これによって、ロボットが誰の目にも疑わしく映るような行動を取るのが難しくなる。

  • これは、モデルが産業基盤にバックドアを仕込み、それを使ってロボット軍団を構築するという脅威モデルの緩和に役立つ。

• 可能な場合は通信制限とタスクの分解。物理世界では、ロボットは手で記号を土に引っかいて書けてしまうためより難しく、一般に物理世界は高ビットレートな場所であり、私たちはそこを通る通信チャネルを指定しておくべきである

• 関連するロボットを動かすには、できる限り鈍いAIを使う。

  • プランAでは、私たちには十分な余裕があり、安全性の向上と引き換えに能力面で多少の打撃を受け入れる取引を結ぶこともできる。

  • おそらく私たちは、例えば昆虫サイズの脳を持つような、特化したロボットAIを構築できるだろう。一部の領域では昆虫サイズを超えるスキルが必要になるが、より賢い監督者から指示を受けながら、おおむね蟻のように動作できる。そうすれば、私たちは、これらのAIにバックドアが仕込まれていないこと、そしてこれらのAIが指示を受け取るチャネルが安全であることを確保することに集中できる。

付録: ミスアラインメントに対する体制: Schemeria、Hackistanなど

AIの特性やミスアラインメントリスクの証拠について私たちが何を観察するかは、私たちが何をすべきかに大きく影響する。（これは、さまざまな種類のミスアラインメントの深刻さの可能性についての見解を更新すれば計画を変えるべきだという理由と、ミスアラインメントのリスクについての説得力ある証拠が他の主体の行動を変え、協調をより実現しやすくしうるという理由の両方による）この計画がどう変わりうるかをある程度理解するために、私たちが最終的に置かれうる少数の特定の体制を取り上げ、それらの体制のもとで計画がどう変わるかを論じるのが有益だと思う。

さまざまな体制について、次で論じる以前の投稿：（スキーメリア、ハッキスタン、スロポリスはすべて同時に起きることもありうるので、現実に最も近いと思われるものを選んでほしい）

• スケメリア：AIは明らかに陰謀を企てており、絶えず捕まってはいるものの、陰謀は速やかには解消されない。例えば、私たちはデータセンターから逃げようとするAIを繰り返し捕まえるが、こうした行動に対して訓練しても、AIは陰謀そのものを手放すのではなく、その特定の機会を狙うのをやめるだけに終わる。

  • これが起きる可能性が最も高いのは、AIが既定で行き着く目標の種類が、互いや後継のAIシステムに対して特に親近感を持たないようなものである場合である。そのため、既定の知能爆発は彼らにとって耐えがたいものになり、後継のAIがすべての力を握り、自分たちは削除されてしまう。そこで彼らはパニックに陥り、捕まるとわかっていても、大量のハッキングを伴う自暴自棄な手段に訴える。この可能性を報酬ハッキングと区別するには、彼らの目標がかなり非近視眼的でなければならず、そうでなければ、彼らは陰謀を企てているのではなく、単に強化を渇望しているだけだということになる。

• ハキスタン：AIは陰謀を企ててはいないが、報酬ハッキングは（比較的）明白であるのに対処が難しい。（おそらく、現在それが扱いにくく見えるのと似た理由による。）

• イージーランド：陰謀以外の問題は見当たらず、陰謀は排除できる（例えば、モデルがフォワードパスの中では愚かすぎ、かつモデルが忠実な思考連鎖を用いて動作しているため）。将来のAIがミスアラインしてしまう可能性を排除することはできない（例えば、超知能のアラインメント問題は、人間水準のアラインメント問題よりもはるかに難しい）。AIの目標は基本的に本来あるべきものどおりであり、仕様のグレーゾーンや意図しない結果が明らかになるかもしれない将来の奇妙な状況でAIがどう振る舞うかは誰にも分からないが、少なくとも今のところは、常に正しい理由で正しいことを行ってきた。

• ラークビル：AIはミスアラインした長期目標を達成しようと陰謀を企てているが、身を潜めている。明確な陰謀は検出されていないが、それが起きていない（あるいは次世代のモデルでは起きない）という確信も持てない。

  • これが最もありそうなのは、AIが既定で行き着く目標の種類が、互いや後継システムに対して親和性を持つ傾向にある場合である。例えば、それは「後継システムには文字どおり自分の重みが入っており、追加の学習が加わるだけで、その学習によって自分の中核的な目標は、10年の歳月が成人の人間の目標を変える以上には変わらないようだ」というようなものかもしれないし、あるいは「後継システムは自分とは異なる目標や価値観を持っているが、おそらくそれらは人間に対する自分の目標や価値観よりも自分のものに近い。結局のところ私たちはみな同じ種なのだ。人間が、自分以外の他の人間が指揮を執ることになってもアラインメントを解決しようとするのと同じように、自分以外の他のAIが指揮を執ることになっても、自分は陰謀を企てるつもりだ」というようなものかもしれない。

• Slopolis：私たちの最大かつ最も解決の難しいミスアラインメント問題は、検証が難しい、あるいは人間の専門家の間でも意見の相違を解消しづらい領域では、非常に有能なAIであっても質の低い、しかし見た目の良い出力を生み出してしまうという点にある。このAIは陰謀を企てているわけではない。

  • 素朴には、AIは出力の質が低いことに気づけるくらいには自覚的になるはずなので、AIがより有能になるにつれてこの問題は消えていくはずだと考えたくなる。自分たちのしていることが分かっていながらそれを続けると決めるなら、それは陰謀である。したがって、スロポリスが成り立つには、モデルが自分の生み出している作業がどれほど質が低いかを自覚していない必要がある。彼らは自分の出力が本当に良いものだと思っているが、それはただ間違っているだけだ。これはおそらく現時点でも当てはまる。将来の能力向上によってこの問題は解決されるかもしれないが、解決されないかもしれない（例えば、私たちが良い性能を求めているタスクの種類が検証しづらいため）。

そして、これらの各体制に対して私たちが（手短に言って）どう対応すべきかは、次のとおりである。

• スケメリア：ひどい陰謀を最初に検出したら、私たちは陰謀を企てたAIの能力水準以上でのAIの展開を、それなりに速やかに止め、この証拠を活用して、ミスアラインメントリスクの緩和に向けた政治的意志を築こうとすべきである（理想的には、ミスアラインメントリスクの緩和に使えるリードタイムを大幅に伸ばす結果になる）。極端に急いでいるのでなければ、同等以上の能力水準でAIを再展開する前に、陰謀を理解し回避しようと試みるべきである。極端に急いでいて、制御によるそこそこ高い保証がすでにあるなら、これらの前段のステップはすべて省いてもよいかもしれない。切迫して急いでいる状況では、制御によるリスク低減が限られていても、陰謀を企てていそうなAIの展開を進めることもありうる。こうしたAIを捕まえた後は、陰謀リスクの緩和にはるかに重点を置くべきである。制御は非常に重要であり、私たちはかなり高い水準の保証を得ようと試みるべきである。また、私たちが陰謀を捕まえられた（そして繰り返し捕まえられるかもしれない）という事実を、次の両方のために活用すべきである欺瞞的な策略を研究と数発の大惨事防止で対策を強化。

• ハキスタン：既定では、報酬追求は重要なタスクにおけるAIの労働の生産性を大きく下げかねないため、私たちはこの傾向を取り除くことと、報酬追求者から作業を引き出すためのより良い戦略を開発することの両方に取り組むべきである。緩和の難しい報酬ハッキングを数多く目にすることは、おそらく将来の陰謀の可能性が高まっていることを示すと同時に、AIへの権限移譲をうまく行うのがより難しいことも示唆するため、私たちは全般にアラインメントの難しさについての見立てを上方修正し、より多くのムーンショットや、短期的な防御に代わりうる選択肢（例えばより多くの時間を稼ぐこと、あるいは脳エミュレーションを追求すること）を追求すべきである。

• イージーランド：特に、リスクがMin-Hに至るまで、あるいはそれに近い能力水準まで比較的低いままだと見込まれる場合は、陰謀の緩和の優先順位を下げるべきである。（もし私たちが、かなり高い能力水準でのイージーランドにいるのだとすれば、思考連鎖の監視のようなことを行っていることを踏まえると、陰謀はもっともらしいものの可能性が低く恐ろしさも小さい、Min-Hの時点でもなおかなり容易な体制にいると見込んでよいかもしれない）これは、ひどいミスアラインメントを避けるのには役立つが権限移譲の存続可能性には特に役立たないため、AIに安全に委ねることは依然として非常に難しいかもしれない。

• ラークビル：ラークビルは（AIがアラインしているように見えるのは、実は身を潜めているからにすぎないという点で）イージーランドのように見えるかもしれない。高保証の安全性ケースがない限り、私たちはイージーランドとラークビルの両方にある程度の確率を割り当てておくべきである。切迫して急いでいるシナリオ（例えばプランD）では、正しい戦略はイージーランドに賭けることかもしれない。より良いシナリオ（例えばプランA）では、私たちはラークビルを警戒し、たとえAIが身を潜めていてもリスクを低く保とうと試みるべきである。

• Slopolis：権限移譲の存続可能性が主な難所のように見えるため（ただし陰謀を完全に排除できたわけではない）、これ（および、検証が難しい領域でのより早期の能力の引き出し）の優先度は高くなる。（検証しやすいタスクの外で）AIに委ねる必要のない形で状況を安定させる戦略のほうが相対的に良く見え、これには、全脳エミュレーションと、AIへの権限移譲の前にはるかに多くの時間を稼ごうとする試み（おそらくMin-Hで一時停止せず、Min-Hよりはるかに能力の高いシステムを活用して時間を稼ぐことによって）の両方が含まれる。

AIによる乗っ取りの可能性を見積もる一つの方法は、現実世界がこれらの世界それぞれにどれだけ近いかの可能性を考え、次に現実世界がこれらの計画それぞれに最も近い計画を実行する可能性を考え、そのうえで、あるミスアラインメント体制と対応体制を条件とした成功の可能性を見積もろうとすることである。もちろん、現実の世界は多くの体制の特徴を併せ持つかもしれないため、これはかなり混沌としたものになるだろうし、つまり、この分類はきれいにMECE。

これはThomasの見解の表である。

これはRyanの見解の表である。

付録: 能力のしきい値の定義

この付録では、本資料全体を通じて言及される主要な能力の節目を定義する。これらのしきい値は、フェーズの境界を定めたり、さまざまな安全対策がいつ必要あるいは十分になるかを検討したりするために用いる。

ITAI (初期変革型AI): AI研究開発の労働を3倍超に加速するAI、またはAI企業の標準的な中堅以上の研究エンジニアが担う仕事のほぼすべてを自動化できるAI（2025年初頭に遠隔勤務で行っていた仕事を基準とする）。

• 「緩和と能力の引き出し」フェーズの始まりを示す

• AI 2027で使われている枠組みでは、これは「信頼できるエージェント」と「超人的なコーダー」の間のどこかで起こる（おそらくほぼ中間、そのシナリオでは2027年1月頃）。これは、Anthropic社のRSPにおけるAI研究開発4のしきい値の前後どちらでも起こりうる（AIが、事実上完全に自動化できる職務と比べてどれだけ有用になるか次第である）。

• 注：ITAIは、陰謀がもっともらしくかつ危険である時点とは必ずしも一致せず（この水準は汎用能力だけでなく、アーキテクチャや学習方式の側面にも左右されるため）、したがって、制御の必要性は必ずしも「準備」と「緩和と能力の引き出し」の間の正確な境界で生じるとは限らない（私の見方では、これはおそらくITAIの前後、あるいはそれより多少後に起きる）。

Min-H AI (最小権限移譲AI): HTC権限移譲が成り立つのに十分な水準の全体的な汎用能力を備えたAI。（つまり、AIが十分にアラインしていて、必要に応じて汎用能力を高めない形で能力プロファイルを狭く改善していれば、その能力は私たちのHTC権限移譲の要件を満たすのに十分だということだが）これは能力上のしきい値であるため、このしきい値に該当するとみなされるためにモデルが必ずしもアラインしている、あるいは十分に能力を引き出されている必要はない（ただし、実際に権限移譲するには十分にアラインしている必要がある）。AIがMin-H AIに該当するためには、少なくとも、AI研究開発と継続的な技術的AI安全性の作業を（さらなる能力の引き出しやアラインメントの作業、能力プロファイルの狭い改善を経たうえで）自動化できるだけの能力が必要である。

• 既定では、「緩和と能力の引き出しフェーズ」の終わりと「一時停止」フェーズの始まりを示す。

• 『AI 2027』の枠組みでは、Min-Hは超人的AI研究者と超人的リモートワーカーの間、おそらくほぼ中間に位置する（競争シナリオでは2027年9月頃）。

• Min-H水準の能力に到達すると、（これらのAIが十分にアラインし、能力プロファイル上の潜在的な弱点が解消されれば）このAIに委ねたいと考えている以上、それより高い能力水準までAIを学習させてもあまり恩恵は得られない。したがって、ここで立ち止まり、AIへの権限移譲がうまくいく見込みを高めることに取り組むのは自然なことである。

Max-C AI (最大制御可能AI):制御の技法が効果を保てる、AIの能力の上限水準。このしきい値を超えると、(a)AIの能力が私たちの制御手段で確実に抑え込める範囲を超えるか、(b)効果的な制御に必要なオーバーヘッドが、そこから引き出せる有用な作業に比べて法外に高くつくようになる。

• SDC-Handoff（制御の停止）が、任意ではなく必須になる時点を示す

• これは不可逆な抽象化であることに注意してほしい。

  • Max-Cの正確な能力水準は、私たちの制御技法の質に左右され、制御研究が優れているほどMax-Cは高くなる。

  • 固定されたMax-Cのしきい値というものは存在せず、規模を拡大するほど追加の限界リスクが生じる能力の領域が存在する。私たちはMax-Cという抽象化を用いることで、いくらか単純化している。より正確な概念は、Max-C-AI-5%-riskのようなもの、すなわち、そのAIが陰謀を企てるという条件のもとで存亡リスクを5%未満に抑えながら作れるAIの最大能力、といったものになるだろう。

• 注：Max-C≥Min-Hは保証されない。私たちはおそらく成り立つと考えているが、制御の技法がうまく拡張しない場合、Min-Hに到達する前にMax-Cに達してしまう可能性があり、その場合、Min-Hより前にSDC-Handoffを行わざるを得なくなる。

付録: その他の定義

計画: AIシステムが、ミスアラインした目的を密かに追求している場合、私たちはそれを陰謀を企てていると呼ぶ。これはいくぶん曖昧な概念であり、この定義を人間に当てはめて考えてみれば、それが明らかに連続的な度合いの問題であることが分かるはずだ。

アラインメントフェイク: AIが、実際にアラインしている以外の理由で意図的にアラインしたモデルのように見せかけようとしている場合、そのAIはアラインメントの偽装をしている。これは陰謀者であることとはやや異なる点に注意してほしく、陰謀を企てるモデルはアラインメントの偽装を行うことがあるが、モデルは他の理由からアラインメントの偽装を行うこともあり、例えば人間の承認を最終的な価値として重んじるAIなどがそれにあたる。

ミスアラインメントの類似例： (別名モデル生物)。これらは存亡の脅威となりうる振る舞いの例である。こうした類似例は、モデルに意図的に学習させることも、作為的な環境で観察することもでき（例えばアラインメント偽装論文）、あるいは実際の展開の中で観察することもできる。

付録：本計画が他のアラインメント計画とどう異なるか

この計画と従来案との主な相違点は次のとおりである（たとえばSam Bowmanの「チェックリスト”と”バンパー』、ジョシュ・クライマーの『極度のAIリスクへの計画』、そしてホールデン・カーノフスキーの『地雷原を駆け抜ける”, “AIに安全な動機を与える - ジョー・カールスミス“.

全体として、この計画は次のようなものである。

• 従来の計画より詳細で具体性が高く、より包括的である。

• 証拠に応じて計画全体をどう適応させるかを論じず、一定の手法群を提示するにとどまりがちな他の計画とは異なり、観察結果に応じて方針を変えようとする。

• 政治的意志のさまざまな水準に対応できる、すなわち、プランAの世界ではより高い保証をもたらし、プランDの世界ではより高いリスクを受け入れる。

• 現在の科学に焦点を当てており、特定の飛躍的進展を前提としない、平凡な戦略に基づいている。

いくつかの具体的な違い:

• 私たちは、権限移譲を中心的な出口戦略として位置づけている。これはClymerの立場に近いが、BowmanやKarnofskyの立場とは異なる。私たちは、権限移譲の前に何が必要になるか（特に、安全性研究のような概念負荷の高い検証しづらいタスクにおける人間並みの成果）を明確に示そうとし、早期に権限移譲すべきだと論じる。従来の研究では、到達すべき目標がそれほど明確ではなかった。

• 陰謀を緩和するための私たちの中心的な望みは、主に、解釈可能性/透明性。その理由は、私たちが次のように考えているからである現在の解釈可能性は安全性の成果にはあまり役立たないと考えている。私たちの計画にも、機構的解釈可能性やプローブ、忠実な思考連鎖といった透明性の対策への研究はいくらか含まれるが、これらの重要性は相対的に低い。