AGIプロジェクトは透明性をめぐって重要な決定を迫られる。誰がアルゴリズム上の秘密を見られるのか。何が行われているかを確信できるだけのデータセンターへのリアルタイムのアクセスを、誰が得るのか。進行中の実験や学習実行を誰が、どれだけの遅れで把握できるのか。本稿では、プランAにおける透明性について、現時点での私たちの考えを述べる。

まず、透明性の基本要件、つまり透明性の提案のうちプランAの中核をなす側面を論じる。プランAの根幹は、AI開発の安全を確保するための、信頼に依存しない米中協定だ。そのためには、相手が合意を守っていることを検証できるだけの、最低限の米中間の透明性が欠かせない（詳しく）。

次に、これらの要件を満たしうる透明性の体制を概観する（詳しく）。

続いて、私たちが最も推す提案である「研究の完全な透明性」を詳しく説明する。この提案では、アルゴリズム上の秘密、実験、学習実行のほぼすべてが、ただちに一般に公開される（詳しく）。

最後に、取り上げた各提案のトレードオフと、透明性が有益である理由を分析する。私たちが研究の完全な透明性を推奨する最大の理由は、プランAのもとでの政府と企業の意思決定が改善されることだ。意思決定の失敗は、現時点で私たちが最も懸念している失敗のパターンでもある。二番目に重要な理由は、企業や政府が権力を濫用するのがはるかに難しくなることだ（詳しく）。

透明性の基本要件

プランAにおける透明性の提案は、どれも次の要件を満たす必要がある。

1. 信頼に依存しない検証。 米国と中国は、信頼に頼らずに減速協定を検証できなければならない。具体的には、米中両政府が、計算資源の使われ方を把握できる必要がある。

2. 国家レベルの敵対者にも耐えるモデルの重みのセキュリティ。 モデルの重みの流出は防ぎたい。重みが流出すれば、(1) 秘密プロジェクトが大きく加速し、(2) 悪用のリスクが高まるからだ。どちらも必ずしも致命的ではないが、ぜひとも避けたい。汎用的な能力が人間のトップ専門家と同等かそれ以上のAIが登場する段階になれば、モデルの重みのセキュリティはおそらく不可欠になる。

3. フロンティアAIへの消費者のアクセスを維持する。 AIモデルを直接使えることは、おそらく最も重要な形の透明性だ。評価の結果やモデルの振る舞いの大まかな説明を見ても、モデルを直接使うのに比べれば得られる情報はずっと少ない。

四つの透明性の提案

透明性については有力な候補が四つあり、いずれも上記の要件を満たす。提案1〜3はさらにプランAとも両立するが、提案4はプランSでしか成り立たない。

提案1：研究の完全な透明性。 すべてのフロンティアAIプロジェクトについて、AIのアルゴリズム、コード、ドキュメントを含め、AI研究のほぼすべてを一般に完全に公開する。AIモデルの重み、学習データのかなりの部分、その他の機微な情報のごく一部は、データセンターの外に出さない。

提案2：フィルタリング型透明性。 AI研究のほぼすべてを、研究者と計算資源の両方を囲い込む物理的なセキュリティ境界の内側で行う。境界の内側では、米国と中国の監査官が協定を検証するのに十分なアクセスを持つ。データセンターの外に出てよいのは次の三つだ。(1) 内部で何が起きているかについて双方が承認した（一部を伏せた）報告書、(2) 推論用データセンターへ送られるモデルの重み、(3) 研究者自身。伏せる度合いは調整できる。ほとんど伏せなければこの提案は提案1に近づき、最大限伏せれば提案3に近くなる。

提案3：アルゴリズムのセキュリティ。 アルゴリズム上の秘密の持ち出しを防ぐ必要が生じるかもしれない。そのためには上記のセキュリティ境界をさらに厳しくしなければならない。AIデータセンターに人が日常的に出入りしていれば、アルゴリズムの大半はほぼ確実に本国の政府へ報告されてしまう。同様に、フィルタリングされた報告書も、ステガノグラフィーで符号化したモデルの重みを持ち出す経路になりうる。この提案では、フロンティアAIの研究はすべて安全なデータセンターで行い、研究者と監査官はその場に常駐し、外に出ることも情報を外部へ伝えることも禁じられる。モデルの重みは、研究開発用データセンターから推論用データセンターへ移すことが認められる。外に出せる情報があまりに限られるため、外部の主体は内部に対して意味のある監督を行えない。つまり、データセンター内の監査官に「信頼を委ねる」ような形になる。

提案4：すべてを停止する。 具体的には、計算資源を大量に使うAI研究開発を禁止する。この提案のもとでは大規模なAI研究開発が存在しないので、AI研究開発の透明性も必要ない。計算資源の申告と物理的な査察によって執行できる（クラスターへのデジタルなアクセス、つまりアルゴリズムの共有は必要ない）。MIRIの提案に近く、『AI 2040』のシナリオで2029年に約6か月間実際に起きたことでもある。

各提案のおおまかなトレードオフを次の表にまとめる。

プランAについて、私たちは現時点で研究の完全な透明性を推奨している。理由は多いが、最大の理由は、外部の研究者や一般の人々がセーフティケースを批判的に検討できれば、それが妥当に分析される見込みがはるかに高くなることだ。提案2・3と比べた主な欠点は、アルゴリズムのセキュリティが弱く、おそらくアルゴリズムが秘密プロジェクトへ漏れることだ。とはいえ、アルゴリズム上の秘密をSL5で守るのはとてつもなく難しいと私たちは考えている。そこで、アルゴリズムの流出への主な対策は、そもそも新たなアルゴリズム上の秘密を生み出させないことになる。

研究の完全な透明性

この節では、研究の完全な透明性の具体的な実装案の一つを論じる。これはプランAで実施される実装に対応する。

この提案では、データセンターが2種類ある。

• 推論用データセンターは、許可リストに載ったモデルによる推論だけを提供する。一般消費者向けのチャットボット、エージェントの処理のほぼすべて、ロボット基盤モデルの推論などをここで動かす。データセンターにはどんなリクエストでも送り込めるが、外に出てよいのは検証済みのAIモデルの出力だけなので、モデルの重みは守られる。

• 研究開発用データセンターでは、学習実行や実験、つまり新しいモデルの重みを生み出すのに必要なあらゆることが認められる。先に述べた「透明なデータセンター」がこれに当たる。知能爆発に使われうるため、推論用データセンターよりはるかにリスクが高い。

AI研究開発用データセンターの情報は、次のように整理される。

• 不透明な内部データベースには、公開すべきでない情報がすべて入る。モデルの重み、活性、一部のデータセット、一部のハイパーパラメータなどだ。このデータベースの情報は、内部の人間も外部の人間も直接見られない。

• 透明な内部データベースには、それ以外のすべての情報が入る。すべてのコード、AIの思考の連鎖、プロンプトなどだ。ただし、一般の人々や、AI研究開発用データセンターのセキュリティ境界の内側に物理的にいないAI研究者は、直接アクセスできない。

• 透明な公開データベースには誰でもアクセスできる。研究開発用データセンターに出入りするすべての情報の記録だ。AI研究者が研究開発用クラスターを操作したすべての活動と、何らかの情報を見たいと考える一般の人々による追加の問い合わせを記録する。たとえば、AIに内部データベースを調べさせ、特定の研究分野の現状について短い報告書を書かせたい人もいるだろう。

透明な内部データベースにある情報は、誰かが求めれば、どれも透明な公開データベースに出てくる可能性がある。それでもすべての情報が公開データベースへ流れ出ないのは、外部への出力を毎秒約1メガバイトに制限するアップロード上限があるからだ。これは、不透明な情報の持ち出し（特にモデルの重みの持ち出し）に対する防御の一層になる。出力帯域幅はオークションで継続的に割り当てられ、出ていくデータはすべて、インターネット上の誰でも自由にアクセスできるデータベースにも複製される。実際には、アルゴリズムのほぼすべてがただちに公開されることになる。

研究開発用データセンターは、今日の世界と同じく、引き続きテック企業が所有・運営する。実際には、各研究開発用データセンターはデータセンター群からなるキャンパスで、その中に複数のテック企業のデータセンターがある。米中両政府は、それぞれの監査官と監視装置によって、キャンパス内の各テック企業のデータセンターが活動のログを作成し、不透明な内部データベースと透明な内部データベースに送るようにする。

一般の人々を含め誰でも、研究開発用データセンター内の計算資源を購入し、フロンティアAI企業の研究者と同じ水準でフロンティアAIの開発にアクセスできる。たとえば、学習途中のモデルのチェックポイントで実験を行ったり、学習中の損失曲線を見たり、AIに望みの分析を実行させたりできる。

推論には三つのリスク階層がある。

• 極めて高いリスク： AI研究開発に使うAIは研究開発用の計算資源に直接アクセスする必要があるので、推論用データセンターではなく研究開発用データセンターで動かす。これによってセキュリティを上乗せすることもできる。こうしたAIには、慎重に設計された制御プロトコルが課される。

• 高いリスク： 危険な領域での構築（ロボットの構築、GPUや半導体製造装置の構築など）に使うAI、または危険な領域での研究（人工的に作り出されたパンデミックに関わる研究など）に使うAI。これらは推論用データセンターで動かし、高リスク領域で動作するAIが生成した軌跡を記録しなければならない。

• 比較的低いリスク： それ以外のあらゆる用途に使うAI。大半の一般消費者向けの利用（チャットボットとしての利用など）や、大半の業務利用（医療・法律・建築などでの利用）が含まれる。これらはデータを保持しないゼロデータ保持（ZDR）で動かすことが認められ、プライバシーを最大限に守れる。今日の標準的な慣行と同じく、ZDRで動くAIであっても、要求の拒否や悪用防止の分類器の対象にはなる。ただし、本当の意味でのZDRで動かせるのは、フロンティアより遅れたAIだけだ。詳しくは検証に関する補足資料で論じている。

高いリスクと比較的低いリスクの推論は推論用クラスターで行い、極めて高いリスクの推論は、AI研究開発用クラスターの中の、推論専用であることが検証された計算クラスターで行う。

安全性研究者がアクセスできるように、高リスクの軌跡はすべて、ZDRでない低リスクの軌跡は一部が、推論用データセンターから研究開発用データセンターへ物理的に（護衛付きで！）運ばれる。

フィルタリング型透明性

フィルタリング型透明性では、AI研究者はセキュリティ境界の内側に物理的にとどまり、情報がこの境界を越えて漏れないようにする。さらに研究開発用データセンターの内部には、検証を行い、安全性について判断を下すのに十分なアクセスを持つ監査官もいる。

情報が境界の外へ出る経路は次の三つだ。

1. モデルの重み。 研究の完全な透明性と同じく、モデルの重みは研究開発用データセンターから推論用データセンターへ渡す必要がある。モデルの重みは非常に大きいので、この経路は高帯域でなければならない。

2. 監査官の報告書。 監査官は研究開発用データセンター内部の進捗について報告書を書く。現在の能力や、現在のアーキテクチャについての安全性に関わる情報などだ。これらの報告書の一部を伏せた版を公開することもできる。

3. セキュリティ境界の外に出る人間。 人間の研究者は定期的にセキュリティ境界に出入りする。アルゴリズムがデータセンターから持ち出されるのは、主にこの経路からだと私たちは見ている。

セキュリティ境界の内側へ入る情報には制限がない。

研究の完全な透明性と同じく、研究開発用データセンターと推論用データセンターがある。そのため、最も重要な形の透明性の一つである、フロンティアAIモデルへの幅広いアクセスが確保される。研究の完全な透明性と比べたフィルタリング型透明性の主な欠点は、AI研究開発に関わるセーフティケースを完全に公開し、科学的な精査にかけられない点だ。代わりに、セキュリティ境界の内側にいる比較的少数の研究者が、各セーフティケースの誤った前提をすべて見つけ出し、適切な評価を下し、十分な研究の進展をあげる、といったことを期待するしかない。

アルゴリズムのセキュリティは、フィルタリング型透明性の極端な形に近い。その中心にある考え方は、プロジェクトの内部ではアルゴリズムの進歩を認めるが、それを外に漏らさない、というものだ。アルゴリズムの進歩は記憶して持ち出せる場合が多いので、これは極めて難しい。

したがって、主な違いは、「アルゴリズムのセキュリティ」の提案では人間がセキュリティ境界を越えるのを防ぐ必要があるという点にある。それによって、原理的にはアルゴリズム上の知見を守れる。

どの提案がどんなときに望ましいか

研究開発の透明性の提案を選ぶうえでの主な軸は、秘密プロジェクトと不十分な規制のどちらをより懸念するかだ。透明性を高めれば、漏れるアルゴリズムが増えて秘密プロジェクトを後押しする一方で、AIプロジェクトに対する公的な監督が改善し、AI規制の質の期待値も上がる。

全体として、私たちは秘密プロジェクトより不十分な規制のほうが懸念が大きいと考えており、そのため研究の完全な透明性を推奨する。

提案4では新しいAIモデルを開発できない。つまり、プランAではなく、プランSの一部としてしか機能しない。プランAとプランSのどちらを選ぶかは、主に他の要因で決まる。それらの要因はプランSの分岐で詳しく論じている。

各提案でアルゴリズムはどれだけ漏れるか

このスペクトル上の最適な政策は、各提案のもとでアルゴリズムの進歩がどれだけ漏れるかという定量的な要因によって決まる。それは、アルゴリズムの進歩のうち、透明になる種類のもの（アーキテクチャの改良など）がどれだけを占め、大規模なデータセットの改良がどれだけを占めるかにかかっている。現時点での（非常に大まかな）最善の推測として、各提案で漏れる割合を次のように見積もる。

この推定の根拠はこちらで見られる。私たちはセキュリティの専門家ではないので、専門家が独自の予測を立ててくれたらうれしい。特に、より細かい予測（アルゴリズムがどれくらいの期間で漏れるかを含むものなど）を歓迎したい。

研究の完全な透明性の利点

この節では、制御の喪失のリスクと権力集中のリスクを減らすうえでの透明性の利点を論じる。基本的には次の図の説明だ。

図では、プランAの最も重要な二つの政策介入を青で示している。最も重要な二つの目標、つまり制御の喪失の防止と、極端な権力集中の防止は緑で示している。矢印は因果関係を表す。

この図はある意味でプランAの要約だが、特に透明性の利点を描くことに偏っている。

ここで図全体を説明することはしない。代わりに、図に描かれた研究の完全な透明性の七つの利点と、さらに八つ目の利点を順に取り上げる。それぞれについて、より弱い形の透明性でも、同様の（ただしより弱い）利点が得られることを述べる。

AIの発展は、予見できるものもできないものも含め、多くの問題を引き起こす。AI開発の透明性を高めれば、平均して、何が起きているかについての社会全体の認識の質と理解が高まる。

研究の完全な透明性の欠点

提案2・3と比べた、研究の完全な透明性の主な追加の欠点は次のとおり。

• 研究の完全な透明性は「安全対策の見せかけ」を助長するおそれがある。 AI安全性研究の中には、進めればAI企業の印象が悪くなりうるものがある。モデルの不正な振る舞いの評価などだ。研究の完全な透明性のもとでは、結果を隠す手段がないので、こうした研究が敬遠されるかもしれない。一方、たとえばフィルタリング型透明性なら、結果を共有する相手は監査官や他社といったより狭い範囲にとどまる。

• 先頭のAI企業や米国の行政府の大部分は、おそらくこれを嫌う。 企業は、競合他社に追いつかれるのを嫌うだろう。アルゴリズムを主な堀としている企業なら、なおさらだ。政府は一般に、地政学上のライバルに、自国に不利に使われうる情報へのアクセスを与えるのを避ける。そのため、先頭のAI企業と米国の行政府の多くの部門は、おそらく研究の完全な透明性に反対する。

---