AGIプロジェクトは、次の点について重要な判断を迫られる。透明性――誰がアルゴリズム上の秘密を閲覧できるのか、誰がデータセンターの活動を確実に把握できるほどリアルタイムにアクセスできるのか、誰が進行中の実験や学習実行をどの程度の遅延で把握できるのか。本稿では、プランAにおける透明性について、現時点での考えを示す。

まず、プランAの中核となる透明性提案の要件を論じる。プランAの根幹は、AI開発の安全性を確保するため、相互の信頼を前提としない米中協定を結ぶことであるため、相手が協定を守っていると検証できる最低限の相互透明性が必要になる。（詳細）.

第二に、これらの要件を満たし得る透明性体制を概説する。（詳細）

第三に、最も有望と考える「研究の完全な透明性」を詳しく説明する。この提案では、アルゴリズム上の秘密、実験、学習実行のほぼすべてを直ちに一般公開する。（詳細）.

最後に、提示した各案のトレードオフと、透明性が有益な理由を分析する。研究の完全な透明性を推す最大の理由は、プランA実施中の政府と企業の意思決定を改善できることにあり、意思決定の失敗は、現時点で最も懸念している破綻要因である。二番目の理由は、企業や政府による権力の乱用を大幅に難しくできることだ。（詳細）.

透明性に求める基本要件

プランAの透明性案は、次の要件を満たす必要がある。

1. 信頼を前提としない検証。米国と中国は、相互の信頼に頼らず減速協定を検証できなければならない。そのため、特に両国政府が、計算資源の用途を把握できる必要がある。

2. 国家級の攻撃者にも耐えうるモデル重みのセキュリティ。モデル重みが漏洩すれば、（1）秘密プロジェクトを大幅に加速し、（2）悪用リスクを高めるため、漏洩は防ぎたい。どちらも必ず破局につながるわけではないが、可能な限り避けるべきである。AIが人間のトップ専門家と同等以上の汎用能力を持つ段階では、モデル重みの保護が必要になるだろう。

3. 消費者によるフロンティアAIへの継続的なアクセス。AIモデルへの直接アクセスは、おそらく最も重要な透明性の形である。評価結果やモデル挙動の概要を見るだけでは、モデルを直接使う場合に比べて得られる情報がはるかに少ない。

四つの透明性案

透明性には四つの実行可能な候補があり、いずれも上記の要件を満たす。提案1から3はプランAと両立するが、提案4はプランSでしか機能しない。

提案1：研究の完全な透明性。すべてのフロンティアAIプロジェクトについて、アルゴリズム、コード、文書を含むAI研究のほぼ全体を一般公開する。一方、AIのモデル重み、学習データの相当部分、その他少量の機密情報はデータセンター外へ持ち出せない。

提案2：限定公開型の透明性。AI研究のほぼすべてを、研究者と計算資源の双方を収容する物理的なセキュリティ境界内で行う。その内部では、米中の監査官が協定を検証するのに十分なアクセス権を持つ。データセンター外へ持ち出せるのは三つである。（1）内部の活動について双方が承認した、一部編集済みの報告書、（2）推論用データセンターへ送るモデル重み、（3）研究者本人であり、編集の程度は調整でき、最小限なら提案1に近づき、最大限なら提案3に近づく。

提案3：アルゴリズムの機密保護。アルゴリズム上の秘密の持ち出しを防ぐ必要が生じるかもしれない。これには上記のセキュリティ境界を強化する必要があり、AIデータセンターへ人が頻繁に出入りすれば、ほぼすべてのアルゴリズムが各国政府へ報告されるとみるべきである。同様に、フィルタリング済み報告書も、モデル重みをステガノグラフィーで符号化して持ち出す経路になりうる。この案では、フロンティアAI研究のすべてを安全なデータセンター内で行い、研究者と監査官は常駐して、退出も外部への情報伝達も認めない。モデル重みだけは研究開発データセンターから推論データセンターへ移送できる。外へ出せる情報が極端に限られ、外部主体が内部を実質的に監督できないため、これはデータセンター内の監査官へ「信頼を委ねる」に近い。

提案4：全面停止。具体的には、計算資源集約型のAI研究開発を禁止する。この案では大規模なAI研究開発を行わないため、その透明性も必要ない。計算資源の申告と物理的検査で執行でき、クラスターへのデジタルアクセス、すなわちアルゴリズムの共有は不要である。MIRIの提案に近く、AI 2040のシナリオでも2029年に約6か月間実施されている。

各案のおおまかなトレードオフを次の表に示す。

プランAでは複数の理由から研究の完全な透明性を推奨し、最大の理由は、外部研究者や一般市民が安全性ケースを批判的に検討できれば、妥当な分析が行われる可能性が大幅に高まることである。提案2と3に比べた主な欠点は、アルゴリズムの機密性が低く、秘密プロジェクトへ漏れる可能性が高いことである。しかし、アルゴリズム上の秘密をSL5水準で守るのは極めて難しいと考える。そこで、漏洩への主な対策として、新たな秘密アルゴリズムがそもそも開発されないようにする。

研究の完全な透明性

本節では、プランAで採用する研究の完全な透明性について、具体的な実装案を説明する。

この案では、データセンターを二種類に分ける。

• 推論データセンターホワイトリスト登録済みモデルによる推論だけを提供する。これらのデータセンターでは、消費者向けチャットボット、ほぼすべてのエージェント・ワークロード、ロボット基盤モデルの推論などを動かす、任意の要求を入力できる一方、外部へ出せるのは検証済みのAIモデル出力だけとし、モデル重みを保護する。

• 研究開発データセンター学習実行や実験など、新しいモデル重みの生成に必要な作業をすべて行える。前述の「透明なデータセンター」に当たる。知能爆発に利用できるため、推論データセンターよりはるかにリスクが高い。

AI研究開発データセンターの情報は、次のように管理する。

• 一つ目の非公開内部データベース公開すべきではないすべての情報が含まれている。これには、モデル重み、アクティベーション、一部のデータセット、および一部のハイパーパラメータが含まれる。人間 (内部または外部)は、このデータベース内の情報を直接見ることはできない。

• A透明な内部データベースすべてのコード、AIの思考連鎖、プロンプトなど、その他すべての情報が含まれているが、AI研究開発データセンターのセキュリティ境界内に物理的にいない一般の人々やAI研究者は、直接アクセスできない。

• A透明な公開データベース誰もがアクセスできる。これは、研究開発データセンターに出入りするすべての情報の記録である。研究開発クラスターと対話するAI研究者のすべての活動と、何らかの情報を見たい一般人による追加のクエリが記録される。たとえば、内部データベースを調べて、特定の研究分野の状況について短いレポートを書くようにAIに依頼したい場合がある。

誰かがその情報を要求した場合、透明な内部データベースにあるものはすべて、透明な公開データベースに保存される可能性がある。ただし、すべてが公開データベースに流出するのを阻止するのは、流出する情報 (特にモデル重みの流出)に対する防御層として、送信される情報を最大1メガバイト/秒に制限するアップロード制限である。アクセスを割り当てるための送信帯域幅のオークションが進行中であるうえ、すべての送信帯域幅はインターネット上の自由にアクセスできるデータベースにもコピーされる。実際には、これは、ほぼすべてのアルゴリズムが即座に一般に公開されることを意味する。

今日の世界と同様に、研究開発データセンターは依然としてテクノロジー企業によって所有および運営されている。実際、各研究開発データセンターは実際にはデータセンターのキャンパスであり、その中にいくつかのテクノロジー企業のデータセンターが配置されている。米国と中国の政府は、それぞれ監査員と監視装置を配置し、キャンパス内の各ハイテク企業のデータセンターが内部の不透明なデータベースと内部の透明なデータベースに送信される活動のログを作成することを保証している。

一般人を含む誰でも、研究開発データセンター内の計算資源を購入でき、フロンティアAI企業の研究者と同じレベルでフロンティアAI開発にアクセスできる。たとえば、一般の人々は、中間モデルのチェックポイントで実験を実行したり、トレーニング中に損失曲線を確認したり、AIに希望の分析を実行するよう依頼したりできる。

推論を三つのリスク層に分ける。

• 極高リスク： AI研究開発に使うAIは研究開発用計算資源に直接アクセスする必要があるため、推論データセンターではなく研究開発データセンターで動かす。そこでは慎重に設計した制御プロトコルを適用でき、セキュリティも高められる。

• 高リスク：危険な領域の建設に使用されるAI (例: ロボットの構築、GPUまたは半導体製造装置の構築)、または危険な領域の研究 (例: 人工パンデミックに関連する研究)に使用されるAI。これらのAIは推論データセンター上に存在し、高リスク領域で動作するAIによって生成された軌跡を記録する必要がある。

• 低リスク： AIは他の用途にも使用される。これには、ほとんどの商用利用 (例: AIをチャットボットとして使用)、ほとんどの企業利用 (例: 医療/法律/建築などにAIを使用)が含まれる。これらのAIはデータ保持ゼロ (ZDR)で実行できるため、最大限のプライバシーが確保される。今日の標準的な慣行と同様に、ZDRで実行されているAIであっても、依然として拒否や悪用防止分類子の対象となる。ただし、真のZDRで実行できるのはフロンティアの背後にあるAIのみである。これについては、次の記事で詳しく説明する。検証に関する補足資料。

高リスク推論と低リスク推論は推論クラスターで実行し、極高リスク推論は、AI研究開発クラスター内にある、推論専用と検証済みの計算クラスターで実行する。

高リスクの軌道のすべてと非ZDRの低リスク軌道の一部は、安全性研究者がアクセスできるようにするために、推論データセンターと研究開発データセンターの間で (警備の下で)物理的に輸送される。

限定公開型の透明性

フィルタリングされた透明性では、AI研究者は物理的にセキュリティ境界内に位置しており、この境界を越えて情報が漏洩しないように努める。さらに、研究開発データセンター内には、安全性を検証し判断するための十分なアクセス権を持つ監査人もいる。

情報が境界外へ出る経路は三つある。

1. モデル重み。研究の完全な透明性と同様に、モデル重みは研究開発データセンターから推論データセンターに渡される必要があるうえ、モデル重みが非常に大きいため、このチャネルは高帯域幅である必要がある。

2. 監査報告書。監査官は、現在の能力水準やアーキテクチャに関する安全上の情報など、研究開発データセンター内の進捗を報告書にまとめる。機密部分を編集した版は公開してもよい。

3. 人間が安全保障境界線を離れる。人間の研究者は定期的にセキュリティ境界線に出入りする。これは、アルゴリズムがデータセンターから流出すると予想される主な方法である。

セキュリティ境界を越える情報には制限がない。

研究の完全な透明性 と同様に、研究開発データセンターと推論データセンターがある。これにより、透明性の最も重要な形式の1つであるフロンティアAIモデルへの広範なアクセスが可能になる。研究全体の透明性と比較したフィルタリングされた透明性の主な欠点は、AI研究開発に関連する安全性ケースに対する完全なオープンアクセスと科学的精査ができないことである。その代わりに、セキュリティバリア内の比較的少数の研究者グループが、各安全性ケースの欠陥のある仮定をすべて特定し、適切な評価を行い、十分な研究の進歩などを行えることを期待する必要がある。

アルゴリズムセキュリティは、フィルタリングされた透明性の極端な形式に似ている。中心的な考え方は、アルゴリズムの進歩はプロジェクト内で行われるが、外部に漏洩しないということである。アルゴリズムの進歩は記憶に残ることが多いため、これは非常に困難である。

したがって、主な違いは、「アルゴリズムセキュリティ」提案では、人間がセキュリティの境界を越えることを防ぐ必要があるということである。これにより、原則として、アルゴリズムによる洞察を確保することができる。

各提案はどのような場合に望ましいのだろうか?

研究開発の透明性提案のどちらを選択するかを決定する主な軸は、潜在的な秘密プロジェクトと不十分な規制のどちらをより懸念するかである。透明性が高まると、より多くのアルゴリズムが漏洩し、秘密プロジェクトが増加するが、AIプロジェクトに対する公的監視が改善され、期待されるAI規制の質が向上する。

全体として、私たちは秘密プロジェクトよりも不適切な規制の方が懸念されると考えており、研究の完全な透明性を推奨する。

提案4では新しいAIモデルを開発できないため、プランAではなくプランSの一部としてのみ成り立つ。プランAとプランSのどちらを選ぶかは主として別の要因で決まり、詳しくは次の資料で論じるプランS支店。

各提案ではアルゴリズムのどの部分が漏洩するだろうか?

このスペクトルに関する最適なポリシーは、各提案の下でどの程度のアルゴリズムの進歩が漏洩するかに関する定量的要因に依存する。これは、アルゴリズムの進歩のどの部分が透過的であるか (アーキテクチャの改善など)、アルゴリズムの進歩のどの部分が大規模なデータセットの改善であるかによって異なる。全体として、各提案の下でリークする部分の現在の (非常に大まかな)最善の推定値を作成する。

この見積もりの背後にある理由がわかるこちら私たちはセキュリティの専門家ではないため、専門家に独自の予測、とりわけアルゴリズムがどの程度の期間で流出するかまで織り込んだ細かな予測を示してもらえれば大変ありがたい。

研究の完全な透明性の利点

本節では、制御喪失と権力集中のリスクを減らすうえで透明性がもたらす利点を論じる。基本的には次の図の解説である。

図では、プランAの二つの主要な政策介入を青で示している。制御喪失の防止と極端な権力集中の防止という二つの主要目標は緑で示している。矢印は因果関係を表す。

この図は、特に透明性の利点を描くことに偏っていることを除けば、ある意味でプランAの概要である。

ここでは図全体については説明しない。その代わりに、研究のトータルな透明性によって示されている7つの利点と、追加の8つ目の利点について説明する。それぞれについて、弱い種類の透明性がどのように同様の (しかし弱い)利点を得るのかについて説明する。

AI開発は、予見済みのものも予見していないものも含め、多くの問題を引き起こす。AI開発の透明性を高めれば、社会全体の知識と判断の質が上がり、何が起きているかも理解しやすくなる。

研究の完全な透明性の欠点

提案2と提案3に比べて、研究全体の透明性の主な追加の欠点は次のとおりである。

• 研究の完全な透明性は、「安全対策をしているふり」を促す可能性がある。AIの安全性に関する研究には、追求するとAI企業の印象が悪くなる可能性があるものもある。たとえば、モデルの不正行為の評価などである。研究の完全な透明性の条件下では、結果を隠す方法がないため、この種の研究は意欲をそがれる可能性があるが、たとえばフィルタリングされた透明性では、結果はより小規模な監査人や他の企業とのみ共有されることになる。

• 先行AI企業と米国行政府の多くは、おそらく反対する。競合の追随を許すため企業はこれを嫌うだろうが、とりわけアルゴリズムを主な競争優位としている企業の反発は強い。政府も一般に、自国へ不利に使われうる情報を地政学的な競争相手へ渡すことを避ける。したがって、先行AI企業と米国行政府の多くの部門は、研究の完全な透明性に反対する可能性が高い。