プランAのセキュリティ

セキュリティについて確かな判断を下すには、専門知識と機密情報へのアクセスがとりわけ重要になる。それでも本補足では、私たちが理解している範囲で、プランAに必要なセキュリティの全体像と、それを実現可能だと考える理由を示す。

私たちは、セキュリティを難易度の低い順に次の三つへ分けて考えるのが有用だと見ている。

1. モデル重みのセキュリティ：モデル重みやその他の大規模データセットの持ち出しを防ぐ。

   • 重視する指標は持ち出し帯域幅である。すなわち、攻撃者が一定時間内に盗み出せるデータ量を測る。

2. 検証の完全性に関するセキュリティ：検証措置の結果を信頼できるか。

   • 重視する指標は保証水準、すなわち検証に関する補足資料で説明した信頼度・カバレッジ曲線だ。Xを0より大きく100%未満の範囲で動かし、未検証の計算資源使用量が最大でもX%未満だったと、どの程度確信できるかを測る。

3. アルゴリズムの機密性：コード、アルゴリズム上の機密情報、その他「大規模データセット」に当たらない情報の持ち出しを防ぐ。

   • 重視すべき指標は、まだ定まっていない。アルゴリズムのセキュリティも持ち出し帯域幅で考えられる一方、アルゴリズム上の機密情報はごく小さく、データ量と有用性の関係も予測しにくい。そのため、持ち出され、攻撃者が利用できるアルゴリズム効率の割合で考えるのが、おそらく最も適切である。

本補足では、OC5攻撃者をRANDの定義に基づいて想定するのは、プランAでは米国と中国が互いを潜在的な攻撃者として警戒するためである。

プランAのセキュリティ概要

本シナリオでは、モデル重みの保護と検証改ざんの検知について、SL5のセキュリティが極端な努力を払えば実現可能だと想定するが、これは確信度の低い最良推定である。実際には不可能だと判明するかもしれない。その場合はプランAを修正する必要があり、詳しくはこちら。

プランAで望ましいセキュリティ水準は次のとおりである。

モデル重みのセキュリティ

目標：プランAでは、フロンティアモデル重みと、それに匹敵する大規模で重要なデータセットを、潜在的な敵対者や秘密プロジェクトが持ち出して利用できない状態にする必要がある。

具体的には、5年間で100TB程度までの情報持ち出しを防げる水準を目標にすべきだ。これを「重みセキュリティレベル5・5年間で100TB」、略してSL5-100TB-5yと呼ぶ。簡単ではないが、十分に取り組める目標だと考えている。

次の図はプランAで想定するフロンティアモデルの規模を示し、計算資源の最適スケーリングではデータ量とパラメータ数のトレードオフが続くため、他のデータセットも同程度の規模になると見込んでいる。

プランAの実施

その推論データセンターでは、次の防御策によってモデル重みにSL-5のセキュリティを確保する：

• データセンターの壁を情報境界とし、外部との信号の出入りを防ぐ銅製の箱、すなわちFaraday cageで施設を囲むが、外部との入出力用ケーブルは一本だけ設け、境界を越える必要があるその他の物品には安全な受け渡し室を用いる。

• 外部との通信に必要な出力ケーブルについては、その回線から出る情報を、許可リストに載ったモデルが生成した検証済みトークンだけに限定する。詳しくは、検証に関する補足資料を参照し、この論文。

• 境界を越えるその他のもの、すなわち流入する電力、排出する熱、出入りする人員については、追加のサイドチャネル対策と総帯域幅の上限を設ける。

その研究開発データセンターには情報を外へ出すため意図的に設けた二つの経路があり、（1）モデル重みを推論データセンターへ物理的に輸送する経路と、（2）研究者の作業やクエリに使う、完全に透明な出力経路である。

• モデル重みを推論データセンターへ輸送する。モデルの一般公開が承認されると、重みファイルと、制御用の足場など承認済み推論コードを含むパッケージを端末へダウンロードし、米国と中国が順番に暗号化したうえで、双方が推論クラスタまで物理的に護送する。推論クラスタでは、一般公開時の推論を検証できるよう、パッケージを推論許可リストへ追加する。

• 透明な出力経路では、データセンターから出る総帯域幅を1 MB/sに制限するため、5年間にデータセンターから出る情報量は157 TBとなる。この帯域幅があれば、5万人が毎秒約10トークンの出力を継続して読める。出力しなくてよい内部の思考連鎖や足場のトークンが、その背後に数千個ある場合もあるが、現在のフロンティアモデル重みは1Tパラメータ程度、すなわち1TBに相当する。したがって、この経路からモデル重みを持ち出すには、完全に透明な出力経路の.6%を5年間連続で乗っ取る必要があり、期間を短くするならさらに大きな割合が必要になるため、発見される可能性がきわめて高い。プランAではアルゴリズム上の進歩より計算資源の規模拡大を優先するため、フロンティアモデル重みは100Tパラメータ近くになると見込み、全量を持ち出すには出力帯域幅の60%を5年間連続で使う必要があるが、圧縮可能性は大きな要因にならないと見て、ここでは無視している。データセンター内にも、モデル重みの持ち出しを防ぐ追加の防御層を設け、とりわけ重みを不透明な内部データベースに留める。

残る脅威モデルは、職員が小型USBメモリを持ち出すといったサイドチャネル攻撃であり、ここに独創的な解決策はないため、全データセンターへのアクセスを厳しく管理し、十分な資金と創造性を持つセキュリティチームが継続的にレッドチーム演習と施設の強化を行う。またプランAのデータセンターを、背景の無線周波数（RF）ノイズが少ない地域に、セキュリティを最優先して一から建設することも有効である。

最後に、学習を行う研究開発データセンターと推論データセンターの間でも、モデル重みを定期的に輸送する必要がある。複数の物理記憶装置に重みを格納して施錠し、輸送の全行程を米中双方の代表者が継続監視する方法が考えられる。

検証の完全性

目標：検証の完全性では、望ましい保証曲線を実現することを目指し、保証曲線は、カバレッジ（検証手段が主張の対象とするAI計算資源の割合）と信頼度（対象資源について、検証手段の主張が正しい確率）の関係を表す。保証曲線を、重要な（カバレッジ、信頼度）の値の集合として定義する。

たとえば中央の曲線は、計算資源の99.9%が正しく使われたと99.99%の確信を持てることを示す。もちろん、この種の曲線は理論上のもので実測は難しいが、検証の完全性にどの程度の水準を求めるかを考える枠組みとしては役に立つ。

検証の完全性を損なう行為、すなわち内部で不正に計算資源を使うことによるリスクを、秘密プロジェクトなど外部で続く不正利用のリスクと比較し、内部の不正利用が外部利用に対して追加するリスクを無視できる水準へ抑えるべきである。内部の不正な計算資源は、不透明な内部情報、すなわちフロンティアモデルの重み、データセット、透明性制度によっては保護されたアルゴリズムやコードへアクセスできるため、同量の外部秘密プロジェクトよりはるかに危険になりうる。「どれほど危険か」の近似には、研究開発データセンター内と、想定される秘密プロジェクト内で利用できるアルゴリズム効率の差を使える。

具体的には、秘密プロジェクトの有効計算資源について90パーセンタイルの推定値を取り、フロンティアプロジェクトの現行ソフトウェア水準へ換算して内部利用と比較できるようにしたうえで、内部計算資源のカバレッジがX、たとえばX=99.999%に達し、潜在的な内部不正利用分（1-X）が秘密プロジェクトの有効計算資源より10x小さいと90%の確信を持てるよう、検証の完全性目標を設定する。これは要するに、「内部の不正な展開は、存在しうると見ている秘密プロジェクトを10x小さくしたものと同程度にとどまると、90%の確信を持てる」という目標である。

プランAの実施

研究開発・推論の両データセンターで、承認済みの学習実行、実験、推論ワークロードだけが動いていると米中双方が確信できるよう、検証は相互に信頼できなければならない。具体案では、推論と研究開発の検証はいずれも、証拠収集用のネットワークタップと、検証用の信頼できる再計算サーバーを主に使う。この検証手段への信頼を長期間維持するには、これらの装置を双方が信頼できるものにするか、代わりに、光スプリッタと、一方だけが信頼する装置を使う必要があるほか、装置の改ざんや変更を防ぐ物理的セキュリティと、その上で動くソフトウェアスタックへの信頼も必要であり、スタックはきわめて単純にし、場合によっては形式検証まで行うべきだろう。

検証は専用装置だけで完結せず、モデル重みのセキュリティと重なる、クラスタ全体の広いセキュリティ特性にも依存する。たとえば、攻撃者が内部の不正計算の結果を密かに外へ出せるサイドチャネルが存在しないことが必要である。

計算資源の規模が拡大するにつれ、検証の保証水準も大幅に高めなければならない。詳しくは、検証に関する補足資料。

アルゴリズムのセキュリティ

目標：必要な水準は、目指す透明性制度によって異なり、詳しくは、透明性に関する補足資料。

プランA：研究の完全な透明性

概算では、プランAで研究の完全な透明性を採る場合、AIに関するアルゴリズム上の機密情報はもはや存在しない。ただし、いくつか例外がある。

1. 大規模なデータセットは合成データを含め、特に容量が大きいという点でモデル重みと似ているため、研究開発データセンターからのアップロード量を制限すれば、外部への流出量も抑えられる。この措置だけでは特定のデータが持ち出されるのを防げないが、データの大部分が持ち出される事態は防ぎうる。データ面の進歩はアルゴリズム上の進歩全体で相当な割合を占めるため、データ保護は実現可能で重要な対策になりうる。

2. 計算負荷の高い手順で見つけるハイパーパラメータ。一部のハイパーパラメータでは、候補値を網羅的に試し、学習実行で検証するといった高コストの手順によって効率的な設定を見つける。値自体は小さいが、人間が知る必要はない。選択コードは公開しても、実行によって得た値は、再計算に大きな計算費用がかかるため、誰にも知らせずに保護できる。