Research

オープンソースの終焉

2024.12.30 ／ bioshok ／掲載: note

AI Summary

自己改善しうる高度なAGIや超知能がオープンソース化されれば、悪用やサイバー・バイオテロ、ミスアライメントによる存亡リスクが不可逆的に高まると論じる。
米国の半導体規制からEnforce Act法案へと規制が上流へ伸びている事実を挙げ、安全保障の観点からオープンソースAI規制の流れが強まると見る。
規制基準としてFLOPs閾値や自己改善性・エージェント性の検証、認証GPUのみ購入可とするコンピュートガバナンスなどを挙げる。
ニックボストロムの脆弱な世界仮説を踏まえ、原子炉安全で使われる深層防護の三層モデルをAI存亡リスク低減に応用する具体案を提示する。

このサマリーはAIによる自動生成です。正確な内容は必ず原文をご確認ください。

この論考の背景

この記事は、AIモデルを公開する「オープンソース（オープンウェイト）」という潮流が、AGI（汎用人工知能）級の能力に達したときに何が起こるかを論じたものである。一般的なソフトウェアと異なり、高度なAIは自己改善しうるため、一度公開されると悪用や制御不能のリスクを後から下げることが困難になると著者は指摘する。

背景には、AIの民主化という理念と、国家安全保障・アライメントの失敗・将来的な悪用という懸念とのあいだの緊張がある。著者は2020年代後半に向けて、急速な豊かさと急峻に高まる脅威という二つの大きな物語が並び立つ21世紀になると見通している。前提となる枠組みはAGI入門もあわせて参照されたい。

論考のポイント

オープンソース規制 — 数年以内に高度なオープンソースAIが国家や国連に規制され、極端な場合は公開行為がテロ扱いされる可能性すらあると述べる。
規制の上流化 — 2020年の製造装置規制から2024年のEnforce Act法案まで、米国の規制対象がハードからAIシステム自体へ広がっている点を指摘する。
脆弱な世界仮説 — 実効計算量が2年で1OOMs改善する傾向から、10年以内に個人がAGI級システムを開発でき、世界的監視と先制攻撃の是非が議論になると見る。
深層防護の応用 — 予防・対応・回復力の三層に核酸観測所やシェルター、データ保存などを当てはめ、人類絶滅リスクを多層的に低減する案を整理する。

以下は著者本人（AGI HUB共同代表）による note 掲載記事の全文です。原文（note）はこちら。

オープンソースの規制

数年以内にはオープンソースAIは国家や国連により規制される可能性がある。また極端だが将来的にはAIをオープンソースにする行為がテロリスト扱いされることも場合によってはあり得るかもしれない。

今はまだそのような政策をするほどオーバートンウインドウ（政策で可能な常識的な範囲）は広がっていないだろう。

しかし今後数年以内に国家や世界の安全保障に直結するレベルのAGIやTransformativeAIや超知能といったAIシステムが誕生するならば話は別だ。従来の汎用技術とは異なり、自己改善する可能性がある点もこれら技術を特異的にする。

もしそのような高度なAIシステムを自由に誰でも開発し使える状態になれば、大きな利益と同時に人類社会にとって大きな危険性が生じる可能性がある。

社会や民主主義の不安定化、悪用、サイバー攻撃、バイオテロ、仮想敵国による軍事利用、自律的な改善による思いも寄らない挙動、マルチエージェントシステムによる社会全体の壊滅的な軌道への移行、果てには使用者の意図に関わらないミスアライメントAIによる人類存亡リスクもあり得るだろう。

そして一度高度なAIシステムがオープンソースになれば上記リスクを低減することは不可逆的に難しくなるかもしれない。

また上記のようなAIの悪用や制御不可能性のような懸念に加えて、近年アメリカ政府は中国を主な競争相手として明確に国家安全保障の動きを近年加速させており、その範囲はハードウェアを超えてAIシステムそのものにまで広がりを見せようとしている。

事実、アメリカ政府は2020年1月に半導体製造装置用の規制、2022年10月に先端半導体チップ自体の規制、2024年5月にEnforce Act法案でAIシステム自体の規制提案とAI規制を上流に伸ばしている。

まだ法律にはなっていないがこの中のEnforce Actが通れば、オープンソースAIの輸出規制の障害が取り除かれ、商務省にAIシステムを規制する明確な権限が与えられることになる。

つまり、高度なAIシステムがオープンソースになると仮想敵国に技術が流出する恐れがあり、AIの悪用やコントロール問題といった懸念に加えて、国家安全保障上の懸念からオープンソースAIが規制される流れも今後強くなるだろう。

中国は現状オープンソース戦略を取っているように思えるが、中国共産党から見て、オープンソースにするリスクとアメリカのAI開発に追いつくというメリットを天秤にかける時が来るだろうと思われる。

そしておそらくあらゆる国家は高度なAIシステムを悪用されたり、他国に自国が巨額を使って開発した技術が流出することやAIが制御不可能になることをよしとしないだろうと思われるため、最終的にはほとんどの国家で高度なオープンソースAIシステムは規制管理される可能性があるだろうと考えられる。

AIの民主化という標語はAPIやサービス経由でのみ実現されるものになるかもしれない。

規制への疑問

ここでの疑問は敵国への技術流出といってもオープンソース勢が作れるなら、もう敵国も保有してるので規制する意味はないのでは？というものがあるかもしれない。

しかし、特定の国が保有していたとしても別の国に流出する可能性があるだろう。また国ではないテロ組織や個人に流出する可能性もあるためリスクがある。

また汎用技術そのものではなくその利用方法を規制するべきでは？という意見もあるだろう。

しかし、高度なAIシステム自体を悪用された時点で取り返しがつかない事が起こる可能性がある（例として核兵器の保有は許可して使用で制限しようとはしない。使われた時点で壊滅的だ。）。

そして自己改善する可能性のある技術という点は他の汎用技術とは異なる。ある特定の技術を規制する時点で想定可能な範囲を大きく超えたリスクを生み出すかもしれない。

中央値レベルのAGI(平均的な人間がリモートからPCでできることは実行可能なAIシステム)でも計算資源をかければ自己改善する可能性はある。更には、アーキテクチャの進歩によっては計算資源をそこまでかけなくても自己改善可能かもしれない。

つまり、中央値AGIからフォン・ノイマンレベルのAGI(どんな人間よりもほとんどの認知タスクを効率的にこなせるAIシステム)まで進歩が速く中央値AGIから規制しないとバッファが足りないかもしれないことを考えると、平均的な人間レベルの高度な自律性を備えうるAIシステムも規制の対象になる可能性がある。

規制とイノベーションのバランスも大事な一方、事実として世界が今後どうなっていくかは不透明だ。もし本当に誰もがこれこそが確かにAGIだと認めるようなAIシステムが誕生するならば上記のような規制も政治的に許容される可能性が大きくなるかもしれない。

脆弱な世界仮説

現状のAIモデルのアーキテクチャは2年でおよそ実効計算量が1OOMs改善されている。その場合10年以内にはAGIに近いシステムを個人レベルで開発できるようになるかもしれない。

そして巻き起こるだろう議論は世界的監視と先制攻撃の是非と程度の話だ。ニックボストロムが脆弱な世界仮説として定式化したように、個人レベルで保有可能な技術が世界を滅ぼしてしまうかもしれない。

その場合その個人や組織を先制的に攻撃したり、その前に予防原則から世界的な監視システムを構築することは是認されるだろうか？

TESCREAL,長期主義批判のTorres氏という哲学者がいる。彼には人類を破滅させるtechを個人が持てる時代になったら、全世界が強力な監視体制と先制攻撃含む強力な軍事警察体制への危惧を感じる。

Torres氏のような議論が今後数年後以降盛んになっていくだろう。

高度なAI規制の基準やガバナンス

規制の基準としてはEU AI Actやアメリカ大統領令で使われている計算量FLOPs閾値を使う方法、ある基準（自己改善可能性、エージェント性、etc）に合格するかどうかの検証が考えられるかもしれない。

その基準に合格、もしくは合格する合理的な可能性があるならば展開を止め、国に連絡し調査する義務が出てくる。

もし、国に認証を受けたAI以外で上記基準に該当するAIを悪用したり安全保障上懸念のある組織に渡すことは勿論、開発や保有自体が違法となるかもしれない。

またはコンピュートガバナンスという手法も考えられる。政府が認証した組織のみがGPUなどの計算資源を購入できるように計算資源の流通経路を規制コントロールするということだ。

また、AGIの悪用や制御に失敗することを想定して、バイオセキュリティ対策のため世界中に核酸観測所の設置が検討されるかもしれない。

深層防護

実際にAIによる存亡リスクを低減させるためには、複数の独立した安全システムによるリスク低減の概念である深層防護(Defence in depth)と呼ばれる原子炉安全性でもよく使われる概念が役に立つかもしれない。Future of Humanity Instituteによって深層防護の考え方を人類絶滅リスクの低減に応用する論文が出されている。

論文内では以下の図のような三つの防御層を提案されている。

三つの広範な防御層

**・第一層：Prevention(予防)、大惨事が発生する可能性を減らすこと

・第二層：Response(対応)、大惨事が文明の将来を脅かす可能性のあるレベルの深刻な地球規模の大惨事になる可能性を減らすこと

・第三層：Resilience(回復力),

深刻な地球規模の大惨事が最終的に人類の絶滅を引き起こす可能性を減らすこと**

それぞれの防御層で対策を立てることで全体的な人類絶滅リスクを低減させることができるとされる。

上記の深層防護の考え方をAIによる存亡リスクの低減のために当てはめるとしたら以下のようになるかもしれない。

●第一層:Prevention(予防) 高度なAIの開発競争や悪用、制御不能になるリスクを下げる

・AIガバナンスとして、GPUの管理を国際的にし（Compute governance）、国際的なAIトレーニングの規制監査を徹底。ここにはスマートコントラクトやゼロ知識証明などの暗号技術も使われる可能性もある。

・AIアライメント研究(AIの目標を人間の意図した目標に整合させる研究)に大きく投資をし、トレーニング段階、モデル評価、トレーニング後の評価を義務付ける。

・またトレーニングには特別なライセンスが必要になる。非認可のトレーニングを行う主体や組織には警告や制裁の規定が盛り込まれる。

・それでも規制や管理の網から抜ける高度なAIに関しては、世界的にその予兆を人間やAIで監視し特定する可能性もある。プライバシーへの懸念はあるが、プライバシー情報をローカルで処理する仕組みや、ゼロ知識証明などで対処する。

・その後非認可の高度なAIを特定後は何らかの手段で速やかに隔離または排除する。

●第二層:対応(Response) 人類社会への攻撃を前提とした対策

そして隔離や排除しきれずに、人類への壊滅的な問題が起こるのを防ぐために、高度なAIが人類社会に何らかの方法で攻撃することを前提とする必要がある。

・サイバー攻撃に対する情報セキュリティ対策を施す必要がある。

・バイオテロに使われる病原体を検知する核酸観測所を世界中に設置し、病原体に対するワクチンその他予防可能な資材を速やかに配布できるようなシステムを作る必要がある。

・ナノテクノロジーへの脅威にも同様に空気中の物質を分析する観測所を作る。

●第三層Resilience(回復力),人類社会の壊滅を前提とした対策

人類社会の大部分が壊滅的な被害を受けた場合のバックアッププランも必要だ。

・核、バイオテロ、ナノテクノロジーによる攻撃に強いシェルターを開発することも視野に入るかもしれない。精子や卵子なども保管し、長期間シェルター内で自己完結するような居住システムの構築もあり得る。

・また、北極圏ワールドアーカイブ(Arctic World Archive, AWA)のように歴史的、文化的に意義のあるデータやGithubのオープンソースコードを保存したり、スヴァールバル世界種子貯蔵庫のように世界中の種子を保存することも考えられるかもしれません。

●第四層（人類絶滅を前提とした対応）

これは厳密には「Resilience」には当てはまらないが、最終的に人類の絶滅の可能性が高まってきた場合、人類の様々な遺産を宇宙に残すため、ロケットで深宇宙に人類の文化や遺伝情報を長期間保存できるような媒体にのせ飛ばす可能性もある。

例えばパイオニアの金属板やボイジャーのゴールデンレコードのようなものが想定されます。または電磁波や重力波を用いて人類文化のデータを宇宙に発信することも含まれる。

まとめ

このように高度なAIシステムが開発された場合、メリットだけではなく、人類社会に対する壊滅的な結果をもたらすリスクも多大なものになるだろうと思われる。

確かに高度なAIモデルをオープンにしていけば悪用も誤用も相互に監視することで結果的には社会が良くなる方向に傾くかもしれない。またイノベーションの阻害により経済安全保障的にもよくないという議論もあるだろう。

しかし、高度なAI自体がミスアライメントするリスクや攻撃と防御の非対称性など懸念すべき点が多くあり、既存の国家側からしたらリスクの方が大きいとみえるのではなかろうか。

今後2020年代後半にかけて、世界が急速に良くなる従来的なシンギュラリティの豊穣さも見えつつ、急峻に大きくなる国家安全保障とAIのミスアライメントの脅威、そして将来的な悪用リスクや脆弱な世界仮説への対処という、二つの大きな物語が両居する21世紀になるのではないかと感じる。