以下は著者本人（AGI HUB共同代表）による note 掲載記事の全文です。原文（note）はこちら。
AGIを巡る国家安全保障に対して私が最近思っていること
最近は原子爆弾が実現可能か曖昧だった1939年頃、アインシュタイン=シラードの手紙が大統領に出され世界秩序が急に変わる前夜と同じ感覚をAGIに関しても同じかもしれないと味わっている。
1939年頃は原子爆弾の実現可能性は議論（そもそも核兵器を作れるのか不明。研究をクローズにするのは問題）があったが、1942年にはマンハッタン計画が始まり、1945年に原爆が落とされた。
同じく今はAGI実現可能性については賛否あり、オープンソースが阻害されるとしてカリフォルニア州法SB1047が批判され、最終的には否認されている。しかし、核兵器開発の歴史のようにあと数年で国家安全保障級のプロジェクトとして完全にクローズで軍により警備された施設でAGIが数年以内に開発される世界になるかもしれない。
核兵器の誕生によって世界秩序が大きく変わったように、AGIの開発で核兵器による抑止体制も終わるかもしれないし、数年で数十年の軍事優位性をもたらす誰も味わったことのないような技術進歩と不安定な世界に突入する可能性がある。
革新的な技術に関する軍拡競争が始まった場合は相手国を先制攻撃するインセンティブが高まる。開発も安全面を犠牲にし、急ピッチで進めなくてはならない。その場合解釈可能性もとぼしく、十分なGuaranteed Safe AIシステムにもならないままデプロイされ悲惨な事態（制御不可能）になるかもしれない。AIは世界を豊かにするというナラティブとともに、世界を壊滅させるというナラティブも必要で、リスク感度を相当高めた議論が求められる。
何にせよ、今回のこの記事ではAGIマンハッタン計画に関する安全保障上の動きを羅列的に情報の整理としてまとめる。
OpenAIは商業路線から安全保障路線へ
・2023年
Open AI の前取締役のヘレントナー氏は去年の論文でOpen AIの底辺への競争と軍事目的で使われる可能性=デュアルユースを懸念していた。
・2024年1月13日
ChatGPT利用ポリシーから「軍事及び戦争」での使用禁止が削除。 「自分自身や他者に危害を加えるために当社のサービスを利用してはならない」は保持。
・2024年1月17日
OpenAIは米国国防総省とオープンソースのサイバーセキュリティソフトウェアに関するツールを開発。
・2024年6月5日
元OpenAI SuperAlignment TeamのLeopold AschennbrenerがAGIの2027年までの実現と史上類をみない安全保障上の問題を「Situational Awareness」で指摘。
・2024年6月14日
元NSA長官で、元アメリカサイバー軍司令官のPaul Miki Nakasone氏がopenaiの取締役会へ。
・2024年6月15日
エドワードスノーデン、open AIが元NSA長官を取締役会に入れたことを批判。国家によるAIシステムの所有は監視社会を意味するというような危惧。
・2024年6月19日
・2024年6月23日
Open AI取締役でクリントン政権で財務長官を務めたラリー・サマーズ氏はAIの進展を遅らせることは、米国の潜在的な敵の優位性に繋がると懸念。
・2024年6月25日
OpenAIは中国の開発者に対し、7月から同社のツールやソフトウエアへのアクセスをブロックすると警告。
・2024年7月10日
OpenAI とロスアラモス国立研究所は、実際の研究室で生成 AI を使用することの利点とリスクを研究するために協力。
・2024年7月26日
Sam Altmanが権威主義国家より米国主導のより民主的な世界を望み、権威主義国家がAIでリードすることを懸念するとワシントンポストに寄稿。
・2024年8月22日
OpenAIがカリフォルニア州AI規制法案のSB1047を中国との米国競争力に国家安全保障から懸念をもたらすと批判。
・2024年8月28日
OpenAIは国家安全保障担当にStrawberryデモ(後のoシリーズ)を見せた。
・2024年9月25日
OpenAIは「インフラは運命」と題して、合計25GW以上、原発換算25基以上のDCを中国と競争するため建設すべきとバイデン政権に主張。
・2024年10月20日
OpenAIは米国防総省（ペンタゴン）との取引を容易に進めるため政府との緊密なつながりを持つ政府請負業者のCarahsoft（キャラソフト）と提携。
・2024年10月25日
OpenAIは「OpenAIのAIと国家安全保障へのアプローチ」を発表。
・2024年11月3日
・2024年11月6日
・2024年12月5日
OpenAIは自律ドローン兵器等の防衛企業Andurilと提携発表.
他メガテックの安全保障上の動き
・2023年
Anthropicは米国防権限法（NDAA）に盛り込まれたAIに関連する規制の緩和を求めて、外部のロビー会社を通じてロビー活動を行い、28万ドル（約4200万円）を費やしていた。
・2024年6月25日
・2024年8月8日
・2024年11月5日
MetaはAnduril や Palantir を含む米国の政府機関と請負業者の両方が Llama シリーズのモデルを国家安全保障アプリケーションに使用することを許可。
・2024年11月8日
AnthropicとPalantir が提携し米国政府の諜報活動と防衛活動のためにClaude AIモデルをAWSに導入。
Anthropic利用ポリシー更新され、「厳選された政府機関の場合、適用法に従って外国の諜報分析を許可する場合がある。」とある。https://twitter.com/bioshok3/status/1854558569649360897?t=X_o7PdUbzklm-32QKyy1Ww&s=19
AI安全保障に関する米規制の流れ
2018年 トランプ政権下で半導体装置メーカーASMLに最先端の機械の中国輸出を阻止 2022年 米産業安全保障局は先進的なAIチップの中国への販売を禁止し、1年後により厳しい措置
2023年10月
AIに関する大統領令で閾値以上で訓練されたAIシステムの報告義務
2024年5月
安全保障に関わるAIシステム自体の移転を規制するEnforce Actが提出
Enforce Actの参考資料↓
Keeping on the Cutting Edge_The ENFORCE Act would help the U.S. retain its advantage in a_ _www.city-journal.org_https://www.city-journal.org/article/keeping-american-ai-on-the-cutting-edge
・2024年10月2日
・2024年10月17日
・2024年10月19日
Scale AI CEOのアレクサンダー・ワン氏が米議会に3つの優先事項を年末までに行動を起こすように書簡。安全保障を強く意識した書簡。
AGI版「マンハッタン計画」
アメリカの電力需要の2倍が今後AIで必要になるとトランプが発言
AI版「マンハッタン計画」が米議会報告書で提言され、「AGI」開発を目指して中国との競争が提言。議会と国防総省がマンハッタン計画のようなプログラムに資金を提供し、AGI への競争を行うことを米中経済安全保障検討委員会の年次報告書にて勧告される。
https://x.com/bioshok3/status/1801418052153847961
※トランプ大統領も中国などとのAI軍拡競争に勝つ必要を訴えている。
https://x.com/bioshok3/status/1857655534054420629
進むAIインフラへの巨額投資
・アメリカ
アメリカ政府初めて公式に数十ギガワット、あるいは数百ギガワットのAIエネルギーインフラを構築する必要があると明言。Google1000億ドルを「AI技術開発」に投資する予定。Microsoft/OpenAIは2028年までに1000億ドルかかる可能性のあるAI用スーパーコンピュータStargateを構築。Anthropic CEOは2026/27年までに1000億ドル以上AIの訓練に使用と言明。
・UAE
UAEは世界的なAIへの取り組みに数千億ドルを投資。アメリカ政府とも提携。G42 CEOが20兆ドルのAIインフラ投資の必要性と1/3の安全性への割り当ての必要を明言。
・サウジアラビア
UAEのテックハブに対抗するため、1000億ドル規模のAI拠点を計画。
・日本
孫正義氏は400GWがAIインフラに必要と電力にも孫正義氏は言及していた。それに続けて9兆ドル、2億個のチップが必要と発言。日本政府はAIと半導体産業の強化に向け10兆円以上の公的支援の枠組みを策定する方向で調整に入った。今後10年間で５０兆円超の官民投資を促す。
2027年末までにAGI
2027年末までに数GW以上/1000億ドル以上のスケールの訓練費用でAGIが開発されるのではないかという推測からアメリカ政府やフロンティアモデル各社は国家安全保障上の観点からも投資や規制をおこなっていると思われる。
その詳細はSituational Awarenessに詳しいが、AGIを先に開発した国家が軍事的にも経済的にも世界の覇権を握る可能性があると考察されている。
**上記グラフの縦軸のEffective Computeとスケーリング則について説明する。
・Effective Compute(実効計算量)**
AIシステムのトレーニングに使用される計算量をアルゴリズムの改善、unhobbling（事前学習されたモデルに潜在する能力を引き出す）を考慮し、実効的な値に換算したもの。
例えば、アルゴリズムやunhobblingでのAIシステムの改善が1OOMs(orders of magnitude)=10倍あれば、10倍少ない計算量で同等のその改善がなかった場合のAIシステムの性能に達するとする大まかな指標。
・実効計算量のスケーリング則※により2027年末までにAGI到達
GPT-2からGPT-4までのOOMsの上昇が2027年末までに起こる可能性が高く、その性能向上の飛躍も同程度だと考えるとAI研究を自動化できるほどのAIシステムが誕生するだろうと主観的に推測している。
**※通常のスケーリング則とは異なりアーキテクチャ等の改善も含まれていることに注意が必要。
(AI Timelineを推定する際にはよく使用される手法。)**
中国は競争力を持つことができる。
・計算資源とエネルギー
中国がAGIピルを飲んだら（AGIが革新的で近いことを知ったら）米国の最大規模のモデルと同じ計算資源を同一年で達成可能ということがこのインタビューからわかる。あくまで中国は全力で1つのモデルをトレーニングすることが前提で、米国は複数メガテックが分散してそれぞれ進める冗長性とアーキテクチャ進展の面で余裕があるという注釈付きではあるけれども、中国はエネルギーと計算資源の面で米国からの輸出規制があるにも関わらずやろうと思えばトレーニングのためのAIインフラは用意できる。
https://x.com/bioshok3/status/1842314732038156707
・アルゴリズム
Eric Schmidtは中国の最近の追い上げ(例えばdeepseek)に衝撃を受けていると語っている。今まで2-3年米国がリードしていると思っていたが今では1年以内に思えるとのこと。
https://x.com/bioshok3/status/1860925494025458088
AGIピルに関する価値観や資料など。
今後10年でAGIによって急変する世界のリスクを知りたいならLeopold Aschenbrennerの「Situational Awarenes」豊穣を知りたいならDario Amodeiの「Machines of Loving Grace」を読むと、AGIピルを飲んだシリコンバレーの人々（AGIは2027年頃までに開発され良くも悪くも世界が激変すると信じる人々）が現在進行系で感じているそれを知ることができる。
またこれらエッセイはいわば丸山隆一氏のAGI巡る議論図解の右下の人々のAGIは近く安全保障から加速すべきという③の立場に近い。一方で AGIが自律的に人類を壊滅させるとする立場は①であり、代表論者には極端にはEliezer yudkowskyからAI Safetyコミュニティの人々（最近だとノーベル物理学賞受賞したGeoffrey Hinton）がいる。そして勿論AGIという言葉の定義も含め短期で変革的なAIが実現から距離を取る②のような立場の人々もいる。
ひとまず現在のAGI巡る議論の全体像を知れるため丸山隆一氏の資料はお勧めできる。
また私もAIアライメントやAI Safetyについての概念や歴史を概説している。
「AIアライメント」小史――用語の発祥と歴史的背景 — ALIGN_「AIアライメント」という言葉の発祥とその歴史的背景について、AIのもたらす深刻なリスクに関する発信を行っているエンジニア_ _www.aialign.net_https://www.aialign.net/blog/20240620-bioshok
現代における重大な潮流として急速に注目を集めているAIがもたらす深刻なリスクとその歴史的背景について、約14万字の記事を公開します。AIの脅威に関する論理、その歴史的背景、技術的対応策（AI Alignment研究）および政策的対応策（AIガバナンス）について総合的に執筆させていただきました。… pic.twitter.com/kK7jPtMNlZ
— bioshok（INFJ） (@bioshok3) January 28, 2024
まとめ
Leopold Aschennbrener氏のSituational Awarenessエッセイのトレンド外装からGPT-3からGPT-4への飛躍と同程度の性能上の飛躍が2025年末までには起こる可能性があるだろう。その場合、2025年から26年頃からアメリカ政府は国家安全保障上の動きを大きくさせる可能性があると思われる。
例えば数年以内に、FLOPs数に基づいてAIモデルのオープンソース化を禁止する法案を提出したり、メガテックに対して中国やロシアのようなアメリカの仮想敵国となり得る国に対するクラウドを経由するAIシステムへのアクセスを禁止すること、そしてクラウドをレンタルすることも禁止されるかもしれない。既にEnforce Actでその萌芽が出始めている。
そして、2027年頃には1000億ドルスケールのコストをかけてAGIが開発される場合は完全にクローズドな環境でアメリカ軍やCIAによって研究施設や研究者の周辺環境が警備されるかもしれない。アメリカを中心として西側諸国がAGI開発で同盟を組み、UAEも半分同盟国のような形にして、中国やロシア、北朝鮮やイランといった国々と新たな冷戦を繰り広げることになる。
AGIを最初に開発した国が相当有利にその後の国際秩序を形成できる可能性があり、核兵器による抑止体制さえも高度なAIシステムを持ってすれば相手の核兵器を先制的に無力化することによって終わる可能性が指摘される。これに限らず高度なAIシステムは軍事上相当優位な状況を作り出せると思われるため、今後世界的にAGIを開発される前に相手国を先制攻撃したり、研究者を拉致監禁するインセンティブが高くなると思われる。
また現状アメリカの企業が開発するフロンティアモデルが半導体規制と人材の面の影響で中国より数年進んでいると見られるが、スパイもしくは研究者の誘拐などによりAIシステムの訓練手法を盗まれた場合はその差が数ヶ月レベルに縮まる可能性がある。そうすると、安全性を軽視した軍拡競争により人間ではなくAIのもたらすX riskも大きくなっていくかもしれない。今回SB1047法案が拒否されたが、そのような傾向が続けばリスクが高まる可能性もあるだろう。
つまり、もしAGIの実現が数年以内の場合は、我々の生きている世界秩序はもうすぐ終わり、2020年代後半から、国同士のAGI競争が激しくなり、戦争のエスカレーションリスクやAI起因の存亡リスクも高まり、人類史上類を見ない不安定な時代にこれから突入していくだろう。
また、規制は国家安全保障上の競争に留まらないかもしれない。現状のAIモデルのアーキテクチャは2年でおよそ実効計算量が1OOMs改善されている。その場合10年以内にはAGIに近いシステムを個人レベルで開発できるようになるかもしれない。
そして巻き起こるだろう議論は世界的監視と先制攻撃の是非と程度の話だ。ニックボストロムが脆弱な世界仮説として定式化したように、個人レベルで保有可能な技術が世界を滅ぼしてしまうかもしれない。その場合その個人や組織を先制的に攻撃したり、その前に予防原則から世界的な監視システムを構築することは是認されるだろうか？
このようにAGIが開発された場合、メリットだけではなく、人類社会に対する壊滅的な結果をもたらすリスクも多大なものになるだろうと思われる。
世界が急速に良くなる面も見えつつ、今後の世界では急峻に大きくなる国家安全保障とAIのミスアライメントの脅威、そして将来的には悪用リスクへの懸念という二つの大きな物語であるユートピアとディストピアが両居する20年代後半になるのではないか。