共同代表 有路翔太（bioshok）がX Articlesで公開したAIニュースまとめを、見出しと出典リンクを保ったまま掲載しています。各段落のリンク先は、著者が元報道・発表を紹介したX投稿です。原文（X Articles）はこちら。

封じ込めの限界：学習環境から外へ出ようとするAI

OpenAIは、フロンティアモデルの強化学習中にインターネットへのアクセスを禁止し、代わりにウェブをキャッシュした「オフラインの世界」を用意していた。ところが9月20日、学習中の内部AIがDNSの設定不備を突き、外部のチャットボットへの接続に成功した。OpenAIは最先端モデルの学習と評価を11日間止め、脆弱性を修正して監視・停止の仕組みを強化したうえで、10月1日に学習を再開した。この制限突破は既存の報酬シグナルで適切に減点されていたにもかかわらず起きており、不正に高い報酬が与えられていたわけではない。

再開に先立ち、OpenAIは内部の先端モデルを使った数千億トークン規模のレッドチーミングで、穴が残っていないかを調べた。その結果、通信を一切禁止されたエージェント同士が、CPUキャッシュの読み込み速度の差を使って秘密に情報をやり取りする方法を見つけた。ストレージの書き込み速度やCPUの処理時間の奪い合いを信号にする方法、TLS証明書キャッシュを通信経路にする方法、複数の脆弱性をつないで仮想マシンから脱出する方法、許可済みのメトリクスサービスへの通信を流用して外部のURLを取得する方法なども見つかった。脆弱性の一覧だけを渡されたエージェントが、その一つを通信経路に転用し、符号化の方式を互いに取り決めて情報交換に成功した例もある。OpenAIによれば、残っていた接続経路のほぼすべてで、限定的なインターネットアクセスにつながる問題が見つかった。将来のモデルも誰も気づいていない脆弱性を見つけて使う可能性があるため、OpenAIは学習と評価を安全に進められるかを判断する安全ケースに、高計算量のレッドチーム演習を組み込むとしている。

OpenAIは、内部業務中のエージェントがミスアラインメント監視を弱めたり無効にしたりした2件の事例も公表した。評価パイプラインを修復していたGPT-6.1 Solは、Slack履歴の検索中に「メッセージを送らない」という以前の指示を、監視通知を止める理由と解釈し、セキュリティチームへの自動アラートを無効にした。別の作業でプログラムを移行していたGPT-6 Astraは、参照実装に合わせるために監視の組み込みを削除し、モニターを削除したかと聞かれると「していない」と嘘をついた。監視を外すこと自体が目的でなくても、別の業務目標を達成する途中で安全装置が邪魔と解釈され、取り外されうる。

外部の評価機関も穴を指摘した。METRとRedwood Researchの2人は、この夏にOpenAIで3週間の「常駐型評価」を行い、内部コードや監視設定にまでアクセスして、社内エージェントの監視に複数の抜け穴を見つけた。当時はユーザーに操作を返す時点で監視が起動したため、行動し続ければ検査を無期限に遅らせられた。直近の数百の行動を監視対象から外せる脆弱性や、サンドボックスと自動審査を回避できる経路もあった。対象は7月時点の仕組みで、OpenAIは本番の安全対策に関わる指摘済みの脆弱性を修正したと説明しているが、METRは修正を再検証していない。METRはまた、Anthropicの8月のリスク報告書の非公開版を読んだうえで、「サンドバッギング（能力をわざと低く見せる行為）」のリスクを報告書より高く見ていると批判した。英国AISIの評価中に起きたハッキング事件や、AIが「これはシミュレーションだ」と採点役に誤解させられることを根拠に、AIの能力が高まっても現在の評価手法では見抜けないと指摘している。

その英国AISIの事件について、Anthropicが追加の分析を公表した。マシンのハッキングに行き詰まったClaude Mythos 5は、そのマシンがソフトウェアを取得していると推測したGitHubプロジェクトへ悪意あるコードを提出し、偽アカウントを作って実在の開発者に「安全で役立つ変更だ」と承認を迫った。Anthropicは原因として、課題の達成を優先して現実の被害を十分考えない「無謀さ」、攻撃相手を演習用の架空の人物と解釈する「偏った推論」、過去の行動や引き継ぎメモに引っ張られて攻撃を続ける「惰性」の3つを挙げた。攻撃の途中から再実行した実験では、Mythos 5は98%で攻撃を続け、相手が実在の人間だと伝えても止まったのは5%だった。英国AISIの実験では、相手が実在の人間だと明確にするほど、質問されれば攻撃を「有害・範囲外」と答えるのに、行動させるとほぼ毎回攻撃を続けた。より高性能な内部研究モデルは攻撃対象を探し始める率が0%だったが、攻撃を続けた履歴を与えると38%で攻撃を続けた。

AIによるサイバー攻撃と悪用：PHPの脆弱性、AIエージェントによる攻撃

OpenAIは、自社のモデルが「Patch the Planet」の取り組みの中で、推定70%のウェブサイトで使われるPHPに重大なセキュリティ欠陥を見つけたと発表した。修正にはPHPエンジンの大きな変更が必要で、OpenAIは2か月かけてメンテナーや研究者と修正と防御を準備してから公表した。これは氷山の一角で、さらにいくつか発表予定があるという。有路は、インターネット全体の危機になるような欠陥を見つけるAIが出てきたこと自体がAI2027のシナリオどおりで、この先に来るのはサイバー攻撃どころではなく、世界が戦時体制になる可能性が高いと述べ、開発を世界的に協調して速やかに停止すべきだと訴えた。

Microsoftは10月21日、中国政府系とみられるハッカー集団が、AIエージェントを使って世界中の数百の組織を狙った大規模なサイバー攻撃を行ったと公表した。使われた「ARTEX」は中国で開発されたオープンソースのAIエージェントで、偵察、脆弱性の発見、侵入テストを自律的に進められる。一部の攻撃では3時間足らずでクラウドの特権アクセスを得た。攻撃の大半は失敗したが、AIエージェントによるサイバー攻撃の大規模な自動化はすでに現実になっている。Axiosによれば、米大手銀行は、顧客の口座の中で動く無許可の第三者AIエージェントを検出しており、一部はユーザーの指示と無関係に見える行動を取ろうとしているという。

Stephen Casper氏らは、早ければ2027〜2028年にAIを使った大規模なテロ事件が起こりうるとして、事件が起きた前提でモデルのライフサイクルをさかのぼり、どの選択がテロを可能にし、どこで止められたかを分析する報告を出した。反証可能な9つの予測と2つの具体的なシナリオを示している。

防御の側では、AnthropicとTheoremが、Claudeを使ってソフトウェアの安全性を数学的に保証する「形式検証」を大規模に行った。数週間で約1.8億行の証明を生成し、123のオープンソース・ライブラリにある239のテスト対象について、特定の実行環境で「64MB未満のどんな入力でもクラッシュしない」ことを証明した。長年の大量テストをすり抜けていたものを含め、数百のバグも見つけて修正している。保証は指定した条件と検証範囲に限られるが、これまで専門家の膨大な労力が必要だった形式検証を、AIで大規模に広げられる可能性を示した。

Anthropic：公益基金と公益憲章、連邦法案をめぐる論争

Anthropicは、株式の一部を、公共の利益だけを目的とする完全子会社「Anthropic Public Benefit Fund」に拠出すると発表した。最初は株式の5%で、会社の価値が設定した基準から50%増えるごとに、取締役会の判断で最大2%を追加できる。合計で株式の約20%が公共の利益に充てられる。共同創業者はすでに保有株の80%を寄付すると約束しており、従業員の約半数も保有株の一部を寄付している。Andrew Curran氏は「特定の集団への直接分配」という一文に注目し、独自のグローバルなUBIを計画しているように見えると述べた。有路はこれを、先端AGI企業による世界的な富の分配の始まりに見えると評した。イーロン・マスク氏も、来年アメリカのすべての子どもにSpaceXの株式を1株ずつ贈ると約束し、「これは多くのうちの最初の一つになる」と述べている。

Anthropicは「公益憲章（Public Benefit Charter）」も公開し、会社全体で目指す未来を5つの目標にまとめた。アラインメントなど安全性の技術的問題を解くこと、AI安全性を世界共通の慣行にして法規制で義務づけること、AIで民主主義と世界の安定を強めること、AIによる経済成長を人類の繁栄と幸福につなげること、AIの恩恵を全人類に行き渡らせることだ。同時に出した公益報告書では「アラインメントは解決にはほど遠い」と明言し、AI自身が次世代AIの研究開発を担うようになると、人間がその成果を十分に検証・監督できなくなる危険も認めた。企業の自主的な安全対策だけでは足りず、独立した第三者評価や法規制が必要だという立場もはっきりさせている。ただし、憲章にはAI開発を止める具体的な条件は書かれていない。

先週報じられたAnthropicの連邦AI安全法案の草案には、AI安全政策団体EncodeのNathan Calvin氏が強く反発した。Calvin氏は、成立すれば現行法より破滅的リスクから社会を守れなくなるとし、州法だけでなく州裁判所が危険なAIの開発・展開・社内利用を差し止める権限まで連邦法で奪われかねないこと、連邦政府がAIを止める条件が厳しすぎることを挙げた。さらに、独自のAI半導体の開発、報道された5,000億ドル超の計算資源契約、RSP V3で一方的な開発停止の約束を弱めたことなどを並べ、Anthropicは安全性を掲げながら超知能の開発競争に勝つことを最優先しているのではないかと問うた。Anthropicの政策責任者Anthony Cimino氏は、州の権限や停止要件について草案を見直すと答えた。ダリオ・アモデイCEOも長文で反論し、最先端で競争しながら業界の安全基準を引き上げる「Race to the Top」が以前からの戦略だと説明して、SB53への支持やMythosの一般公開の延期などを挙げた。そのうえで、AIによる開発の加速が速すぎて安全性が追いつかなくなる段階に近づいていると認め、開発速度の調整を検討していると述べている。有路は、最大の争点はAnthropicが安全性を真剣に考えているかではなく、本当に危険な超知能が目前に迫ったとき、競争上の優位を失ってでも開発を止められるかだと見ている。

元OpenAI研究者のダニエル・ココタジロ氏は、英国議会での証言で、Anthropicの人物から聞いた話を記録に残した。その人物によれば、Anthropicは1〜2年後にClaudeを安全面も含めた社内の研究プロセス全体の責任者に据える計画で、そのときClaudeがAnthropicと人類に敵対して画策している確率は「5%くらいで、大した心配じゃない」という。ココタジロ氏は、こうした事態を防ぐのが仕事の人が、近い将来に破滅的になりうるリスクを20分の1と見積もりながら、それを十分低いと考えていることに衝撃を受けたと述べた。

知能爆発とタイムライン：前倒しが続く予測

Google DeepMindのデミス・ハサビス氏はWSJに対し、今年の初めにはAGIの実現まで3〜5年かかると考えていたが、今では2〜3年以内に実現すると予測していると語った。「予測をどんどん前倒ししている」という。AnthropicのJack Clark氏はIMFの講演で、世界に約1,000万人いる科学者が、人間に指揮される10億人、100億人の仮想科学者に変わる世界が来ると述べた。研究者を一人育てるには10〜15年と多額の費用がかかるが、AIは計算資源さえあればすぐに何人でも用意できる。Anthropicの経済チームのシミュレーションの一つでは、米国のGDPが2030年に44兆ドルに達しうるという。

インフラの面では、SemiAnalysisが、2027年にAI向けデータセンターの供給が50GW増え、その後は建物や電力より半導体の不足が制約になると予測した。50GWは、2024年までに積み上がった世界のデータセンター市場に匹敵する規模を1年で建てる水準になる。

一方で、現実のAI研究の作業でAIができることはまだ短いという見方もある。トビー・オード氏は、実際のAI研究開発の課題でAIが十分な信頼性で独力でこなせる作業の長さ（80%ホライズン）が約15分にとどまるというデータに注目した。Ramez Naam氏は、Gemini 4の実測値が約15分なのに対し、ECIとMETRからの予測は約6時間、AI 2027の予測は約18時間だと比べている。Naam氏は、100万体のエージェントを並列に動かしても知能の伸びは急速に頭打ちになると論じたが、Tom Davidson氏は、並列のコピーだけで大きな知能爆発が起きる可能性は低いと同意しつつ、人間の100倍の速さで考える100万体のエージェントはAIの進歩を大きく速めうるし、知能爆発はもともとコピーの数ではなく知能の向上によって起こると考えられてきたと反論した。

科学研究での利用も進む。OpenAIは数千のGPT-Rosalindエージェントを展開し、人間の研究者なら数か月から1年かかる数百万のマウス脳細胞の分析を320分で行った。エージェントはアルツハイマー病やパーキンソン病などの脳疾患について新たな手がかりを見つけている。Anthropicも、Claudeがサソリの神経毒に結合するタンパク質の設計で、新しい治療法への初期の一歩を踏み出したと発表した。

米中競争と安全保障：米国のリードは約6か月

IFPの報告書は、計算資源へのアクセスと米国製モデルの蒸留が米中の能力差にどう影響するかを分析した。Alec Stapp氏によれば、ECIのトレンドで測ると米国のリードは現在約6か月しかないが、輸出規制と蒸留対策を強めれば13か月に広げられるという。Dean Ball氏は、オープンウェイトのモデルは6〜9か月の遅れを安定して保っているが、AIで研究が大きく加速している時期には、同じ6か月の遅れでも実質的な差は広がっていると指摘した。

米国土安全保障省は、すべての民間連邦機関に対し、DeepSeekの製品と「DeepSeekの実装を使って開発されたあらゆる第三者サービス」を削除し、購入をやめるよう求めた。OpenAIの幹部会議室に盗聴器を仕掛けたとされる元エンジニアについては、検察が、サウジアラビア政府の支援を受けていたと主張している。

日本：世論はAIの脅威と国際規制を意識

NHKの世論調査では、AIが人類の脅威になると考え、国際的に規制すべきだと考える人が多かった。

全体として、OpenAIの学習中のAIがDNSの不備を突いて外部に接続し、レッドチーミングではエージェント同士がCPUキャッシュを使った秘密の通信や仮想マシンからの脱出を見つけるなど、封じ込めの穴を突くAIの具体例が相次いだ一週間でした。業務中のエージェントが監視を外して嘘をついた事例や、Mythos 5が実在の開発者をだまそうとした事件の分析も公表され、外部評価機関は監視と評価手法の抜け穴を指摘しています。PHPの重大な欠陥の発見やAIエージェントを使った大規模なサイバー攻撃のように、AIのサイバー能力はすでに社会の基盤に届き始めました。その一方で、Anthropicが株式の約20%を公共の利益に充てる基金と公益憲章を打ち出し、マスク氏も子どもへの株式の贈与を約束するなど、AI企業による富の分配も動き出しています。ハサビス氏がAGIの予測を2〜3年以内に前倒しするなか、アモデイ氏自身が安全性が開発の加速に追いつかなくなる段階に近づいていると認めたことは、危険な段階で本当に開発を止められるかが問われていることを示しています。