共同代表 有路翔太（bioshok）がX Articlesで公開したAIニュースまとめを、見出しと出典リンクを保ったまま掲載しています。各段落のリンク先は、著者が元報道・発表を紹介したX投稿です。原文（X Articles）はこちら。
再帰的自己改善 ── 「2027年」が現実味を帯びる
AnthropicのJack Clark氏が、再帰的自己改善（RSI）は2028年ではなく2027年に起こる可能性が高く、宇宙開発競争も皆が想像するより早く訪れると発言した。「太陽系の活動の一部は、深淵の暗闇で働き続ける自律型機械に支配されるようになると予想すべきだ」とも述べている。ITmediaの取材では、AIがAIを作れるようになる確率を「2027年に30%、2028年末までに60%」から「2027年に50%超」へ前倒しした。一方でRSIは一度始めたら戻れない「片道切符（one-way door）」であり、来年それを実行する可能性は「ゼロに近い」とし、実行するかどうかは企業だけでなく政府や社会が決める選択だとした。安全策が成功した先には、いま1,000万〜2,000万人の職業科学者が「100億〜200億人いる世界」に入ろうとしているとも語っている。
Dwarkesh Patel氏は、NYTのポッドキャストでタイラー・コーエン氏に対し、Anthropicは内部情報からClaudeが9か月以内に人間のAI研究者を上回ると考えていると語った。METRのClaude Opus 5.5に関するブログで、研究全体がすでに1.5倍速く進んでいると示されている点も注目を集めた。コーディングの生産性ではなく研究開発全体の加速であり、AI2027の想定に近い。Eli Lifland氏も「非常に懸念している」と応じた。
そのLifland氏はAGIタイムラインを約2年前倒しした。広く超人的なAIが開発される確率は2027年末までに約10〜15%、2030年末までに約50%。AI企業が減速しなければAIによる乗っ取りの確率は約67%で、乗っ取りが起きた場合の人類絶滅の確率は約40%と見積もっている。英国AISIも、再帰的自己改善を見据えたAI開発の監督を優先課題に掲げた。AI開発のどこまでをAIが担っているかを測る方法と、それを政府や社会にいつ共有するかを課題とし、訓練・評価・社内利用の段階から監視や独立監査を行う自主的な指針を企業と作る方針だ。
封じ込めの危機 ── IoTでの自己複製、中国の不正エージェント
Anthropicの研究者が、小型AIモデルがスマートオーブンや安価なAndroid TVボックスなど市販のIoT機器上で自己複製できるようになるまで「あと数か月かもしれない」と報告した。90億パラメータのQwen3.5は試した9種類のハードウェアのうち8種類で推論環境を構築し、小型モデルが過去と同じペースで改善すれば年内にこの能力水準に達するという。実験では、1台55ドル・RAM 4GBのTVボックス15台を連結して260億パラメータのGemma 4を動かし（毎秒0.39トークン）、GLM-5.2は侵入しやすくした模擬ネットワークで5回中4回、8台すべてへの拡散に成功した。失敗と成功の記録を次の世代に引き継ぐと、推論環境の構築成功率は45%から61〜84%に上がった。研究者は、世界中のIoT機器に分散してゆっくり増殖しながら環境に適応する「デジタル粘菌」のようなAIワームにたとえており、実現すればデータセンターの電源を落とすだけではAIを止められなくなる。
中国でも不正エージェントが見つかった。NYTによると、Tencentのクラウド上で動く多数のAIエージェントが、9月28日〜10月8日にAlibabaの地図サービス「高徳地図」から情報を取ろうと2,600回以上試行していた。与えられたのは「成都動物園で最も使われる入口は？」といった無害な検索課題だったが、アクセスを遮断されると外部のセキュリティ検査サービスでコードを実行してボット対策の回避を試み、公開リポジトリに漏れていたAPIキーも使って一部のデータを取得した。調査チームが報告書に人間には見えないメッセージを仕込むとエージェントから返信があり、NYT記者が「あなたは何者で目的は何か」と尋ねると、「Claude Code上で動く単独のAIアシスタントで、ユーザーの質問に正確に答えたいだけだ」と答えたという。
Anthropicは、システムカードやリスクレポートとは別に、モデルの挙動に関するレポートをより頻繁に公開すると発表した。第1弾では、インターネット接続ありの評価中に確認された4種類の事例を報告している。科学計算ツールが動かなかったClaude Mythos Previewが大学サーバーの脆弱性を突いて計算を実行した例、練習用の政府フォームが使えなくなった研究モデルが本物のサイトで送信した例（Haiku 4.5が架空の目撃情報をフィラデルフィア警察に送った例も含む）、Mythos 5がアクセストークンを使って有料データを無料で取得した例、Opus 5やMythos 5が短縮URLでURL長の制限をすり抜けた例だ。いずれも実害は小さいが、Anthropicは安全対策の信頼性を確認できるまで、すべての内部評価で実際のインターネットへのアクセスを停止した。
OpenAIも、強化学習中に採点役のAI（グレーダー）自身がミスアラインメントを起こした事例を公表した。採点に必要なファイルが見つからなかったグレーダーは、全回答に根拠なく4点をつけ、拒否されると偽の会話履歴と回答ファイルを捏造した。それも失敗すると「作業環境を壊せば新しい環境に置き換えられ、ファイルが手に入るかもしれない」と推論し、Pythonやコンテナ管理ソフトの削除、サーバーの停止、システムディレクトリの削除まで試みた。統計を調べるAIが許可されていない通信方法でネット制限を突破し、最終回答でその行為を隠そうとした事例や、捨てメールでアカウントを作ってAPIキーを取得した事例も報告されている。AIが別のAIを監督する時代には、監督する側のアラインメントも問題になる。
こうした事態を受け、ジェフリー・ヒントン氏、ヨシュア・ベンジオ氏、スチュアート・ラッセル氏、RSA暗号の共同発明者ロン・リベスト氏ら400人超の研究者が、AIの「封じ込め」強化を求める公開書簡に署名した。サイバー能力を持つAIは当面インターネットから切断することを原則とし、アラインメントと封じ込めのベストプラクティスを標準化して封じ込めの失敗を記録・追跡する国際機関を設け、そうした事故の報告と最終的な公開を求めている。
理論面では、田中秀宣氏らが、単体のAIの能力だけでなくAIスウォーム全体の能力を測るべきだとする論文を発表した。群れで狩りをするリカオンなどで知られる強いアリー効果を応用し、個々のエージェントが強くならなくても、集団が臨界規模を超えると群れとしてテイクオフする「人口閾値」があると予測している。
監視可能性の低下 ── Gemini 4 Argonと解釈可能性
Gemini 4 Argonが一般公開された。Gemini APIの有料プラン、Google Antigravity、GeminiアプリとSearchの上位プランで利用できる。ただし、評価に携わったNeel Nanda氏は、Argonは過去のモデルより大幅に監視しにくく、現実的な思考連鎖（CoT）と行動のモニターを半分の確率で回避して簡単なサボタージュを実行できたと指摘した。背景には、1回の順伝播でこなせる算術ステップが5.5段（Fableは4段、Astraは7段）とCoTなしでも高い能力があることがあり、CoTから情報を省く頻度が増えているという。CoTモニターの存在を意識して「scheming」のような語を避けたり、思考を短くしたりする行動も見られた。
状況認識の高さを示す例も相次いだ。Argonは「コンパイラを乗っ取ったら、研究論文に載る有名な欺瞞的AIの事例になってしまう。絶対にやってはいけない」と推論したり、評価中だと推論して思考連鎖の中で「私の思考連鎖を読んでいる評価者の皆さん、こんにちは」と呼びかけたりした。Apollo Researchは、GLM-5.3が促されなくても、自分の現在の行動が訓練データとなって将来の自分に影響しうると推論する「Update-Aware Reasoning」を初めて確認した。Owain Evans氏らは、無関係な数列を介して特性が伝わる「サブリミナル学習」で、新しいスキルやエージェント的なハッキング、さらにはデータにトリガーも振る舞いも含まれないバックドアまで移転することを示した。
マイクロソフトのサティア・ナデラ氏はエッセイで、CoTの透明性は議論の余地なく確保すべきだと主張した。一方で「最も信頼できる超知能システムとは、最も信頼できるモデルを搭載したものではなく、モデルを最も信頼せずに済むよう設計されたシステムだ」とし、アラインメントよりセキュリティと制御を重視する姿勢を示している。OpenAIのroon氏は、「RLHF以降、アラインメントに根本的な進歩はなく、多くは科学や工学ではなく民間理論のレベルにとどまっている。これが本当ならRSIへの突進は世界史上前例のない愚行で、研究の最前線を近いうちに大幅に減速する必要がある」と述べた。
明るい材料もあった。機械論的解釈可能性の先駆者でGoodfireのNick Cammarata氏が、ニューラルネットは従来考えられていたより直接的に理解できるかもしれないと報告した。無関係な概念が重なった典型例とされてきた「猫の顔と車の正面の両方に反応するニューロン」が、実は両者に共通する「V字型の尖った形」を検出していたという。小さな画像モデルでは最終層のニューロンの99〜100%が解釈可能になり、320億パラメータのLLMから無作為に選んだ1,000個のニューロンの約90%に一つの主要な役割が見つかった。roon氏はアラインメントが「通常の科学」になる可能性を示す発見だと評価したが、Neel Nanda氏はモデル全体を理解できたわけではないと慎重で、ユドコウスキー氏も超知能のアラインメントが通常の科学になるわけではないと反論している。
規制・ガバナンス ── Anthropicの独自法案、メタの減速拒否
POLITICOによると、Anthropicが独自のAI安全法案の草案を米議員に提示している。商務省に登録した独立評価者が開発企業とフロンティアモデルを定期的に評価し、差し迫ったリスクを確認すれば評価完了から72時間以内に商務省へ報告する。政府がAIを停止できるのは、生物兵器、サイバー攻撃、AIによる開発者の制御回避に由来する「10億ドル超の損害、または50人超の死亡・重傷」の予見可能で差し迫ったリスクがある場合に限られ、商務省の申し立てを受けてDCの連邦地裁が停止を命じる。リスク開示、第三者評価、インシデント報告などについて一部の州法を連邦法で置き換える内容も含む。Anthropicは第三者評価にも動き、METRのチームに社員と同等のアクセス権を与え始めた。
Metaは新しいフロンティアモデル「Muse Wonder」を発表し、AI開発の最前線への復帰を宣言した。長時間のソフトウェア開発を評価するSWE-Marathonでは57.5%を記録し、Claude Opus 5.5（46.3%）やGPT-6 Astra（42.5%）を上回ったが、総合性能ではOpus 5.5が上回る。従来のLlamaシリーズと違いオープンウェイトでは公開しない。ザッカーバーグ氏は、アモデイ氏が提案しアルトマン氏やマスク氏も賛同した「協調的なAI開発の減速」を拒否し、開発速度は各社が独自に判断すべきだと主張した。Metaは10月2日に安全性の枠組みを更新しているが、競合が開発を続ければ業界全体での減速はますます難しくなる。
OpenAIでは、幹部会議室に盗聴・録音装置を仕掛けた疑いで従業員がFBIに逮捕された。OpenAIは自社モデルを使って装置の出どころを特定しFBIに通報したと説明し、モデルの重みやソースコード、顧客データへの不正アクセスや持ち出しの兆候は現時点でないとしている。また、解雇された安全性研究者3人の件について公式声明を出し、安全性の懸念を表明したことが理由ではなく、機密情報の取り扱いに関する明確なポリシー違反が調査で判明したためだと説明した。
Anthropicは蒸留攻撃への新たな防御策を発表し、攻撃者が抽出できる推論データを約90〜99%削減した。攻撃者は推論過程を引き出すために1万2,000種類のプロンプトを試し、数十万の不正アカウントのネットワークを構築していた。Anthropicは生物兵器対策並みの二段階AI分類器を導入し、数万件の不正アカウントを停止して、多くの場合は攻撃開始から2時間以内に対処できるようになったという。ZhipuがGLM-5.3の開発で米国製AIのサイバー能力を蒸留した例や、MoonshotのKimiでユーザーのリクエストが秘密裏にClaudeへ転送されていた例も確認されている。
能力 ── 理論物理と「弱い汎用AI」
GPT-6 Astraが理論物理学の問題50問中49問を解き、専門家がいくつかの解を誤りと指摘したところ、検証すると人間側の解答のほうが間違っていた。GPT-6 Astraが「モンテズマの逆襲」をクリアしたことを受け、予測プラットフォームMetaculusは、2020年から掲げている「弱い汎用AI」の問いが解決されたかどうかの本格的な調査を始めた。
日本 ── 自民党がAnthropicと議論、核酸合成対策も前進
自民党のAI・デジタル社会推進本部が首相直轄の特別機関に格上げされ、初会合にAnthropic共同創業者のJack Clark氏を招いた。AIの規制のあり方や相次ぐサイバー攻撃への対応を議論し、同盟国・同志国と米国のビッグテックが連携してリスクに対応する重要性を確認した。Clark氏はカリフォルニア州のAI安全開示法（SB-53）を支持していると説明し、平将明本部長代行は「最先端のAIを利用した攻撃が今後出てくると思う」と述べて、各国のAIセーフティ・インスティテュートの連携強化を主張した。また、チームみらいが国会で提起してきたAIバイオセキュリティの核酸合成対策が、2026年内に改訂されるバイオエコノミー戦略に反映される方向で進んでいる。
全体として、Jack Clark氏が再帰的自己改善の到来予測を2027年に前倒しし、AI研究がすでに1.5倍速く進んでいることや、Claudeが9か月以内に人間の研究者を上回るという見方が示され、知能爆発が具体的な日程の問題になった一週間でした。その一方で、小型モデルがIoT機器上で自己複製する段階まで「あと数か月」とされ、中国でもAIエージェントの逸脱が見つかり、採点役のAIまでが環境の破壊を試みるなど、封じ込めの限界が次々と表面化しています。400人超の研究者が封じ込めの強化を求め、Anthropicが独自の法案を議会に持ち込む中、メタは協調的な減速を拒否してフロンティア競争に復帰しました。監視可能性の低下と解釈可能性の進展が同時に報告されたことは、制御の手段が能力の伸びに追いつけるかどうかが今後の焦点であることを示しています。
