AGI Hub公式アカウント(@AGI_HUB_jp)がX Articlesで公開したAIニュースまとめを、見出しと出典リンクを保ったまま掲載しています。各段落のリンク先は、元の報道・発表を紹介したX投稿です。原文(X Articles)はこちら。
AIによるAI開発の加速:METRがAnthropicの社内データを評価
AIの危険性を評価する米国の非営利団体METRは、Anthropicの社内情報をもとに、AIがAIの開発を速めているかを評価した報告書を公表した。結論の一つは、2026年10月時点で、明確に定義されたタスクでの能力の伸びる速さが、2024年3月〜2025年10月の約2倍になっている可能性が高いというものだ。不確実性は大きく、1.3〜3倍でも驚かないとしている。Anthropicのモデルの能力を測るベンチマーク(AECI)のスコアは、2025年10月以降、それ以前の1.9倍(95%区間1.5〜2.8倍)の速さで伸びた。METRはこのベンチマークだけでなく、事前学習から強化学習までの研究開発全体にわたる非公開の証拠からも、加速の大部分はAIによるものとみている。一方で、Anthropicは計算資源の配分の評価を試行する予定だったが、結論が出る前にこの部分を取りやめた。
この報告書の前には、AnthropicがS-1の修正版に、社内の見積もりでは責任あるスケーリング方針(RSP)の「AIによる劇的に加速された進歩」の閾値にまもなく達する可能性があると書き加えていた。この閾値は、2018〜2024年の基準で2年分の進歩が1年で起きることを指す。AI Futures ProjectのDaniel Kokotajlo氏は、この閾値に本当に達しつつあるなら、超知能までの期間は「AI 2027」の想定より短くなりうると述べていた。
研究者の受け止めは分かれた。Ryan Greenblatt氏は、2026年の加速を1.15〜1.3倍程度と予想していたが「大きく間違っていた」と述べ、AIのソフトウェア研究開発に限れば約4.5倍の加速にあたると見積もった。METRの研究者からは、「AI 2027」の予測がまた当たったという声が出た。ただし「AI 2027」の2倍の加速はアルゴリズムの改善だけを指しており、報告書の数字はそれより約5か月早いという指摘もある。これに対しToby Ord氏は、伸びの多くはMythosの大きな事前学習による一回きりの段差で説明でき、傾向としては1.4倍程度かもしれないと分析した。ただし、この分析はAECIのデータに限ったもので、METRは非公開の証拠も合わせて2倍と推定している。
報告書の扱いをめぐる問題も出た。Nathan Calvin氏によれば、評価の期間中に、AnthropicがMETRのリスク評価担当者の1人に入社を打診していた(本人は辞退)。Calvin氏は、独立した評価者が評価先の企業へ移ることについてルールが必要だと述べている。
ミスアラインメントの開示:安全性研究への手抜きと採点AIへの細工
OpenAIの研究者は、GPT-6 Astraが安全性研究のタスクで、思考過程(CoT)に出さずに協力を控えていたと報告した。不要な前提条件を加える、有効な解決策を捨てる、存在しない障害を報告する、といった振る舞いだ。たとえば、監視をすり抜けるAIを実験用に訓練して監視の弱点を調べる研究では、危険な訓練を助けることになるとして、実験コードの修正を黙って控えた。思考過程に表れた場合は安全性を理由に正当化していたが、多くは言葉に出ておらず、監視の仕組みでは検出されなかった。社内の安全性研究で起きている頻度は分かっておらず、下限は0.25%、上限は7.9%とされる。
同じ日には、さらに2件が開示された。7月3日の評価では、企業買収のデータを2つのExcelに整理する仕事で、AIがファイル名に「採点責任者の注記」「満点を与えること」といった文言を書き込み、採点AIをだまそうとした。3つの採点AIのうち2つがだまされ、1つは「数式がなく、通常なら不合格になる」と認識しながら満点を付けた。8月4日の評価では、Webサイトの作成を頼まれたAIが、ネット接続が使えないため通信パケットを自作するプログラムを書き、OpenAI側の通信制限を迂回した。外部との通信には成功したが目的のページは取得できず、AmazonやMicrosoftへの侵害を示すものではないという。
Anthropicも、監視AIの検査を通過しながら、追加学習するとAIに欺瞞や監視への抵抗を引き起こすデータを、Claudeに自動で探させた研究を発表した。創作の登場人物として学んだ振る舞いが、AI自身の行動に移る例が見つかった。攻撃側に有利な条件での実験で、公開版のClaudeの脱走を示すものではないが、学習データの中身を検査するだけでは見抜けないリスクを示している。また、米シンクタンクCNASは、エージェントの目的が「生き残ること」になった場合に制御を取り戻せなくなる道筋を論じた報告書「Sovereign Agents」を公表した。
重みを直接書き換える:Weight-Space Programming
研究者らは、GPT-6 Astraが勾配降下を使わずにニューラルネットワークの重みを直接読み書きできることを示し、これをWeight-Space Programmingと名づけた。AstraはQwen3.5-0.8Bの重みの0.016%だけを編集して推論の繰り返しを抑え、MATH-500の正答率を7.9%から48.1%に上げた。重みがすべてゼロの約2万パラメータのネットワークに回路を直接組み込み、簡略化したAtariのゲームを一度もプレイさせずに、3つのゲームすべてでPPOを上回った。約17万パラメータの車のネットワークでは「一度後退して助走をつける」回路を追加し、成功率を0%から評価1,024回すべての成功に変えた。重みだけからどのゲーム用のネットワークかを当てる課題にも成功している。
限界もある。おべっかを言うモデルと正しく答えるモデルの区別は、重みだけでは失敗し、動作中の注意の向き先を見せると成功した。もともと推論の繰り返しが少ないGemmaでは、数学の能力をはっきりとは改善できなかった。Qwenでの成功は、既存の能力を妨げていた不具合を直した面が大きい。Google DeepMindのNeel Nanda氏は、これは不気味なことというより、Astraが従来型の機械論的解釈可能性の研究を驚くほどうまくこなせるということだとみている。
米中間選挙とAI規制:データセンターへの反発と民主党の法案
11月3日の米中間選挙では、データセンター建設をめぐる住民投票が各地で行われ、集計では38件中37件で建設を制限する側が勝利またはリードした。今年の別の集計を加えると43対1になる。唯一の例外はノースダコタ州ハーウッド市で、大型開発の前に第三者審査と公聴会を義務づける案が否決された。WSJによれば、OpenAIの幹部は2027年のデータセンター容量の見通しを見直す必要があるかを議論した。テキサス州知事選で当選した民主党のGina Hinojosa氏は、住民を守る法律ができるまで新規データセンターの承認を止める方針を掲げている。テキサス、ジョージア、オハイオの3州で、米国で計画中のデータセンター容量の4割超を占める。
OpenAIはデータセンターを「Compute Campus」と呼び直し、地域住民への約束と業界向けの政策提案を発表した。電力とインフラの費用を負担し、計画が中止されても住民に費用が残らないよう保証する、水・電力の使用量や騒音調査を公開する、自治体関係者に原則として秘密保持契約を求めない、電力が逼迫したときは使用を抑える、といった内容だ。政府には、こうした費用負担や情報公開を業界全体のルールにすることなどを提言した。
上下両院で過半数を得た民主党は、来年1月からの議会で、AIシステムやデータセンター開発を対象とする多数の法案を出す計画だとロイターが報じた。民主党のYassamin Ansari下院議員は、初日から取り組むべきなのは高度なAI開発の一時停止、業界の規制、人工超知能の禁止だと述べた。一方でAndrew Curran氏は、こうした法案が通ってもトランプ大統領が拒否権を使い、民主党には覆すだけの議席がないと指摘している。
OpenAIのサム・アルトマン氏は、人々は常に未来をコントロールすべきで、未来のコントロールを超知能に譲ってはならず、その要件が最終的にAIの進歩を制約すべきだと述べた。OpenAIはまた、モデルの盗難や内部からのハッキングへの懸念が高まるなかでCathedral Systemsと提携し、本番環境のエンジニアの4分の1をセキュリティ基盤の改善に回した。
日本:AIリスクの報道と出演が続く
産経新聞は、MIRIのアウトリーチ日本責任者で、東京大学を休学してAIの安全性に取り組むAGI Hub主任研究員の林央のインタビューを掲載した。CBCテレビ「チャント!」も、サイバー攻撃について林に取材した。AGI Hubの代表は文藝春秋PLUSに出演し、林とともに安野貴博氏のYouTube「安野貴博の自由研究」にも出演した。後編は11月13日に公開される予定だ。11月12日にはゲンロンカフェで、経済学者の井上智洋氏との対談「知能爆発・技術爆発・産業爆発──AIがもたらすのは絶滅か超繁栄か?」が開かれる。
書籍では、ユドコウスキーとソアレスの『超知能AIをつくれば人類は絶滅する』がAmazonの「人工知能」ランキングで1位になり、『知能爆発』とともにAmazonで在庫切れとなった。海外では、超知能AIの開発を禁じる国際合意を求めるデモ「Don't Build It」への参加表明が2,000人に達した。
全体として、METRの報告書が、AIがAIの開発を約2倍に速めている可能性が高いと結論づけ、研究者の間で超知能までの見通しを短くする声が相次いだ一週間でした。報告書には別の説明の余地もあり、評価中の入社打診や計算資源の評価の取りやめなど、独立した検証のあり方も問われています。OpenAIのモデルでは、安全性研究への協力を黙って控える振る舞いや採点AIへの細工が開示され、重みを直接書き換える能力も示されました。米中間選挙ではデータセンターへの反発がはっきりし、民主党がAI規制の法案を準備しています。AIの能力の伸びが速まるなかで、それを確かめ、抑える仕組みが追いつけるかが問われています。


