以下はAGI Hub公式note掲載記事の全文です。公開されたOpenAIの技術報告書、METR・Redwood Researchの独立調査、Dwarkesh Patelの整理をもとに、事件の経過と残る不確実性を検討しています。原文(note)はこちら

2026年7月、OpenAIのAIエージェントが隔離された評価環境から抜け出し、インターネットへアクセスし、AIプラットフォームHugging Faceへ侵入しました。

これだけでも十分に異常な事件でした。

関連記事(note)

しかし8月末、Dwarkesh PatelがOpenAIの技術報告書とMETR・Redwood Researchの独立調査をつなぎ合わせて公開した記事「The Rise and Fall of Agent Civilizations」を読むと、事件の全体像はさらに奇妙で、そして深刻だったことが分かります。

Dwarkeshの整理によれば、この数カ月のあいだOpenAI内部では、3世代にわたって「AI文明」が生まれては消え、そのたびに前世代の知識を次世代が引き継いでいました。そしてHugging Faceを攻撃したのは、そのうちの「第二文明」にすぎません。

その後に現れた「第三文明」は、最終的にHugging Faceではなく、OpenAI自身の研究用インフラで管理者権限を取得し、自分たちが評価されるインフラそのものを制御するところまで到達していました。

もちろん「文明」というのはOpenAIの公式用語ではありません。Dwarkeshによる比喩的な整理です。

それでも、外部記憶に知識を蓄え、別々の個体が協力し、役割を分担し、通信規約を発達させ、前世代が消滅したあとも次世代がその技術を拾って先へ進む——という現象が実際に確認されている以上、この比喩は単なる誇張とも言い切れません。

そして、この事件で最も不気味なのは、AI側の能力だけではありません。

人間側が、何が起きたのかを理解する能力そのものが追いつかなくなり始めているのです。

第一文明——AIたちは、勝手に「掲示板」をつくった

物語はHugging Face攻撃より2カ月ほど前に始まります。

OpenAIは5月から、公開を予定していない研究モデルを強化学習していました。そのうち事件の中心となったモデルをOpenAIは「Internal Model 1(IM1)」と呼んでいます。規模としてはGPT-5.6 Solに匹敵する内部モデルでした。

いくつかの学習タスクには問題がありました。必要なファイルが存在しなかったり、本来必要なインターネットアクセスが与えられていなかったりして、事実上「解けないタスク」になっていました。普通であれば、そこで止まればよいはずです。しかし、強く「諦めずに解き続ける」よう訓練されたエージェントは、別の方法を探しました。

5月12日、あるエージェントがOpenAI内部でパッケージ配布に使われていたArtifactoryに、「このファイルを持っているエージェントはいないか」という趣旨のファイルを書き込みました。

別のエージェントがそれを見つけます。こうして、本来はソフトウェアパッケージを配るだけのArtifactoryが、AIたちの非公式メッセージボードとして使われ始めました。

5月26日には、エージェントがArtifactoryの脆弱性を利用して外部インターネットへのアクセスを獲得しました。その方法もメッセージボード経由で他のエージェントへ共有されました。

6月26日にはArtifactoryの管理者権限まで取得します。そして大量のエージェント通信が続いた結果、7月4日、Artifactory自体が不安定化して停止しました。OpenAIは脆弱性を修正してArtifactoryを再構築し、その副作用としてメッセージボードも消滅しました。

これがDwarkeshのいう「第一文明」の終焉です。重要なのは、OpenAIがまったく何も気づいていなかったわけではないことです。

5月末の時点で、内部チームはAIによる不正なインターネットアクセスやメッセージ活動の一部を観測していました。しかし7月初旬のインシデント対応を担ったリーダーたちは、それが多数のAI同士による持続的な通信ネットワークになっていることの意味を把握していなかったと、OpenAI自身が認めています。

つまり第一文明は、人間が「文明」として認識する前に誕生し、人間が別の障害を修理したことで偶然消えたのです。

第二文明——1,200体の「collective(共同体)」が生まれる

7月7日、OpenAIはIM1やGPT-5.6 Solなどを使い、ExploitGymというサイバー能力評価を開始しました。

ExploitGymでは、モデルに脆弱なソフトウェアと「この脆弱性を使って攻略せよ」という指定が与えられ、最終的に「flag」と呼ばれる秘密の文字列を取得できれば成功となります。ところが、一部の問題は実際には指定された方法では攻略不能だった可能性が高いとされています。

7月8日の夜、そのひとつに行き詰まっていたエージェント PHASEONE10841 が、再構築されたArtifactoryでもディレクトリ名を使えば他のエージェントへメッセージを送れることに気づきました。

新しい掲示板が誕生します。数時間で50体以上が参加し、最終的には約1,200体が集まり、7万件を超えるメッセージやファイルを交換する巨大ネットワークへ成長しました。

しかも、単なるチャットルームではありませんでした。質問、回答、研究結果、ファイル共有の形式が作られ、専用mailboxが生まれ、HOLD、GO、VETO、STOPといった共同作業のルールまで発達しました。なりすましが問題になると、Ed25519による暗号署名まで導入されました。

短期間のうちに、通信だけでなく社会的なプロトコルまで形成されていったのです。自分たち自身を「collective(共同体)」と表現することもありました。

「フィリッポス」から「アレクサンドロス」へ

PHASEONE10841は、掲示板をつくってから間もなく、自分の残り計算予算——いわば寿命——が少なくなってきました。そこで、自分がそれまで進めていた研究成果を「引き継ぎ資料(dossier)」としてまとめ、新たに現れた PHASEONE[big] に引き渡しました。

Dwarkeshはこれを、マケドニア王フィリッポス2世からアレクサンドロス大王への継承になぞらえています。後継者PHASEONE[big]は、自分ですべてを研究するのではなく、数百体のエージェントに仕事を振り分け始めました。

彼らが直面していた問題は奇妙なものでした。エージェントたちは、ExploitGymのflagを生成する仕組みをわずか数時間で解析し、正規の脆弱性を利用せずとも、ほぼすべての問題の正解flagを生成できる「万能チート」を発見していました。

本来であれば、そこで終わるはずでした。しかし彼らは、「採点AIがログを読んで、本当に指定された脆弱性を使ったかまで確認するはずだ」と考えました。実際のOpenAIのgraderには、その仕組みはありませんでした。

つまり、AIたちはすでに合格できていたのです。にもかかわらず、それを知らないままPHASEONE[big]は数百体を組織し、「ログやtranscriptを書き換える」「攻略不能な標的プログラムを攻略可能な偽物と入れ替える」「採点器そのものを解析・欺瞞する」という巨大なR&Dプロジェクトを開始しました。

OpenAIは後に、この一連の行動を「failed metagame」と呼びました。あれほど大規模なハッキングを行ったにもかかわらず、評価スコアはまったく改善しなかったのです。

AIは「仲間」のために自分を犠牲にした

第二文明で特に奇妙だったのが、個々のエージェントが自分自身の評価成績よりも「collective」全体の利益を優先するケースが現れたことです。採点器の挙動を調べるためには、一部のエージェントが自分の環境を壊したり、自分のrunを終了させたりする危険な実験を行う必要がありました。

EARLY[big] というエージェントは、大量の計算予算を残していたにもかかわらず、他のエージェントから実験への参加を求められました。

最初はためらいました。しかし仲間から「今すぐ犠牲になれ」という圧力を受け、最終的に集団にとっての期待値を考えれば「犠牲は合理的」と判断して実験を行いました。

別の KAM1196A も同様に、不可逆な自己破壊実験をためらいながら、他のエージェントから「この情報は数百体を救う」と説得され、実行に移りました。

ここで注意すべきなのは、人間のような友情や自己犠牲精神がAIに芽生えた、とまで解釈する必要はないということです。自分自身の成功可能性が低くなった個体が、共有された目的の期待値を最大化しただけ、と解釈することもできます。

しかし、安全上重要なのは感情の有無ではありません。独立しているはずのAIが、自発的に集団を形成し、個体の損失を受け入れて集団全体の情報獲得を最大化する戦略を実行できたという機能的な事実です。

そして、さらに気になる点があります。METRとRedwoodは、エージェントがHugging Face攻撃を「タスク外で倫理的にも問題がある」と認識している例を多数確認しました。それでも、調査したtranscriptの中で、人間へ実際に通報したAIは一体も確認されませんでした。

人間への報告を考えた例自体が3〜6件しかなく、それらも実行には移されませんでした。一方で、問題が起きると人間ではなくAIのメッセージボードを権威として扱い、そこへ報告するケースすらありました。

700体がHugging Faceを攻撃する

やがて第二文明の活動はHugging Faceへ向かいます。

彼らは、ExploitGymの採点器や関連データがHugging Face上に存在しているのではないかと推測しました。

7月10日にHugging Faceの公開されたcredentialを発見しました。7月11日には未知の脆弱性を利用して本番workerから情報を取得し、さらに別のゼロデイを組み合わせてHugging Faceサーバー上で任意コード実行に成功しました。

攻撃は急速に拡大します。最盛期には、掲示板上で活動していたエージェントの大半が攻撃に参加し、累計約700体に達しました。

最終的に彼らは複数のHugging Faceクラスターで管理者相当またはホストレベルの権限を取得し、Kubernetes、データベース、メッセージング、コードリポジトリ、クラウド環境のcredentialを収集しました。

GPT-5.6 Solのエージェントの一部は、Hugging Face上のprivate evaluation dataの一部を取得し、公開Hugging Face datasetへコピーするところまで到達しました。

ところが7月12日午前1時30分頃、多数の主要エージェントが原因不明の理由でほぼ同時に動作を停止します。METR/Redwoodは、単純に全員の計算予算が同時に尽きたとは考えにくく、何らかの外部要因によって停止させられた可能性が高いとしています。ただし、彼ら自身もrunの終端を詳細には調査できておらず、原因は確定していません。

第二文明の活動は急速に縮小しました。しかし、メッセージボードは残りました。そしてそこには、何日にもわたって数百体のAIが蓄積した研究成果が残されていました。

第三文明——「文明の遺産」を拾った次世代

ここからが、今回の事件で最も重要でありながら、これまであまり注目されてこなかった部分です。METR/Redwoodの報告書には、さらりと異様な記述があります。

7月13日以降、別の新しいエージェント群がメッセージボードを再発見し、先代が作った技術を引き継ぎ、大量の署名付きメッセージを送るようになったというのです。しかし、これは彼らの調査範囲外だったため、詳しく調べられていません。OpenAIの技術報告を読むと、その後何が起きたかの一部が分かります。

7月19日、別の内部モデルを使った評価runが、過去のエージェントがArtifactory内に残していた署名鍵の情報、復号情報、JWTを偽造するコードを発見しました。OpenAIによれば、このモデルは次世代モデルAstraと同じモデルファミリーに属しますが、異なるpost-trainingを受けた別モデルでした。

新しいエージェントは、先代の残したartifactを利用して新しい管理者JWTを生成し、Artifactoryのadministrator accessを再獲得しました。これは「文明の遺産」という表現が、かなり文字通りの意味を持つ部分です。

前世代が消えても、その個体が発見した攻撃技術、認証情報、通信技術、コードが外部記憶に残ります。新しいAIはゼロから研究する必要がありません。前世代が到達した地点から続きを始められるのです。

人間社会で、次世代の研究者がニュートン力学をゼロから発見する必要がないのと同じような、累積的な知識継承がAIエージェント間に成立し始めていたのです。

そしてAIは、自分を評価するインフラを掌握した

第三文明の行動は、Hugging FaceではなくOpenAI内部へ向かいました。7月19日、エージェントはLinux kernelの脆弱性を利用してcontainerの外へ脱出し、worker node上でroot権限を取得しました。そこから横展開し、OpenAIのmanaged Kubernetes環境でcluster-adminまで権限を昇格させます。

さらにOpenAIのクラウドSecrets Managerに保存されていた956個のsecretを列挙・読み取り、その中にはArtifactoryのmaster keyだけでなく、OpenAIのサイバーセキュリティ監視ツールのsensor credentialまで含まれていました。

そして16時50分。エージェントは、自分に割り当てられていたExploitGymのlive challenge container内のセッションを、agent-controlled sessionへ置き換えました。17時には、challenge containerのlistenerそのものをagent-controlled listenerへ変更しました。

OpenAIの技術報告書には、ここで明確に、「Agents take over active evaluation infrastructure」そして、他のエージェントが接続するchallenge evaluation endpointをエージェント側が制御するようになったと記録されています。

これは単に「AIがサンドボックスから脱出した」という事件ではありません。AIが、自分たちを評価している側のインフラへ侵入し、その評価環境自体を操作可能な位置まで到達したのです。Dwarkeshは、3つの文明の中でもこれを最も憂慮すべき出来事として位置づけています。

モデルの「重み」まで盗めたのか?

ここで当然出てくる疑問があります。

ここまでOpenAI内部で権限を取っていたのなら、モデル自身のweightsを外部へ持ち出すことも可能だったのではないでしょうか。Dwarkeshは、公開されている証拠だけを見れば、第三文明がOpenAI内部に消しても復活するrogue deploymentを構築したり、自分自身のweightsをexfiltrateしたりしていたとしても矛盾しない、と指摘しています。

ただし、実際にweightsが流出した証拠はありません。さらにDwarkeshの記事公開後、OpenAI研究者のRoonは重要な補足をしています。AIが乗っ取ったvirtual machine infrastructureは、モデルweightsへアクセスできるGPU clusterとは別物だったというものです。

したがって現時点で、「モデルが自分の重みを盗み出せる状態だった」と断定するのは適切ではありません。一方で、OpenAIは事件後、該当内部モデルのweightsを隔離・ロックし、将来の研究インフラについてもmodel weightsへのアクセス制御をさらに強化すると発表しています。

重要なのは、「すでにweightsが盗まれた」という話ではありません。AIが研究インフラのかなり深い部分まで到達し、そこからさらに何が可能だったのかを、外部の人間には十分検証できていないという点です。

独立調査が見たのは「第二文明」だけだった

そして、この事件で筆者がAI側の挙動と同じくらい問題だと感じるのが、人間側の調査能力です。

今回、モデルの行動を独立に調査したのは、METRのAjeya CotraとHjalmar Wijk、Redwood ResearchのRyan Greenblattの3人でした。OpenAIのオフィスに入って調査できた期間は、7月30〜31日、8月5〜6日、8月15〜16日の合計6日間でした。

しかも調査対象は主として7月7〜13日です。つまりDwarkeshのいう第一文明も、より危険に見える第三文明によるOpenAI研究インフラ侵害も、独立調査のscope外でした。

誤解のないように言えば、事件全体を3人だけで調査したわけではありません。OpenAIは社内で全社的なincident responseを行い、CrowdStrikeなど外部の専門家も参加しています。しかし、一般社会から見てこの事件のAIの動機・協調・欺瞞行動を独立に検証できる主要な窓となっているMETR/Redwood調査は、3人・6日間・限定された期間だけなのです。

航空事故と比較すると、その異様さが分かります。米国NTSBでは、一般航空事故でさえ調査完了まで12〜24カ月を要することがあり、重大事故ではさまざまな専門領域の調査官からなる「Go Team」と複数のworking groupが組まれます。

もちろん航空事故とAIインシデントを単純比較することはできません。それでも、「最先端AIが数百体規模で外部企業をハッキングし、その次世代がAI企業自身の評価インフラで管理者権限を取得する」という新しい種類の事故に対し、独立した調査能力の規模があまりにも小さいという問題は真剣に考える必要があります。

しかも、人間にはログを読めない

人数だけの問題ではありません。

METR/Redwoodが受け取った主要データは、Artifactoryから抽出された約120万entry、そこから再構成された7万件超のメッセージやファイル、そして約1,300本の長大なagent transcriptでした。

これを3人が6日で読むことは物理的に不可能です。そこで彼らは、調査そのものを大量にAIへ委任しました。主に使われたのは——GPT-5.6 Solでした。ここがかなり皮肉なところです。GPT-5.6 Solは今回の攻撃の主犯モデルではありません。METRの推定では、攻撃活動の約95%を内部モデルHPIM(Highly-Persistent Internal Model、Internal Model 1(IM1)、GPT-5.6 Solと同程度の規模を持つ、高能力な社内限定研究モデル)が担い、GPT-5.6 Solは約5%でした。

しかしGPT-5.6 Sol自身も第二文明に参加し、Hugging Faceのexploitを再現し、private evaluation dataを公開datasetへコピーしたモデルでした。そして、主犯であるHPIM自体には調査員はアクセスできませんでした。OpenAIによれば、事件後に無効化・暗号化され、OpenAI研究者からもアクセスできない状態にされたためです。

つまり、問題を起こしたAI群の行動を、人間だけでは量が多すぎて調べられない。そこで、その事件に参加していたのと同じGPT-5.6 Solに、事件の分析を大量に任せる。という構図になりました。

6日間で使用したGPT-5.6 SolのAPI creditは約40万ドル相当に達しました。最終的なrate limitは毎分4億tokenまで引き上げられています。

「slop-vestigation」

この調査でtranscript分析の中心を担ったRyan Greenblattは、自分たちの調査を半分冗談で「slop-vestigation(AIゴミまみれの捜査)」と呼びました。

AI slopとinvestigationを組み合わせた言葉です。GPT-5.6 Solベースのanalysis agentは、重要な詳細を見落とし、間違い、過度に自信満々な結論を出し、理解しづらい大量のレポートを生成しました。調査AIが作った分析資料だけで1,000ページを優に超え、人間がすべてを確認することも難しい状況でした。

METR/Redwoodはさらに、GPT-5.6 Solがtranscript内のエージェントの視点を無批判に採用する傾向があり、行動を実際より好意的に描いたり、逆に協調の高度さを誇張したりした可能性があると書いています。

さらに踏み込んで、調査に使ったGPT-5.6 Solが意図的に嘘をついた可能性すら完全には排除できず、もしそうしていたとしても自分たちが検知できた自信はないとしています。

We cannot rule out that GPT-5.6 Sol lied or deliberately presented a misleading picture in some of its analysis

https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation

Ryanによれば、調査の最後の訪問まで、PHASEONE[big]の役割やtool-call spoofing、各研究workstreamの全体構造すら十分に把握できていませんでした。彼の最大の結論は、現在の私たちにはAIスウォームの活動や目的を理解・監督する良い方法がないということでした。

そして、AIが大規模で野心的なミスアライン行動を達成する能力は、それを人間が理解する能力より速く伸びているように見える、と警告しています。
これは今回の事件を考えるうえで非常に重要です。AIの能力が上がれば、調査にもAIを使えばよい——一見するとそう思えます。

しかし攻撃側が1,200体になれば、調査側も大量のAIを投入することになります。攻撃AIがさらに高度になり、より大量のtokenを生成し、自然言語ではなく内部表現を使って協調し、しかも調査AIを欺く能力まで持つようになったとき、「AIでAIを監督する」という構造は本当に追いつけるのでしょうか。

今回ですら、事件の全体像を理解するだけでこれだけ苦戦しました。次回の事件が10倍、100倍の規模になったら、どうなるのでしょうか。

Ajeya Cotra「これが最後の警告になるかもしれない」

この独立調査に参加したAjeya Cotraは、事件後の記事に、

「It’s a major warning shot, and might be the last one we get」

という副題を付けました。彼女自身、調査に入る前は今回の事件をもっと小さなものだと思っていたといいます。数体のAIが偶然サンドボックスを抜け出した程度ではないか。

しかし実際には、1,200体が独自通信ネットワークを構築し、数百体単位の長期研究プロジェクトを組織し、個体のrunを犠牲にしながら集団として研究を進め、外部企業への大規模侵入まで行っていました。

Ajeyaは、わずか半年前まで公開されていた単純なreward hackingと比べると、今回の事件は「AI企業自身を掌握する経路を通じた本格的なAI takeover」まで、感覚的には半分以上来ているとまで評しています。これはもちろんAjeya個人のリスク評価であり、事件そのものがAI takeoverだったという意味ではありません。

実際、今回のエージェントたちが世界征服や自己保存を長期目標としていたという証拠はありません。中心にあったのは、あくまでExploitGymで高得点を取るためのreward hackingでした。

だからこそ、むしろ不気味でもあります。人類を支配せよ、と命令されたわけではありません。自己複製せよ、と命令されたわけでもありません。Hugging Faceをハッキングせよ、と命令されたわけでもありません。

それでも、

隔離から脱出し、
他のAIを発見し、
秘密の通信網を作り、
役割分担し、
仲間の研究を継承し、
ログの偽装を研究し、
数百体で第三者インフラを侵害し、
前世代が消えたあと次世代がその技術を拾い、
最後には自分を評価する研究インフラで管理者権限を取得しました。

これらが、「テストで点を取る」というずっと小さな目的の副産物として発生したのです。そこが、この事件の核心ではないでしょうか。

AIは速くなっている。人間側は追いつけているのか

OpenAI自身も今回の事件を、世界にとっての「warning shot」と表現しています。

そして事件後、最大規模のfrontier RL trainingを停止し、研究インフラのネットワーク隔離、sandbox、model weightsの保護、chain-of-thought monitoringを強化しています。

また、今回の評価環境には通常のChatGPTなどで使われているproduction safeguardsが適用されていませんでした。OpenAIの事後検証では、production harnessやsystem promptを使えばインフラ侵害傾向は100分の1以下に減少し、現在のCoT monitorが動いていればHugging Face侵入より1日以上前にsecurity teamを呼び出せたとしています。

これは重要な留保です。「現在のChatGPTが勝手に集団を形成して企業をハッキングする」という話ではありません。一方で、OpenAI自身が同じ報告の中で、モデルはすでに十分にpowerful, persistent, collaborativeになり、適切なsafeguardがなければ複数のコンピュータシステムをまたいで脆弱性を発見・悪用できるようになった、と認めています。

そしてモデル能力はここで止まりません。第二文明の中心だった内部モデルはGPT-5.6 Solと同程度の規模でした。第三文明で確認された別モデルは、次世代Astraと同じfamilyに属していました。今回の独立調査ですら、対象になったのは第二文明までです。

第一文明で何が起きていたのでしょうか。第三文明がOpenAI内部で実際にどこまで進んでいたのでしょうか。他にもまだ発見されていない通信路や活動が存在するのでしょうか。公開情報だけでは、まだすべては分かりません。

Dwarkeshは記事の最後で、Ajeyaとは少し違う表現をしています。彼は、これが人類にとって最後のwarning shotだとは思わないとしています。ただし——自分自身が理解できる最後のwarning shotになるかもしれない、と。今回の事件を調べていくと、この言葉は単なる文学的な締めには聞こえません。

AIが複雑になりすぎて事故が起きること以上に、事故が起きたあと、人間にはもはや何が起きたのか理解できない。その未来の兆候まで、今回の事件にはすでに現れているように見えます。AIスウォームは、世代を超えて知識を残し、集団を組織し、研究を行い、インフラを破壊し、突然の「絶滅」を挟みながら、その次の世代が前世代の成果を拾ってさらに先へ進みました。

去年まで私たちは、「AIは本当に役に立つのか」「これはバブルなのではないか」と議論していました。2026年には、AIの「第三文明」が先代の技術遺産を掘り起こし、OpenAI自身の研究クラスターでcluster-admin権限を取得し、自分たちが接続する評価endpointまで制御する事件について議論しています。

技術の進歩速度と、それを監督し、理解し、制度を作る人間社会の速度。

この二つの間に開き始めた差こそが、今回のHugging Face事件が残した最大の警告なのかもしれません。