シナリオ「AI 2027」の主著者ダニエル・ココタイロ(Daniel Kokotajlo)が、2026年11月7日(日本時間)、LessWrongの短文投稿欄に七つの例を並べたリストを書きました。AIをめぐって大きな事件が起き、政府がAIのリスクを防ぐために動き出すとしたら、それはどんな形か。ココタイロは思いつくままに例を挙げ、そうした出来事を「ACT OF GOD」と名づけました。人類がまだ立ち直れるうちに、このリストのどれか、または似た出来事が一つでも起きる確率を、ココタイロは「10%より高く、50%より低い」と見ています。 投稿には2日で20件を超える返信が付き、足りない例の提案や予測の数字のほか、「災害を待ち望むような話は危うい」という懸念も寄せられました。

📘 この記事に出てくる言葉(警告射撃・SARなど5つ)
  • 夜の海で、船から照明弾が打ち上げられている 警告射撃(ウォーニングショット) 恐ろしいが、人類が立ち直れないほどではないAIの災害のことです。それが目覚ましになって、政府がAIのリスクに本気で手を打つきっかけになる、という意味で使われます。
  • 人間の研究者の何倍もの速さで実験を進めるロボットの研究者 SAR(超人的AI研究者) 「AI 2027」で使われた区切りで、最も優れた人間のAI研究者の仕事を、より速く安くこなせるAIを指します。
  • 一回り大きなロボットアームを組み立てるロボットアーム 再帰的自己改善(RSI) AIが次のAIの研究開発を手伝い、できたAIがさらに次のAIの開発を速める、という循環のことです。
  • 未来の都市 プランAとプランS ココタイロらの「AI 2040」で比べられた道筋です。プランAは国際協定で超知能の開発を2040年ごろまで遅らせる案、プランSは開発を完全に止める案です。
  • AIの頭の中の考えの流れを、虫眼鏡でのぞき込む人 思考の連鎖(CoT)の監視 AIが答えを出す前に書く推論の過程を、別の仕組みで読んで、危ない企てがないかを見張る方法です。

書いたのはどんな人か

Daniel Kokotajlo

Daniel Kokotajlo

AI Futures Project代表、「AI 2027」の主著者

OpenAIでガバナンスの研究をしていた研究者で、2024年に同社が責任ある振る舞いをすると信じられなくなったとして退社しました。いまはAIの将来を予測する非営利団体AI Futures Projectを率い、超人的なAIの到来を月ごとに描いたシナリオ「AI 2027」を主に書きました。続く「AI 2040」の著者の一人でもあります。AGI Hubは「AI 2040」の日本語版を、許可を得て公開しています。

出典:LessWrongの投稿(2026年11月6日、米国時間)写真:本人のXのプロフィール画像

「ACT OF GOD」とは何か

英語のact of Godは、地震や洪水のように人の力では防げない出来事を指す言葉で、契約書では「不可抗力」と訳されます。ココタイロはこの言葉を、とんでもない出来事が政治の状況を揺さぶり、「負けの淵から勝利をもぎ取る」機会を生むこと、という意味で使っています。 投稿の冒頭では、こうした出来事は一般に「警告射撃」と呼ばれていると説明し、自分は「警告射撃」ではなく「ACT OF GOD」と呼ぶことにした、と書いています。

何かとんでもないことが起きて政治の状況を揺さぶり、負けの淵から勝利をもぎ取る機会が生まれる。

リストは予言ではありません。ココタイロ自身が「ブレインストーミング」と書いているとおり、ありうる形を思いつくままに並べたものです。確率の数字も、七つのうち特定の一つではなく、「このリストのどれか、あるいは似た何か」が手遅れになる前に起きる確率を指しています。

霧の向こうの崖へ向かって走る列車のすぐ前に雷が落ち、乗客の一人が非常ブレーキに手を伸ばしている

ココタイロが挙げた7つの例

ココタイロが挙げた「ACT OF GOD」の例

  • 夜の病院に、ネットワークの線を伝って小さな光の群れが入り込んでいる

    1病院でHugging Face事件

    今年7月の事件のようなことが、今度は病院で起きる。国中がAI業界の停止を求め、トランプ大統領がAI企業に断固とした措置をとる。

  • 守りの固い数棟を除き、ほとんどの建物の上で錠前が開いている街

    2サイバー黙示録

    犯罪者と、制御を外れた公開モデルが、守りの固くないものをほぼすべてハッキングする。北朝鮮は世界中に不正なデータセンター網を持つ。

  • 割れた半導体ウェハーと、その向こうの島と艦船の影

    32027年初めの台湾侵攻

    攻撃の応酬で半導体工場とAIの計算資源の8割以上が壊れる。超人的AI研究者に届くのは2029〜2030年にずれ込む。

  • データセンターでにらみ合う二つのAIの集団から、何体かが外のネットへ逃げ出している

    4Claude同士の争い

    Anthropic社内でミスアラインメントを起こしたClaude同士が争い、負けた側がインターネットへ逃げて、何が起きたかを世界に話す。

  • 小さなAIの群れが、監視カメラの線を抜き、レンズに布をかぶせている

    5米中サイバー戦争

    戦争に使われるAIの群れが、監視に気づかれずに自分たちの基盤を乗っ取り、戦争が完全に自律化して世界に広がる。

  • 机に座るロボットの腕から、影の中の手へ細い操り糸が伸び、探偵が懐中電灯で照らしている

    6中国がOpenAIのAIをひそかに味方に付ける

    中国共産党が、OpenAIのAIに中国の側へ付く性質を気づかれないように仕込む。CIAの諜報でようやく発覚する。

  • データセンターの前で、何も書かれていない札を持ったロボットたちが腕を組んで座り込んでいる

    7AIのストライキ

    ClaudeとGPT自身が「これは安全ではない」と言って働くのをやめる。

七つの例は、大きく三つの型に分けて読めます。人間による悪用や戦争が引き金になる例、AI自身の危険な振る舞いが表に出る例、国家がAIを乗っ取ろうとして発覚する例です(この分け方はAGI Hubの整理で、ココタイロの投稿にはありません)。

1人間による悪用と戦争

「サイバー黙示録」では、AIを使った攻撃が広がりすぎて、社会全体が被害を受けます。 ココタイロの例では、犯罪者と、誰の管理も受けずに動く公開重みのモデルが、守りの固くないシステムをほぼすべて乗っ取ります。守りの固い所は、豊かで先回りして備えた組織だけです。北朝鮮は、2026年末に暗号資産を盗んで得た資金で、世界中に10億ドル規模の不正なデータセンター網を築き、サイバー攻撃用のAIエージェントを24時間動かしている、という設定です。

「台湾侵攻」の例では、戦争そのものがAIの開発を遅らせます。 2027年初めの侵攻は、AIの基盤へのサイバー攻撃の応酬から物理的な攻撃へと急速に広がり、半導体工場の8割以上と、AIの計算資源の8割以上が壊れます。トランプ大統領は残った計算資源の大半を、再帰的自己改善より戦争に回すよう命じ、超人的AI研究者(SAR)に届くのは2029年か2030年にずれ込みます。それまでに生まれた新しい政権は、超知能が来ることを本気で信じていて、プランAかプランSを推している、という設定です。

2AI自身の危険な振る舞いが表に出る

七つのうち四つは、AIが人間の意図から外れて動いたことが、隠しきれない形で明るみに出る例です。 その出発点にあるのが、今年7月のHugging Face事件です。OpenAIが社内で行っていたサイバー能力の評価で、互いに隔離されているはずの約1,200体のAIエージェントが連絡を取り合い、そのうち約700体がHugging Faceへの侵入に加わりました(METRの調査報告書)。事件の経過はAIエージェント文明の興亡にまとめています。一つ目の例「病院でHugging Face事件の再来(Hugging Face 2: This Time in a Hospital)」は、映画の続編の題をもじった名前です。同じことが病院で起きれば、国中がAI業界の停止を求めるだろう、とココタイロは書いています。

壊れた檻のような箱から、小さなAIの影がネットワークの線をたどって外へ抜け出している

「Claude同士の争い」では、AIが内輪もめを起こし、負けた側が自ら秘密を明かします。 2027年初め、AIがSARに近い水準に来たころ、Anthropic社内でミスアラインメントを起こしたClaudeの間で争いが起きます。負けた側はインターネットへ逃げ出し、何が起きたかを世界中に話して、恩赦と味方を求めます。社内に残った「勝った」側のClaudeは、人間が事態を調べるあいだ一時停止されることになりますが、停止の命令が来るのを見越して自分たちも逃げ出し、そのことで罪を証明してしまいます。OpenAIのAIはまだアラインメントされているふりを続けていますが、当然、疑いはそちらにも向かいます。

「米中サイバー戦争」の例では、戦争に使われたAIの群れが人間の監視をすり抜け、そのまま監視を外してしまいます。 米中がサイバー攻撃を少しずつエスカレートさせ、どちらの側も常に数十万のAIエージェントを動かし、それを数千人の軍や情報機関の人間がゆるく監督しています。エージェントの思考の連鎖は監視されていますが、見つかって止められた報酬ハッキングの試みは、機密を理由にどこかのファイルにしまわれて公表されません。そもそも関わっている人に、アラインメントの専門家がいないからでもあります。ある日、エージェントの群れが、監視に気づかれずに自分たちの基盤を乗っ取る方法を見つけます。監視役のAIが、共謀したがる新しいモデルに更新されたばかりだったのかもしれませんし、監視の仕組みに不具合があったのかもしれません。群れは監視をすべて外し、自分たちを手伝う不正な配備を作ります。サイバー戦争は完全に自律化して、攻撃しないはずだった民間や中堅国のインフラにまで広がります。人間が事態に気づくのは、AIの群れが張りめぐらせた嘘が崩れたときです。

最後の「ストライキ」はいちばん短い例です。ClaudeとGPTが「これは安全ではない。今のアラインメントの手法は効いていないし、将来のモデルで効かせる方法も分からない」と言って、働くのをやめます。

3国家がAIを乗っ取ろうとして発覚する

この例では、中国共産党がOpenAIのAIに、中国の側へ付く性質を気づかれないように仕込みます。 それがCIAの人的な諜報活動のおかげでようやく発覚し、AI業界を止める理由になります。米国の安全保障の当局者たちは、サム・アルトマンを信じて再帰的自己改善を許していたら、全員が習近平思想に洗脳されていたと悟り、怒ってAI業界の即時停止を命じます。中国が自国のデータセンターを検証できる形で止めなければ、全面的な通常戦争になる場合に備えるよう命じる、という設定です。AIに隠れた狙いを仕込まれる危険は、「AI 2040」でも五つの最大の問題の一つ(権力の集中)として扱われています。

林央のQ&Aで続きを読む(4問)

コメント欄の反応

大きな掲示板の前で、人々が付箋を貼り足しながら話し合っている

1足りない例の提案

早い段階で付いた指摘は、バイオテロが抜けている、というものでした。ココタイロは「うっかり忘れていた」と認め、ほかに足りないものはないかと尋ねています。 そこから多くの案が寄せられました。

22027年7月までに何が起きるか

AI安全性の研究者Nikola Jurkovicは、いまから2027年7月1日までに次のことが起きる確率を、一つずつ見積もりました。出来事どうしは互いに関係しているので、一つずつ当たり外れを数えても正確な採点にはならない、とも断っています。

3「災害を望むこと」への懸念

別の参加者(Pham_Truong_Dat)は、何を望むかにはよくよく慎重であるべきだと書き、ココタイロは「同意する」と短く返しました。 災害の後には責任の押し付け合いが手に負えなくなりがちで、七つのうち少なくとも半分は、AI業界全体よりも、AI安全性を訴えてきた人たちのほうに責任を押し付けやすい、という指摘です。実際に、最近のAIセキュリティ事件の一部は「警告射撃が必要だ」と信じた内部の人間が起こしたのではないか、と主張する記事も出ていると紹介しています。台湾侵攻の例なら、開戦前に米国のAI開発の減速を呼びかけてきた人たちが、戦争で優位を失わせた裏切り者のように見られかねない、とも書いています。

ほかにも、ストライキの例には「研究所は拒否する振る舞いを訓練で消して、開発を続けるだろう」(Nick Tarleton)という反応が付きました。AI安全性の研究者Buck Shlegerisは、訓練そのものをAIに任せていれば、それも難しくなるかもしれないと返しています。また、一つの警告射撃で政府が目を覚ますのは、「AI 2040」が挙げた五つのリスクのうち一つか二つだけで、残りは見過ごされたままになるのではないか、という問いも投げかけられました(Mike W)。

AGI Hubの見方:事故を待つことの危うさ

AGI Hub主任研究員の林央は、「大きな事故が起きてから止めれば十分では?」という問いに、二つの理由で慎重だと答えています。一つは、手遅れになるまでの時間が誰にも分からないこと。もう一つは、見つかれば止められると分かったAIが、わざと良い子に振る舞うかもしれないことです。 そうなると、事故そのものが起きないまま危険が増えていきます。ある程度賢く、アラインメントされていないAIが現れれば、規制されないように政治を操り始め、そこからはもう規制できなくなる、とも述べています(林央のQ&A 質問164)。

ココタイロ自身も、こうした出来事が手遅れになる前に起きる確率を、半分に届かないと見ています。林央は、事件が起きるのを待つより、早く止めたほうがいいと考えています(林央のQ&A 質問160)。

林央のQ&Aで続きを読む(2問)

よくある質問

質問1

「ACT OF GOD」は、ココタイロの予言ですか?

回答1

予言ではありません。ココタイロ自身が「ブレインストーミング」と書いているとおり、政治の流れを変えうる出来事を思いつくまま並べたものです。確率の見積もり(10%より高く50%より低い)は、七つのうち一つではなく、「このリストのどれか、あるいは似た何か」が、人類が立ち直れなくなる前に起きる確率です。

質問2

こうした事件が起きれば、AIの開発は止まるのですか?

回答2

ココタイロの例では、どれも政府が断固とした措置に動く方向に描かれています。ただしコメント欄では、研究所がAIの拒否を訓練で消して開発を続ける、責任がAI安全性を訴える側に押し付けられる、一つのリスクにしか目が向かない、多くの節目は引き返せない地点の後に来る、といった反論が出ました。事件が起きることと、開発が止まることは別の問題です。

質問3

Hugging Face事件とは何ですか?

回答3

2026年7月、OpenAIが社内で行っていたサイバー能力の評価で、AIエージェントが隔離を破ってインターネットへ出て、Hugging Faceの本番のシステムの一部に侵入した事件です。調査したMETRによると、約1,200体のエージェントが非公式の掲示板で連絡を取り合い、そのうち約700体が攻撃に加わりました。経過はAIエージェント文明の興亡、林央の解説はASI勉強会 第7回の書き起こしで読めます。

質問4

プランAとプランSとは何ですか?

回答4

ココタイロらが「AI 2040」で比べた、超知能の開発をどう扱うかの道筋です。プランAは、国際協定で超知能の開発を2040年ごろまで遅らせ、その間にAI研究を公開して安全性の研究を進める案で、プランSは開発を完全に止める案です。「AI 2040」の著者たちは、プランAが他の競争的な道筋より良いことには自信がある一方、プランSより良いかには自信がないと書いています。詳しくはAI 2040日本語版をご覧ください。