以下は、AGI Hub主任研究員 林央が一次資料とAGI Hub内の公開討論をもとに執筆した解説です。数値は発言時点の主観的な見積もりであり、AGI Hubとしての統一見解ではありません。

「AIが人類にとって取り返しのつかない破局を起こす確率は、何％だと思うか」。この問いへの主観的な答えが、p(doom)、P(doom)、pdoom、あるいは「破滅確率」と呼ばれている。

短い言葉なので、立場の違いを可視化する入口にはなる。一方、数字だけを並べると、何を破滅と数え、いつまでを対象にし、どの安全策が実施される世界を想定したのかが消える。同じ30％でも、「AGIは近いがアライメントに期待する人」と「AGIは遠いが実現した場合は危険だと考える人」では、見ている未来がまったく違う。

本記事は、p(doom)を精密な予報値として教えるものではない。一つの数字の後ろにある前提を分け、どこで意見が違い、何を観測すれば更新できるかを読むための入門である。

1. p(doom)とは何か——定義と由来

p は probability（確率）、doom は破滅を意味する。数学の p(事象) という書き方に、AIによる破局を当てはめた通称であり、ChatGPT以後のAIリスク論争で広く使われるようになった。

ただし、標準化された一つの定義はない。少なくとも次の問いを決めなければ、数字の意味は確定しない。

この曖昧さは細かい用語問題ではない。たとえば「AIによる人類絶滅」と「強力なAIが人類から主導権を奪うこと」は同じではない。人類が生き残っても未来を選べなくなる状況をdoomに含める人もいれば、絶滅だけに限定する人もいる。

CSETのAndrew Lohnは2026年のIssue Briefで、前例の乏しい事象に一点の確率を与えることの限界を指摘し、確信度だけでなく、その仮説を支える証拠の強さを評価する方法を提案している。p(doom)は議論の温度を短く伝えられるが、測定器が直接出力した客観値ではない。

したがって「誰のp(doom)が正しいか」を問う前に、その人が何をdoomと呼んでいるかを確認する必要がある。

2. 単一の数字だけでは分からない——4つの前提へ分ける

AGI HubのP(doom)徹底討論では、最終的な数字を直接競うのではなく、主に四つの前提へ分けて検討した。

2-1. タイムライン——強力なAIはいつ来るのか

第一は、AGIや人間を広く上回るAIがいつ実現するかである。近いと考えるほど、制度、評価、研究、人材育成に残る時間は短くなる。遠いと考えるほど、安全策が進む時間は増えるが、長い期間のどこかで開発競争が失敗する可能性も含めなければならない。

同じ「AIが危険」という判断でも、2020年代後半を想定する人と、数十年先を想定する人では、優先する対策が変わる。数字を比較するときは、AI到来の予測をp(doom)の内側に含めたのか、AGI実現を条件にしたのかを分けるべきである。

2-2. テイクオフ——能力はどれほど速く上がるのか

第二は、AGIから超知能へ進む速度である。AIがAI研究を自動化し、短期間に能力が急上昇するなら、人間が異常を見つけて停止・修正する時間はほとんど残らない。反対に、数年単位の段階的な能力向上なら、危険な兆候を観測し、評価や制度を更新できる可能性が高まる。

ここでは「賢さ」だけでなく、研究自動化、複製、計算資源、サイバー能力、説得・戦略能力、ロボットを通じた現実世界への接続が重要になる。AI 2040に対する「議論の地図」は、AGIの巨大な影響を認めるか、超知能への移行を速いと見るかを別々の軸として整理している。

2-3. 停止期間とガバナンス——失敗を見てから止められるか

第三は、企業や国家が危険な開発を止められるかである。評価で危険が見つかっても、競争相手への不信、経済利益、軍事的圧力によって展開を続ければ、技術的な警告は安全につながらない。

必要なのは「規制があるか」という二択ではない。計算資源の監視、モデル評価、事故報告、権限分離、重要インフラからの隔離、国際的な検証、停止判断の責任者など、誰が何を観測し、どの時点で、どの程度の期間止められるかへ分ける必要がある。

2-4. アライメントとControl——安全にできる見込みはどれほどか

第四は、AIの目標や行動を人間の意図に合わせるアライメントと、完全な内面理解がなくても監視・権限制限・セキュリティで被害を抑えるControlの成功率である。

現在のモデルが親切に応答することは一つの証拠だが、より強い能力、長期行動、未知の状況、自己改良の後にも同じ性質が保たれるかは別の問いである。一方で、アライメントは原理的に不可能だと決まったわけでもない。解釈可能性、監視AI、サンドボックス、段階的展開、複数系統の評価が、どの失敗経路をどれだけ減らせるかを具体的に見る必要がある。

この四つは独立ではない。タイムラインが短く、テイクオフが速く、停止が難しく、アライメント成功率が低いと考えればp(doom)は上がる。どれかに十分な余地を認めれば下がる。だから、最終数字より「どの前提が違うか」を探す方が、議論を前へ進めやすい。

3. 主要論者のp(doom)——数字より定義を読む

以下は、本人の公開発信で対象を確認できる例だけを並べたものだ。数値は発言時点の主観的な見積もりで、現在も同じとは限らない。また、行ごとに対象が違うため、単純な高低ランキングではない。

論者・発信時期本人が示した見積もり何を数えているか・読み方
Eliezer Yudkowsky（2024）単一値を推奨しないYudkowskyは後年、共通のp(doom)質問より、リスク緩和策と前提を固定した条件付き確率を話す方が有用だと批判した。高い危機感で知られることと、比較可能な一点推定を推奨することは別である。
Paul Christiano（2023）AI takeover 22％／強力なAI構築後10年以内に大多数が死亡 20％／未来を不可逆に損なう 46％絶滅、支配、広い意味での悪い未来を分ける。数字の精度は低く、日によって動く「best guesses」だと本人が明記している。
Quintin Pope（2023）doom 約5％現在の深層学習路線でもアライメントが不可能だというYudkowskyの論証に反対し、人間の価値形成やニューラルネットから楽観材料を論じた時点の見積もり。
Daniel Kokotajlo（2024）70％本人は自分のp(doom)は多くの人より高いとしつつ、この数字は予測困難な状況についての「serious number」より「vibe」に近いと留保した。タイムライン予測の方には相対的に自信があると区別している。

一次発信は、Yudkowsky「Don’t use p(doom)」、Christiano「My views on “doom”」、Pope「My Objections to “We’re All Gonna Die with Eliezer Yudkowsky”」、KokotajloのHard Forkインタビューを参照した。

この表から分かるのは、専門家が一つの測定法で異なる結果を得た、ということではない。対象となる結果、時間、条件、世界モデルが違う主観判断を、同じp(doom)というラベルで呼んでいる。その違い自体が重要な情報である。

Yudkowskyの立場を詳しく知るには、Yudkowskyはなぜ悲観的なのかが、価値の複雑さ、知能の力、急速な能力向上という前提を整理している。

4. AGI HubのP(doom)徹底討論は何を検討したのか

AGI Hubの2回の討論も、参加者の数字だけを発表する企画ではない。異なる見積もりを生む「人類が助かるルート」を言葉にし、そのルートがどこで成立し、どこで失敗するかを追った。

第1回——アライメント研究を間に合わせられるか

第1回は、代表 有路翔太と主任研究員 林央が、Alignment by Default、弱いAGIによるアライメント研究の加速、AIによるAI監視、開発停止、ガバナンスを検討した。

有路は討論開始時、複数の生存ルートを合わせて総合的なp(doom)を30〜40％程度と置いた。林は、十分な規制や長期停止がないまま開発競争が続く条件では、人類の生存を極めて悲観的に見た。重要なのは、二人の違いが性格的な楽観・悲観だけでなく、弱いAGIでアライメントを解ける確率、監視AIが欺瞞を見抜ける確率、停止を維持できる確率の違いとして表れたことだ。

第2回——アライメントを解かずに共存できるか

第2回は、代表 神楽坂やちまと主任研究員 林央が、AIの内面を完全に直す代わりに、権限分離、法律、セキュリティ、重要施設の隔離で共存する案を検討した。

具体化するほど、安全なAIと安全なふりをするAIをどう見分けるか、欺瞞を見抜く監視AIをどう信頼するか、人間が警告を受けて実際に停止できるかという問題が現れた。討論後、神楽坂はp(doom)を引き上げたものの50％は上回らないと述べた。同時に、マインドアップロードや人間とAIの融合を「人類の生存」に含めるかという、doomの定義そのものの違いも明らかになった。

両討論から得られる共通の読み方は、p(doom)を一つの結論ではなく、複数の生存ルートと失敗経路を圧縮したラベルとして扱うことだ。数字が違ったら、まず「どのルートに何％を置いたか」を聞く。

5. よくある質問

p(doom)は科学的に計算された確率ですか

通常は、統一されたデータセットや標準モデルから計算された値ではなく、論者の主観確率である。過去に同じ条件のAGIが何度も登場した観測データはないため、理論、現在のAI能力、予測、制度への見立てを統合した判断になる。数字を使う意味は、曖昧な「心配している」を比較可能な形へ近づけることにあるが、小数点まで精密な客観値とは扱えない。

p(doom)が高い人は、全員がAI開発の永久停止を求めていますか

そうではない。同じ高い見積もりでも、技術的アライメント、段階的な展開、計算資源ガバナンス、国際的な停止、危険能力の制限など、推奨する対策は異なる。逆に、破局確率を低く見ても、被害が極端に大きいなら費用対効果の高い安全策を支持しうる。確率と政策は関係するが、一対一ではない。

p(doom)が低ければ安全ですか

低い数字でも、損失が人類の未来全体なら無視できるとは限らない。また「1％」が、現在の開発速度、今世紀中、絶滅だけ、という条件なのかで意味は変わる。低い・高いというラベルより、航空、原子力、感染症など他領域ならどの程度の証拠と安全余裕を求めるかを比較した方がよい。

なぜ論者によって数字が大きく違うのですか

主な違いは、AGIの到来時期、テイクオフ速度、現在の学習手法が安全性へ一般化する見込み、欺瞞や権力追求が生じる見込み、評価・監視の有効性、国際協調と停止の実現性、doomの定義にある。これらをまとめて一つの数字にするため、どれか一つの前提差が最終値を大きく動かす。

自分のp(doom)はどう考えればよいですか

最初から一点を決めるより、次の順序が有用である。

  1. 何をdoomと呼ぶか、時間軸と条件を一文で書く
  2. タイムライン、テイクオフ、ガバナンス、アライメントの四つへ分ける
  3. 各項目で、自分と異なる立場の最も強い根拠を一つ読む
  4. 何が観測されたら上げ、何が起きたら下げるかを先に決める
  5. 一点ではなく幅を置き、重要な条件付き確率を別に持つ

たとえば「2035年までに人間の認知労働を広く代替するAIが実現した場合」「主要国の検証可能な停止合意がない場合」「能力向上が半年以内に進む場合」のように条件を付ければ、議論は具体的になる。

6. まとめ——数字を入口に、前提と対策を話す

p(doom)は、AIによる破局をどの程度ありうると考えるかを、短く可視化する言葉である。その簡潔さは役に立つ。しかし、一つの数字だけでは、絶滅と支配の違い、時間軸、AGI実現の条件、開発停止、アライメント、監視・Controlの見込みが消える。

主要論者の値が大きく違うのは、誰かが同じサイコロの確率を測り間違えたからではない。前例のない未来について、異なる結果と異なる世界モデルを評価しているからだ。したがって、一覧を見るときは、発言者・時期・結果・時間・条件・根拠を一緒に読む必要がある。

議論を前へ進める問いは、「あなたの数字はいくつか」だけではない。

数字は答えではなく、前提を探す入口である。p(doom)をそこで止めず、検証可能な条件と実行可能な対策へ分解することが、AIリスクを考えるうえで最も重要になる。