記載した数値は各論者の発言時点の主観的な見積もりで、AGI Hubの見解とは独立しています。

「AIが人類にとって取り返しのつかない破局を起こす確率は、何％だと思うか」。この問いへの主観的な答えが、p(doom)、P(doom)、pdoom、あるいは「破滅確率」と呼ばれるものです。

一つの数字で立場を示せるため、議論の入口としては便利な言葉です。ただ、数字だけが広まると、その人が何を破滅と呼び、いつまでを見ていて、どんな安全策が講じられた世界を想定したのかという肝心の部分が見えなくなります。同じ30％を挙げていても、AGIは近いがアラインメントには期待できると考える人と、AGIはまだ遠いが実現すれば危険だと考える人とでは、思い描いている未来はまるで別のものです。

この記事は入門として、その数字の裏にある前提を四つに分けます。そのうえで、論者ごとにどこで判断が分かれるのか、何を観測すれば自分の見積もりを更新できるのかを整理します。

1. p(doom)の定義と由来

p は probability（確率）の頭文字、doom は破滅を意味します。数学では確率を p(事象) と書きます。この記法をAIによる破局に当てはめた通称で、近年のAIリスクをめぐる議論で広く使われるようになりました。

もっとも、この言葉の定義は論者ごとに揺れています。同じp(doom)という言葉を使っていても、次の五つが人によって違います。

  1. 1結末

    人類絶滅だけを指すのか

    大多数の死やAIによる恒久的な支配、価値ある未来の不可逆な喪失まで含めるのか

  2. 2原因

    意図のずれたAIによる破局だけを対象にするのか

    AIを使った戦争や生物兵器、権力集中といった人間の悪用まで含めるのか

  3. 3時間

    AGIの登場から10年か

    今世紀中か

    それとも将来全体か

  4. 4条件

    AGIや超知能の実現を前提にした確率か

    実現するかどうかも含めて計算した確率か

  5. 5対策

    いまの開発競争が続く世界を想定した数字か

    評価・停止・国際協調・アラインメント研究が強化された世界を想定した数字か

一つひとつは細かい話に見えますが、どれも結論を左右します。たとえば人類絶滅と、人間がAIを方向づけたり止めたりする力を失う制御喪失は、別の事象です。doomを絶滅だけに限定する論者もいれば、人類の長期的な可能性が恒久的に損なわれる結果まで含めた存亡リスク全体を指す論者も、回復の余地が残る大規模な被害まで含める論者もいます。p(doom)がAIによる存亡リスクの確率と同じ値になるのは、doomの範囲をそれと同じに取った場合だけです。

CSETのAndrew Lohnは2026年5月のIssue Briefで、前例の乏しい事象に一点の確率を与えることの限界を指摘しました。そのうえで、確信度に加えて「その仮説を支える証拠はどれだけ強いか」「反証する証拠はどれだけ強いか」も測る枠組みを提案しています。p(doom)は、どれくらい危機感を持っているかを手短に伝えるには役立ちますが、測定器で測った客観的な値とは性質が違います。

そのため「誰のp(doom)が正しいか」という問いは、その人が何をdoomと呼んでいるのかを確かめたあとで、ようやく意味を持ちます。

2. p(doom)を構成する四つの前提

p(doom)の値は、次の四つの前提をどう考えるかで決まります。

2-1タイムライン

第一の前提は、AGIや人間を広く上回るAIがいつ実現するかです。実現が近いと考えるほど、制度づくりも評価手法の確立も人材育成も間に合わなくなります。逆に遠いと考えれば準備の時間は増えますが、その長い期間のどこかで開発競争が破綻する可能性も、併せて考えることになります。

「AIは危険だ」という判断が一致していても、2020年代後半を想定する人と数十年先を想定する人とでは、いま優先すべき対策は変わります。数字を比べるときには、AI到来の予測そのものをp(doom)に含めた数字なのか、それともAGIの実現を条件として切り出した数字なのかを、まず見分けます。

2-2テイクオフ

第二は、AGIから超知能へ至る速度、つまりテイクオフの速さです。AIがAI研究そのものを自動化し、短期間で能力が跳ね上がるのであれば、人間が異常に気づいて開発を止めるまでの猶予はほとんど残りません。これに対して能力が数年かけて段階的に上がるのであれば、危険な兆候を観測しながら評価手法や制度を更新していく余地が生まれます。「速い」「遅い」は、どの指標を、どの水準からどの水準まで測るかを決めて初めて比べられます。能力の伸びが連続的でも、十分に速ければ速いテイクオフに当たります。

速度を左右するのは、知能の高さに加えて、研究をどこまで自動化できるか、モデルをどれだけ安価に複製できるか、そこにどれだけの計算資源を割けるかといった条件です。人を説得して動かす力や、ロボットを通じて物理的な世界に働きかけられるかどうかも、速度に影響します。AI 2040に対する「議論の地図」は、AGIの影響の大きさを認めるかどうかと、超知能への移行を速いと見るかどうかを、別々の軸として整理しています。

2-3停止期間とガバナンス

第三は、企業や国家が危険な開発を実際に止められるかどうかです。評価によって危険な兆候が見つかったとしても、競争相手への不信や経済的な利益、軍事的な圧力がそれを上回ってしまえば、技術的な警告は開発の抑制につながりません。

ここで大事なのは、規制があるかどうかより、どの程度の規制がかかるかです。AI開発の一時停止ひとつをとっても、対象、期間、適用範囲、執行方法、解除条件は提案ごとに違います。これを、計算資源の監視、モデル評価、重要インフラからの隔離、停止を誰が判断するのか、といった要素に分けます。そのうえで誰が何を観測して、どの時点で、どれだけの期間止められるのかを具体的に見積もって、ようやく議論が成り立ちます。

2-4アラインメントとコントロール

第四は、アラインメントとコントロールがどこまで成功するかという見積もりです。アラインメントは、AIの目標や行動を人間の意図に合わせようとする試みです。コントロール（Control）は、AIの目標がずれていて、しかも安全策を意図的にかいくぐろうとする場合でも、監視や権限の制限、セキュリティによって、受け入れられない結果を防ぐ取り組みです。

現在のモデルから望ましい応答を引き出せている点は、たしかに前向きな材料です。ただし、その性質が、より高い能力や長期にわたる行動、未知の状況、自己改良を経た後にも保たれるかどうかは、別に確かめるべき問いとして残っています。アラインメントが解けるかどうかも、いまだ決着していません。解釈可能性（AIの内部を調べる技術）や監視AI、サンドボックス（隔離した実験環境）、段階的な展開といった手段を組み合わせながら、どの失敗経路をどれだけ減らせるのかを一つずつ確かめていくことになります。

この四つの前提は互いに絡み合っています。タイムラインが短く、テイクオフが速く、停止が難しく、アラインメントの成功率も低いと見れば、p(doom)は当然高くなりますし、どこか一つにでも余地を認めれば下がります。だからこそ、最終的な数字を比べるよりも、どの前提で判断が分かれているのかを探すほうが、議論は前へ進みやすくなります。

数字そのものより、どの前提で判断が分かれているのかを探すほうが、議論は前に進む。

図解 p(doom)の数字が決まる仕組み

p(doom)の値は、doomをどう定義するかと、四つの前提をどう見積もるかで決まります。

doomの定義から最終値までの流れ

  1. 入口 何をdoomに含めるかを決める

    絶滅だけを指すのか、AIによる支配や価値ある未来の喪失まで含めるのか。時間軸と条件も、ここで一緒に決まります。

  2. 前提1 タイムライン

    強力なAIがいつ実現するか。近いと見るほど、制度づくりも評価手法の確立も人材育成も間に合わなくなります。

  3. 前提2 テイクオフ

    AGIから超知能へ進む速度。速いと見るほど、人間が異常に気づいて開発を止めるまでの猶予が縮みます。

  4. 前提3 停止期間とガバナンス

    危険が見つかったあと、誰が何を観測して、どの時点から、どれだけの期間止められるか。

  5. 前提4 アラインメントとコントロール

    AIを人間の意図に合わせられるか。目標がずれたAIが安全策をかいくぐろうとしても、監視と権限制限で受け入れられない結果を防げるか。

  6. 出口 一つの数字にまとめる

    この四つをどう考えるかの組み合わせが最終値になるため、どこか一つの前提が違うだけで数字は大きく動きます。

3. 主要論者のp(doom)

主要な論者のp(doom)の見積もりは、99％以上から数％まで大きく分かれます。本人の公開発信で数字と文脈を確認できる例を並べます。いずれも発言時点の見積もりであり、その後に更新されている可能性があります。下のカードは、数字が高い順に並べています。棒の長さは、各論者が示した確率の大きさです。ただし対象とするものがそれぞれ違うため、高低の順位表というより、定義の対照表として読んでください。棒の長さだけで比べず、カードの「対象」「条件」も合わせて読みます。

Roman Yampolskiy

Roman Yampolskiy2024

ルイビル大学 コンピュータ科学者（AIの制御可能性を研究）

99.999999％

対象
絶滅を例に含む「AIがもたらす非常に悪い結果」全般
条件
時間軸も、超知能が実現した場合という条件も示していない

99.999999％。ルイビル大学でAIの制御可能性を研究する本人が、2024年3月にXで自己申告した数値です。投稿はPauseAIのp(doom)一覧へのリンクだけを添えており、その定義は人類絶滅を例に含みつつ「AIがもたらす非常に悪い結果」全般を指します。時間軸も、超知能が実現した場合という条件も、本人は示していません。

出典：本人のX投稿写真：uoflphoto3、パブリックドメイン、Wikimedia Commons

Nate Soares

Nate Soares2025

MIRI代表、『If Anyone Builds It, Everyone Dies』共著者

95％超

対象
取材に「above 95 percent」と回答
補足
そこまで確信しているので「リスク」と呼ぶこと自体に反対

95％超。Yudkowskyとの共著『If Anyone Builds It, Everyone Dies』の刊行に合わせたVoxの取材で、自分の見積もりを「above 95 percent」と答えています。同じ取材で、そこまで確信しているのだから「リスク」という言葉を使うこと自体に反対だ、とも述べました。

出典：Voxの取材写真：M bourgon、CC0、Wikimedia Commons

Max Tegmark

Max Tegmark2025

MIT物理学者、Future of Life Institute共同創設者

90％超

対象
対象はAGIをめぐる開発競争が「地球の制御の喪失」へ行き着く確率で、人類絶滅とは別
根拠
AIを人間と別のAIで監督する仕組みの成功率を、最良のシナリオでも52％と試算

90％超。ただし対象が他の論者と違います。MITの物理学者である本人が「コンプトン定数」と呼ぶのは、AGIをめぐる開発競争が「地球の制御の喪失」へ行き着く確率です。人類絶滅の確率とは対象が違います。自身の研究チームが、AIを人間と別のAIで監督する仕組みの成功率を最良のシナリオでも52％と見積もったことを、根拠に挙げています。

出典：本人のX投稿写真：Web Summit、CC BY 2.0、Wikimedia Commons

Dan Hendrycks

Dan Hendrycks2023

Center for AI Safety所長

80％超

対象
絶滅か破局全般かは示していない
変化
2年前は約20％だったと本人が付記

80％超。Center for AI Safetyを率いる本人が、2023年4月にXで述べた数値です。2年前は約20％だったとも書き添えています。対象が絶滅なのか破局全般なのかは示されていません。

出典：本人のX投稿写真：TechCrunch、CC BY 4.0、Wikimedia Commons

Daniel Kokotajlo

Daniel Kokotajlo2024

AI Futures Project代表、元OpenAI研究者

70％

留保
doomの内訳は示さず、数字自体の確からしさに留保を付けている（「serious number」より「vibe」に近い）

Kokotajloは70％という高い数字を挙げていますが、本人はこれを「serious number」というより「vibe」に近いと表現し、そもそも予測のしようがない状況だからだと説明しています。同じインタビューのなかで、タイムラインの予測については相対的に自信があると区別している点も見逃せません。

出典：Hard Forkのインタビュー写真：本人のXのプロフィール画像

Paul Christiano

Paul Christiano2023

アラインメント研究者、Alignment Research Center創設者、元OpenAI

22／20／46％

条件
10年の条件が掛かるのは20％と46％だけ
留保
本人は「有効数字0.5桁」と注記

Christianoは、AIによる乗っ取りの確率を22％と置いています。そのうえで、人間の労働を不要にする水準の強力なAIが構築されてから10年以内に大多数の人間が死ぬ確率を20％、同じ10年以内に人類が未来を不可逆に損なう確率を46％としています。時間の条件が掛かるのは後ろの二つで、乗っ取りの22％は無条件に置かれた数字です。内訳も示されています。22％は、人間が作ったAIによる乗っ取り15％と、そのAIがさらに賢いAIを作ったあとに起きる乗っ取り7％の合計です。20％は、乗っ取りによる死11％と、戦争やテロといった乗っ取り以外の原因による死9％の合計です。本人はこれらを「really just best guesses」と書き、日によって違う数字を口にするとも認めたうえで、有効数字は0.5桁だという但し書きまで添えています。自分の仕事に直接関わるのは15％の一つだけだ、とも書いています。

出典：Christiano「My views on “doom”」写真：Dwarkesh Podcastの動画より

Quintin Pope

Quintin Pope2023

アラインメント研究者

約5％

対象
doomの対象定義は本人の記事に明示なし
根拠
人間の価値の形成のされ方と、ニューラルネットが実際に学ぶものに楽観の根拠を置く

Popeは約5％を、当時の自分の見積もりとして挙げています。示したのは、Yudkowskyがポッドキャストで述べた「現在の深層学習路線のままではアラインメントは望めない」という論証に、一つずつ反論した文章の冒頭です。人間の価値がどのように形成されるのか、ニューラルネットが実際に何を学んでいるのかという点に、楽観の根拠を求めています。

出典：Pope「My Objections to “We’re All Gonna Die with Eliezer Yudkowsky”」写真：Futurati Podcastの動画より

Eliezer Yudkowsky

Eliezer Yudkowsky2024

MIRI共同創設者、『If Anyone Builds It, Everyone Dies』共著者

数字を出さない

立場
一つの数字で答えるp(doom)質問そのものを批判
代わりの問い
絶滅を防ぐのに必要十分な最小限の政策は何か

2024年8月、Yudkowskyは共通のp(doom)質問そのものを批判しました。理由として、次の四点を挙げています。

  • 本当に知りたいのは、対策を条件に付けた確率であること
  • 同じ数字を挙げていても、背後のモデルは人によって大きく違うこと
  • 直感を無理に数値へ押し込めば、思考のほうが歪んでしまうこと
  • 数字が、個人のアイデンティティを示す記号として流通してしまうこと

彼が代わりに置く問いは「絶滅を防ぐのに必要十分な最小限の政策は何か」です。危機感が強いからといって、比べられる一点の数字を出すべきだとは考えていない、ということです。なおこのスレッドは、2025年8月にRaemonがLessWrongへ全文を転載しています。

出典：本人のXスレッド（LessWrong「Yudkowsky on “Don’t use p(doom)”」に全文転載）写真：“null0”、CC BY-SA 2.0、Wikimedia Commons

4. よくある質問

質問

p(doom)は科学的に計算された確率ですか

回答

多くの場合は論者の主観確率です。

前例のない事象を扱う以上、理論と現在のAIの能力、各種の予測、制度がどこまで機能するかの読みを統合した判断にならざるを得ません。

それでも数字を使う意味は、漠然とした「心配している」という表明を比較可能な形へ近づけられる点にあります。精度については、Christianoが「有効数字0.5桁」と書いた程度の粗さで受け取るのが実際的です。

質問

p(doom)が高い人は、全員がAI開発の永久停止を求めていますか

回答

処方箋は人によって異なります。

高いp(doom)の見積もりを共有していても、技術的アラインメントに賭ける人、段階的な展開を求める人、計算資源のガバナンスや国際的な停止、危険能力の制限を主張する人と、対処法はさまざまです。逆に破局確率を低く見積もる人でも、被害が極端に大きいのであれば費用対効果の高い安全策を支持しえます。確率と政策のあいだにあるのは、一対多の関係です。

質問

p(doom)が低ければ安全ですか

回答

低い数字であっても、賭けられているのが人類の未来全体であれば重要なことに変わりはありません。

また「1％」という値ひとつをとっても、現在の開発速度を前提にしたのか、今世紀中に限ったのか、絶滅だけに絞ったのかによって意味は変わります。高い低いというラベルで判断するより、航空や原子力、感染症といった他の領域で私たちがどれだけの証拠と安全余裕を求めているかと並べてみるほうが、判断の助けになります。

質問

なぜ論者によって数字が大きく違うのですか

回答

違いを生んでいるのは、AGIの到来時期、テイクオフの速度、いまの学習手法が安全性へ一般化する見込み、欺瞞や権力追求が生じる見込み、評価・監視の有効性、国際協調と停止の実現性、そしてdoomの定義です。

これだけの要素を一つの数字へまとめるため、どこか一つの前提が違うだけで最終値は大きく動きます。

質問

自分のp(doom)はどう考えればよいですか

回答

いきなり具体的な数字を決めるより、次の順序で考えるほうが役に立ちます。

  1. 何をdoomと呼ぶのか、時間軸と条件を一文で書く
  2. タイムライン、テイクオフ、ガバナンス、アラインメントの四つへ分ける
  3. それぞれについて、自分と違う立場の最も強い根拠を一つ読む
  4. 何が観測されたら上げ、何が起きたら下げるのかを先に決めておく
  5. 幅で置いたうえで、重要な条件付き確率は別に持っておく

「2035年までに人間の認知労働を広く代替するAIが実現した場合」「主要国のあいだで検証可能な停止合意が成立した場合」「能力向上が半年単位で進む場合」といった条件を付けた瞬間に、議論は具体的になります。

5. まとめ

p(doom)は、AIによる破局をどれだけありうると考えているかについて、端的に言い表せる便利な言葉です。ただし一つの数字にまとめた時点で、絶滅と支配の違いも、想定している時間軸も、AGI実現という条件も、開発停止の可否も、アラインメントや監視・コントロールの見込みも、一緒に見えなくなります。

論者ごとに値が大きく割れるのは、前例のない未来について、それぞれ違う結果と違う世界モデルを評価しているからです。一覧を眺めるときには、発言者と時期、対象とする結果、時間軸、条件、そして根拠までをひとまとまりで見ておきたいところです。

議論を前へ進めるには、「あなたのp(doom)は何％ですか」と漠然と問うのではなく、具体的に問いを立てる必要があります。

数字はあくまで、人類滅亡リスクについて議論するための前提を探す入口です。

そこから検証可能な条件と実行可能な対策へ分けていく作業こそが、AIリスクを考えるうえで実際に意味を持ちます。