AI 2040に対する「議論の地図」

「AI 2040とその批判者たちの議論でstrikingなのは、両者がAIの進歩の速さと重大さについて完全に両立不可能な世界観にロックインされていることだ。AI 2040では、超人的努力で完全に止めない限り、あらゆるシナリオで2040年までに何らかの超知能が出現する。批判者は『AI 2040は人間の協調能力について素朴で、自由への脅威だ』などと言うが、ASI移行がデフォルトでうまくいくと仮定することの素朴さは見ていないし、ASI自体が巨大な権力集中リスクだとも見ていないし、ASIが文字通りすべてのタスクを我々より上手くできるなら人類の『ハードパワー』がゼロに落ちることへの恐怖も感じていないようだ」

彼自身の立場は次のとおりだ。

「現在型のAIが『普通の技術』だと確信していたら、私は批判者陣営にいるだろう。2030年にデフォルトで超知能が来ると確信していたら、AI 2040陣営に近いだろう。それは素朴だが、他のあらゆる選択肢は素朴の二乗ではないか? だが問題は、私は大きな不確実性を感じていて、どちらの世界(あるいは第三の何か)に住んでいるのか分からないことだ」

AI Doomerの元祖、ユドコフスキーが設立したMIRIのソアレスは、スペクトラムのいちばん濃い側にいる。

「AI Futures の人々と私は多くの点で一致している。これは私が見た中で最良の、具体的なポジティブな未来のビジョンだ。例外なく」
「彼らの Plan A が書かれた通りに機能するとは思わないが、世界の指導者を Plan S(完全停止)に切り替えさせる証拠を生む可能性はある。Plan S にはチャンスがあると思う」 「なぜ Plan A ではないのか。人間がAIと協力してアラインメントに取り組むと、間違った答えに収束する可能性が高い。正直な答えはおそらく『現代の手法に似た何かで超知能に押し進むのは詰んでいる。引き返せ』だが、人間はそれに従うより押し通す可能性が高い」

Soaresにとって、Plan Aの問題は遅さが足りないことではない。人間がその遅さを使って正しい答えにたどり着けると信じていることが問題なのだ。彼がPlan Aを評価するのは、Plan Sへの出口（オフランプ）を生むかもしれない、という一点だけだ。

これが軸の一方の端だ。

ForethoughtのTom Davidsonは、ソフトウェア知能爆発（SIE）を最も精密に研究してきた人物だ。その研究が、そのままPlan Aへの技術的な批判になっている。

彼の見立てでは、ソフトウェア知能爆発は「約20%で10年以上のAI進歩を1年未満に圧縮する」。つまり彼は、ASIピルをある程度、それもかなり濃く飲んでいる。

だからこそ、彼のPlan A批判は内側から刺さる。

「火が街に迫っていることを心配している集団がいる。彼らはなんとか街の門の外で火を食い止める。その間に、火を安全に研究し誘導するための巨大な構造物を建てる。だが、その構造物はすべて、極めて燃えやすい乾いた薪(dry tinder)でできているのだ! もし火の制御を失えば、火はいまや、はるかに速く街を駆け抜けることになる」

Plan Aは、ソフトウェアの進歩を知能爆発の寸前で凍結する。しかし、その間も計算資源は積み上がり続ける。

乾いた薪は計算資源だけではない。Plan Aでは、企業はアルゴリズム研究を公開しなければならず、危険なものの実装はコンソーシアムが禁じる。つまり「離脱者は、禁止されていたソフトウェア技術をすべて実装することで、ほぼ瞬時に巨大な能力優位を得られる」。

彼の代替案は明快だ。Plan Aはソフトウェアを止めて、ハードウェアでスケールする。ならば逆に、ハードウェアを止めてソフトウェアでゆっくりスケールすればいい。乾いた薪を積み上げないためだ。

彼の結論は、記事全体の中でも最も誠実な形をしている。

「全体として、私は Plan A に共感的だ。この計画の基本論理は健全だ。我々はどこかの時点でAI進歩を減速せねばならない。これはそのための具体的な計画である」

速いテイクオフの可能性を考えているからこそ、彼はPlan Aの「乾いた薪」に震え上がる。同じ恐怖から、正反対の処方箋が出てくるのだ。

NgoはAI Futures Projectのコンサルタントで、公開に合わせて批判を書くよう、当のチームから依頼されたという異例の立場にいる。

彼の批判で最も深いのは、テイクオフそのものへの懐疑だ。

「10年か20年前に戻って、現在のAIのベンチマークスコアをいくつか人々に伝え、それを含む世界がどう見えるか予測させたとする。彼らは劇的に変貌した世界を描いただろう。AIがすでに巨大な政治権力を握っているか、遠大な科学的ブレイクスルーを成し遂げているか、少なくともホワイトカラー職を壊滅させているか。しかし、どれも起きていない」「だから、AIの能力が近く鋭い『垂直』成長に達し、それに対応してAI(あるいはそれを制御する者)の権力が増大するという予測はすべて、なぜ次の10年が過去10年と同じ種類の乖離を含まないのかを説明せねばならない」

つまりNgoは、ベンチマークと世界のあいだには、すでに巨大な空白があると指摘している。能力は上がったのに、世界は変わらなかった。この空白が何でできているのかを説明しないまま、能力の伸びから社会の変化を導くことはできない。

彼が有力とみる仮説は、協働の難しさだ。

「心理学の分野には極めて優秀で勤勉な心理学者が大勢いて、大学院レベルの試験を難なく通過してきた。しかしこの数十年、彼らの貢献は心の理解に関する堅牢な進歩に『積み上がる』ことに失敗し、多くの点で分野を後退させてきた。高速テイクオフの基本モデルは、共通目標に向けて累積的な貢献をするために協力することの難しさを見落としているかもしれない」

天才を何万人並べても、彼らの貢献が積み上がるとは限らない。ボトルネックは知能の総量ではなく、知能をどう統合するかにあるのかもしれない。

この懐疑は、Plan Aの書きぶりそのものへの違和感につながる。

「著者たちは、減速が依然として大きな進歩と両立することを強調している。『これほど減速に感じられないレベルは、かつて想像もできなかった』『ポーズにもかかわらず世界は根本的に変容する』『5年で5世紀』といった引用とともに。だが、5年で5世紀分の科学的進歩を見たいと本当に思っている人がいるのか、私には分からない。筋金入りの加速主義者ですら、それが極端に不安定化を招くことには同意するだろう。彼らが加速主義者なのは、まさにそこまで速く進むとは思っていないからであることが多いのだ」

これは鋭い指摘だ。加速主義者でさえ、Plan Aの「減速」より遅い世界を想定している。Ngoはさらに、Plan Aほど速い世界を本当に人々が望むのか、そもそもこれは予測なのか推奨なのか分からない、と疑問を投げかけている。

AI専門ニュースレターTransformerのShakeel Hashimも、普及の速度に照準を合わせる。組織は動かない。規制は残る。人間は学習しない。古いワークフローは書き換えられない。政治は抵抗する。Plan Aは、こうした摩擦の総量を過小評価していないか、というのだ。

Google DeepMindでAGI政策のリードを務めるSéb Krierも、摩擦への感度が高い側にいる。ただ、彼の批判はもう一段別のところに向かう。

「あるAI安全性界隈が『ポジティブな未来を想像してみろ』と言われたときに手を伸ばす世界のあり方は、この分野のモノカルチャー問題の程度をよく物語っている」

Krierは、前提であるAGIの到来を疑っていない。2030年より前に「Expert AGI」級の認知能力へ到達する可能性が高い、と書いている。ここでいうExpert AGIは、物理的な作業を除く幅広い認知課題で、上位の熟練した大人に匹敵するシステムだ。AIは「発明者を発明している」ので、経済は非常に高い成長へ向かうかもしれない、という。自動的なA2A経済では、機械が機械のためにデータセンター、ロボット、鉱山、発電所を建設しうる。この経済は人間の最終消費を待たずに極めて速く成長でき、最終的には超指数関数的なフライホイール（super-exponential flywheel）が回り始めうる、と彼は書く。一方で、人間社会の側の摩擦によって、未来は「猛烈に加速された、ギザギザで物理的な産業革命」になるとも述べている。

参考：Maintaining agency and control in an age of accelerated intelligence（AI Policy Perspectives）、Musings on Recursive Self-Improvement（technologik）

彼が拒んでいるのは、善の単一構想を、不完全な統治機構を通じて世界に押し付けることだ。彼は、より多元的で、試行錯誤を重ねられ、自由を尊重するビジョンを他の人々が示してくれることを願い、もっと実務的な世界を見るべきだと考えていると思われる。

Mechanizeは、元EpochAIの研究者たちが創設した、AGIピルを飲んだ加速主義のスタートアップだ。AGIが経済爆発を起こす蓋然性は高いと考えている。2025年10月の『Life after work』は、こう締めくくられる。

「我々の生涯のうちに、完全にリアルな仮想現実、豊富な核融合エネルギー、脳拡張による認知強化、マインドアップロード、相対論的宇宙航行、無限のパーソナライズド・エンターテインメント、ゲノムの完全な制御、超高級な極超音速航空旅行、そして深刻な副作用のない極めて快楽的な薬物を目にするかもしれない。医学の急進的な進歩は老化のプロセスを逆転させ、慢性疾患を治しうる」「だが、これらの可能性は表面をかすっているにすぎない。我々がまだ思い描けない技術は、さらに変革的かもしれない。未来の人類は、まったく新しい感覚を獲得し、まったく新しいコミュニケーション手段を発達させ、認識できないほどに精神を拡張するかもしれない。現在の視点から見れば、我々は神になるのかもしれない」 「我々の目標は、この未来をできるだけ早く実現することだ」

マインドアップロード。相対論的宇宙航行。老化の逆転。神になる。これはAI Futures Projectの記述と、ほとんど区別がつかない。彼らは「全人間労働の自動化は不可避」と言い、「数兆体のデジタル労働者とロボット」を想定し、「GDP10倍は非常に保守的な見積もりだ」と書く。

Dwarkesh Patelとのインタビュー（AGI is still 30 years away — Ege Erdil & Tamay Besiroglu）を見ると、彼らは、ソフトウェアだけで知能が急速に爆発して人類が制御できなくなるというdoomer的な世界観には立っていない。一方で、産業と経済が急速に変わり、文字どおり経済が毎年倍増する世界は見ているだろう。

EpochAIが公開しているシミュレーションGateも見てほしい。デフォルトの設定で、AGI開発後10年でGWPが100万倍になる様子が見て取れる（もちろん彼らも、文字どおり10年で100万倍になるとは考えていない。定性的に、経済の成長率が桁違いに上がる蓋然性がある、ということだ）。

AGIピルの濃度で言えば、MechanizeはPlan Aの著者たちと同じだ。

では、何が違うのか。

違いはASIピルだ。彼らは、ソフトウェアだけの知能爆発は起こりそうにないと考えており、そのため人類の破滅確率もかなり小さいと見ている。

MechanizeのMatthew Barnettは、AI 2040の著者のScott Alexanderに対し、政府が事前に計画することへの批判を次のように書いている。

After the initial outbreak became uncontainable, the world largely overreacted to Covid. And the rationalist community, having called it earlier than most, overreacted more than most.
The most straightforward lesson to draw here is the opposite of your conclusion.
— Matthew Barnett (@MatthewJBar) July 12, 2026

彼らは自由市場がもたらす豊かさを信じており、OpenAIの「スローテイクオフ」の世界観に比較的近いだろう。アラインメントは市場が解決するし、人間が豊かになるためにもAI開発は止めないほうがよいと考えていると思われる（彼らは、労働を早く自動化するためにMechanizeというスタートアップを運営している）。

「高度なAIは来る。だが超知能という別種の主体にはならない」

Narayanan氏は、AI 2040をめぐる議論に困惑しているというポストや、Séb Krier氏の事前計画への批判ポストをリポストしている。少なくとも、AI 2040の議論が前提とする「AIが極めて急峻に世界を変えるシナリオ」には懐疑的だと思われる。

彼らの論文「AI as Normal Technology」は、この立場を体系的にまとめたものだ。ただし、AIを軽視する文書ではない。

「AIを『普通』と見ることは、その影響を過小評価することではない。電気やインターネットのような変革的な汎用技術ですら、我々の概念では『普通』である。だがこれは、AIを別の種、高度に自律的で潜在的に超知能的な存在として扱う傾向を共有する、ユートピア的ビジョンとディストピア的ビジョンの両方と対立する」

明確には書いていないが、彼らは恐らく、AIが数十年以内に宇宙文明まで飛躍したり、経済・産業・技術が急速に爆発したりする世界を、それほどあり得るとは考えていないだろう。

さらに、Plan Aへの先回りの反論とも読める一文がある。

「超知能AIの制御困難性を前提とした過激な介入は、AIが結局のところ普通の技術だと判明した場合、事態をはるかに悪化させるだろう」

Narayananはプリンストン大学のCS教授で、「AIを真剣に受け止めよ」と言い続けてきた人物だ。無知でも無関心でもない。それでもPlan Aの言語ゲームには参加しない。彼の世界では、変化は数十年かけて、企業や行政や法、人間の判断に埋め込まれながら進む。その枠組みでは、AIは産業を大きく変えうる。しかし、数十年で人類文明が根本から変わるようなAGIピル的な世界観には、恐らく同意しないと思われる。その意味で、彼はAI 2040が前提とする世界観の議論の外にいると考えられる。

「AGIは技術予測ではなく、神話である」

Alex Hannaは、AI 2027の破滅的な予測を皮肉る形で、AI 2040に短く応答している。

2025年6月の『The Myth of AGI』で二人はこう論じる。AGIとは定義の定まらない曖昧な記号であり、いまのテキスト予測システムが科学や経済や社会の問題を丸ごと解決するという約束であり、そして何より政治的な機能を果たす言説だ。

二人の議論で大事なのは、楽観と悲観を、同じ神話の二つのバージョンとして扱う点だ。正しくアラインされたAGIが無限の豊かさをもたらすという話も、制御不能な超知能が人類を滅ぼすという話も、同じ「ロボット神」の物語の表と裏にすぎない、というのだ。

これは「テイクオフはもう少し遅い」という批判ではない。AGIという単一の技術的主体が文明の問題を丸ごと解決あるいは破壊する、というフレーム自体の拒否である。

「超人AIはあり得る。だが知能は、直ちに物理世界を支配しない」

Plan A への彼の反応は、反論ではなく困惑だった。

「AI 2040: Plan A のサイトについて何と言えばいいのか苦しんでいる。あまりに実現不可能に思えて、どこから始めればいいか分からない。超知能が全能に近いことを含意すると考える人々と、私のような者との間には、認識論的な深淵がある。人々はそれを非常に直感的なレベルで信じているので、意味のある議論をするのが難しい。双方が、正反対の直感を持つ人間に出くわすと当惑し、あるレベルでは相手が本気だと信じられない」

ただし彼は、「超人AIは原理的に不可能」とは言っていない。AIが最終的にほぼすべての認知課題で人間を上回る可能性は認めている。何十億体ものロボットが存在する、まったく違う世界も否定しない。

彼が拒むのは、そこから急速な世界支配へ至る推論だ。理由は3つある。実験も製造も建設も、現実の世界で行う必要があること（物理世界のボトルネック）。認知労働だけを増やしても、補完的な要素が足りないこと。経済的な知識が、企業や現場に分散していること。だから単一のAIに権力は集中せず、多元的な経済が残る。数十億体のロボットがいる世界への移行には、「年」ではなく「数十年」かかる、と彼は言う。

この考え方は、「知能だけ」では世界は変わらないとして産業基盤や経済の補完性を考慮する点で、Mechanizeの立場に似ている。一方で、産業爆発の論理では、AGI開発後10年以内に数十億体のロボットが生産される蓋然性は高いとされる（たとえば年30%で成長する経済は数年で倍になり、物理資本も数年で倍増しうる）。その点で、Leeの見方はいわゆるAGIピル的な世界観から少し離れているとみなせると思われる。

「未来はラディカルでもいい。だがシンギュラリティは遠い。」

NaamはSF作家で、元シンギュラリティ大学の教員で、太陽光発電のコストが指数関数的に下がることを一貫して正しく予測してきた人物だ。指数関数を信じない人では、まったくない。2015年の時点で、マインドアップロードは原理的に可能だとも論じている。

それでも彼は、AI 2040型のピルを飲んでいない。2026年4月の彼自身の整理はこうだ。

「AGI への熱狂は時期尚早だ。ASI/シンギュラリティは出来の悪いSF(bad sci-fi)である。暴走的な自己改善ループは、各反復が投入した以上の知能を得ることを要求する。そのような証拠は見当たらない」

Plan Aへの反応はこうだ。

「もし高速テイクオフ + 制御喪失リスク + もっともらしい反社会的意志の証拠を見たら、そう、私は考えを変える。AI安全性と透明性についてはもっとやるべきだと思う。第三者監査には賛成だ。だが、ソフトウェアのみの特異点が可能だという信憑性あるモデルを見る必要がある」

これだけなら、NaamがAGIピル陣営の中のスローテイクオフ派である可能性も捨てきれない。しかしNaamは、AIは仕事全体ではなくタスクを置き換えるという、通常の技術自動化に近い見方をしている。生産性が上がれば潜在需要が増え、新しい仕事や需要が生じると考えている。

彼が中心に置く10年後の予測も、機械だけが経済を回す世界ではない。文明は引き続き人間が運営し、人間とAIが協働する。医薬品、材料、教育などは大きく進歩する一方、仕事は一部が失われ、一部が新しく生まれる。本人の言葉では、AIは「史上最も印象的な普通の技術」かもしれないが、それでも普通の技術なのである（Tech Overflowのインタビュー）。

この点で、Mechanizeとの違いがはっきりする。Mechanizeはハードテイクオフを否定しながらも、全労働の自動化、爆発的な成長、アップロード、宇宙進出を、数十年後の自然な行き着く先として描く。Naamは、アップロードが原理的に可能だとは認めても、脳の計測や神経科学の障害を越えるには1世紀以上かかりうると考える。近いうちにAGIがそれを一気に解決するとは予測しない。

ただし、Naamが「完全なAGIができた場合、そこから50年で何が起こるか」を体系的に論じた資料は見当たらない。彼が、ゆっくりした産業爆発や最終的な宇宙文明まで否定しているとは断定できない。そのため、境界上の批判者に分類した。

「AGIはあり得る。だが現在のLLM路線と、全能の超知能像は誤りだ」

MarcusはTimothy Leeを引用して、こう書いた。

「まさにその通りだ。超知能は、論理的に全能を含意しない」

彼の一貫した立場はこうだ。現在のLLM中心のパラダイムには、堅牢な抽象化、世界モデル、推論が欠けており、そのままではAGIに至らない。ただし、別のアーキテクチャによるAGIの可能性そのものは否定していない。本物のAGIなら社会を根本から良い方向へ変え、科学技術を大きく進歩させうる、とも述べている。

つまり彼は、AGIは可能で、社会や科学技術に大きな影響をもたらすと考えつつ、AI Futures Projectほど速いテイクオフには懐疑的だと考えられる。一方で、AIがもたらす存亡リスクそのものには懸念を表明している。p(doom)については、自分をdoomerとは思っておらず、Yudkowskyほど確率が高いとも切迫しているとも考えていないと書いている。それでも、確率を正確に計算できないからといって無視してよいわけではなく、将来のリスクを考えて、その可能性をできるだけ減らすべきだとしている。

ただ、AGIが数十年以内に数百年分の技術進歩をもたらし、技術と産業が大きく爆発するという議論は、明示的にはしていない。そのため境界領域に分類した。