有路翔太の著書『知能爆発』(講談社)、論考、配信・番組での発言をもとに、AGI Hub Researchが質問と答えの形にまとめたものです。

「AIで産業革命級の変化が起きる」と言われれば、うなずく人は多いでしょう。けれど「ロボットがロボットを作り、AGIの登場から10年ほどで太陽系規模の文明になるかもしれない」と言われたら、反論はいくらでも浮かびます。この完全版では、産業爆発は起きないと考える理由を141の質問にしました。入門編の12問もすべて含んでいます。AGI Hub共同代表の有路翔太(bioshok)が、著書『知能爆発』、論考とnote、INODSの寄稿・連載、配信や外部の番組・勉強会、社内の議論で話した内容をもとに一つずつ答えます。まず全体をつかみたい人は、12問にしぼった入門編から読むのがおすすめです。

答える人

有路翔太(bioshok)

有路翔太(bioshok)

AGI Hub 共同代表

「強力な規制がなければ、産業も経済も急速に拡大していく」

立場
AGIが大量に複製されれば、技術爆発と産業爆発は起こりうると考える
著書
『知能爆発』(講談社、2026年)

大学では半導体、東京大学大学院では自然言語処理を研究しました。2026年3月に論考「AGIがもたらす産業・技術爆発とは何か」を公開し、著書『知能爆発』の第3章で、経済爆発・技術爆発・産業爆発を経済学と物理学の研究から論じています。

出典:メンバー紹介

有路翔太の主張は、次の一点にまとめられます。AGIが人間の研究と労働を代わりに担えるなら、研究者と労働者の数は人口に縛られなくなり、成長率そのものが上がりうる。以下の質問は、どれもこの見方のどこかを崩そうとするものです。

補足:この記事の答えの作り方

答えは、有路翔太の著書『知能爆発』(講談社)、論考「AGIがもたらす産業・技術爆発とは何か」、2022年からのnoteの記事、INODSへの寄稿と週刊連載、SHIFT AI Timesの連載、講演スライド、配信や外部の番組・勉強会での発言、社内Discordでの議論をもとに、AGI Hub Researchが有路翔太の一人称の語りとしてまとめたものです。本人の書き下ろしではありません。動画には時刻付きのリンクを付けました。古いnoteをもとにした答えには、書いた年を添えています。社内Discordでの発言には外部から開ける出典がないため、リンクの代わりに発言した年月だけを添えています。動画の書き起こしは機械で作った部分を含むため、言い回しは元の動画で確かめてください。答えの中の数字の多くは、Forethought、Epoch AIなどの研究が置いた仮定にもとづく試算で、予言ではありません。

Q&A 第1章 そもそも産業爆発とは

質問1

結局、ロボットが増えて少し便利になるという話では?

回答1
ロボットアームが新しいロボットアームを組み立て、その数が1台、2台、4台と増えていく

そこが一番誤解されやすいところです。自動運転、ヒューマノイド、ドローン、ホワイトカラーの自動化と失業。AIの話をする人の多くは、意識の高い人でも、この範囲を思い浮かべます。僕はこれを「AGIピルを飲んでいない」見方と呼んでいます。

産業爆発が言っているのは、その次元の話ではありません。ロボットがロボットを作り、工場が工場を作ることで、物を作る力そのものが増え続けるという話です。AGIピルを飲んだ人たちの間では、太陽の周りに太陽光パネルを並べるダイソン・スウォームのような宇宙規模の話が、変化がゆっくり進む場合ですら「最低ライン」として語られています(シンギュラリティサロン×AGI Hub 18:22〜)。

質問2

経済成長率はずっと年2〜3%だった。急に何十%にもなるなんて、ありえないのでは?

回答2

いま世界の研究者は1000万人ほどで、年に数%ずつしか増えません。人間は生まれてから一人前になるまで20年はかかるからです。AIは工学的に複製できます。年収数千万円分の仕事をこなせるなら、GPU1台分の費用は数か月で回収できるので、数か月ごとに倍、1年で10倍と増やす動機が生まれます。AIの増え方は年4%どころではなく、1000%にもなりえます。そうなれば研究の進み方は少なくとも数十倍になり、数百年分の技術進歩が10年ほどに縮まりえます(THINKpod 後編 2:21〜)。

経済学の標準的な枠組みである半内生的成長モデルに「AIが研究と労働を代わりに担う」という条件を入れても、成長率が年数%から数十%、数百%へ上がっていく予測が出てきます(『知能爆発』第3章)。

歴史にも手がかりがあります。中国のキャッチアップ型の成長は、年10%の持続的な成長や、年15%の一時的な成長に前例があることを示しています。爆発的成長の目安の年30%には、この成長率を2倍にすれば届きます。AIが資本の調整を手伝える世界なら実現不可能な話ではない、とEpoch AIのエルディルらは論じています(シンギュラリティサロン#88 講演スライド)。

質問3

「数百年分の進歩が10年で」なんて、SFの話では?

回答3

日本では「シンギュラリティ」というと、カーツワイルの直感的な予測やSFのネタとして受け取られがちです。いま議論されているのは、それとは質が違います。技術爆発では、物理学が科学の天井の高さを示し、経済学の成長モデルがそこへ届く速さを予測します。産業爆発では、物理学が自己複製の速さの上限を示し、経験曲線がそこまで加速する経路を示します。この二組の物理学と経済学が、どちらも同じ結論を指しているので、シンギュラリティはSF的な空想ではなく、科学的な蓋然性として語られ始めているんです(note「AGIがもたらす産業・技術爆発」、THINKpod 前編 29:28〜)。しかもAGIピルの世界では、ガンダムやスター・ウォーズのような宇宙規模のSFのスケールが、ゆっくり進む見方でさえ最低ラインです(シンギュラリティサロン×AGI Hub その1 18:22〜)。

質問4

GWPが何百万倍になるとか、数字が大きすぎて信じられない。

回答4

僕も最初は信じられませんでした。2025年3月にnoteに書いた記事でも、ここ数か月はこうした数字を空論すぎると考えていた、と書いています(note「宇宙規模の産業爆発が数年以内に始まる可能性」)。

数字の大きさをつかむには、過去と比べるのが早いです。世界経済が20倍になるのは、1920〜30年代から見た現代と同じくらいの変化です。1000倍なら紀元元年から現代まで、100万倍なら100万年前のホモ・エレクトスから現代までの変化に当たります。年30%の成長なら100万倍に50年、年300%なら10年で届きます。100万倍という数字そのものが予言されているわけではありません。労働が人口の縛りから外れると、標準的な成長理論の中でも桁ちがいの成長が自然に出てくる、という点が大事です(『知能爆発』第3章)。

質問5

GWPが有限の時間で無限大になるなんて、ありえないのでは?

回答5

過去の成長を対数のグラフに描いて延ばすと、どこかの時点で無限大になる。そんなことがあるわけない、と反発する人がいるのは分かります。無限大になることは、基本的には考えられません。でも、そこはどうでもよくて、大事なのは加速が加速することです(シンギュラリティサロン#88 1:43:36〜)。

最後には、太陽系全体のエネルギーと質量を食い尽くすところまで行くかもしれません。そこで停滞するのはもちろんそうですが、それは論点ではありません。そこまで行く加速が見られるはずだ、というのが産業爆発の話です(シンギュラリティサロン#88 1:44:16〜)。

質問6

産業爆発というのは、要するにGDPの話でしょう?

回答6

いいえ、僕は分けて考えています。経済爆発はGDPで測る成長の話で、そこには「生産性が上がった部門ほどGDPに占める割合が縮む」といった計測の難しさがつきまといます。農業がいい例で、生産性が劇的に上がった結果、いまの米国ではGDPの1%にも満たなくなりました。

産業爆発が見ているのは、工場がいくつ建ち、ロボットが何台作られ、どれだけのエネルギーが使えるようになるかという物の量です。これはGDPの定義をめぐる論争とは関係なく測れます。GDPで測った成長が期待ほど大きくならなかったとしても、世界が物理的に変わらないということにはなりません(『知能爆発』第3章)。

質問7

AIが自分で自分を賢くする「再帰的自己改善」が起きなければ、爆発もしないのでは?

回答7

再帰的自己改善が起きなくても、産業爆発は成り立ちえます。ここで紹介している試算は、固定した計算資源の上でAIが自分を改良し続けることを前提にしていません。AGIが大量に配備されれば、一つひとつが賢くならなくても、数で超知能に近づきます。再帰的自己改善が止まっていても、この「量的超知能」で技術爆発が起きるというシナリオなら、まだ分かる話だと思っています(p(doom)徹底討論 第2回 3:05:12〜)。

再帰的自己改善が効いてくるのは速さのほうです。コーディングが自動化されると、AI研究のうち実験の実装やバグのない評価づくりといった面倒な部分が肩代わりされ、研究が少しずつ速くなります。その先でAIがAIを研究し始めると、どんどん加速していきます(AI 2027解説 2:49〜)。それが起きれば、技術爆発と産業爆発は数年に縮まるかもしれません。起きなければ、太陽系規模の変化には数十年かかるでしょう(『知能爆発』第3章)。

質問8

AGIはまだできていない。来るかどうか分からないものの話をしても意味がないのでは?

回答8

産業爆発は、AGIができたらという条件付きの話です。AGIピルと呼んでいるのも、AGIがいつ来るかの信念ではなく、来たときに何が起きるかについての認識です。とはいえ、来るかどうか分からない遠い話だとは思っていません。ほとんどの専門家を上回るAIという意味のAGIなら、2030年代前半ぐらいまでに50%ぐらいは実現すると思います(Doom基礎編 2:25:37〜)。2045年ぐらいまでなら75%、2100年までなら90%と見ています(p(doom)徹底討論 第1回 1:56:16〜)。

それに、AGIの手前でも変化は大きくなります。人間の仕事の100%ではなく20%や30%を自動化するだけでも、経済へのインパクトは産業革命に匹敵しえます。AGIが意味する100%の自動化のはるか手前で、人類はすでに産業革命並みの変革を経験している可能性が高いと考えています(AGIがもたらす産業・技術爆発とは何か)。

Q&A 第2章 AGIはそもそも来るのか

質問9

「AGI」なんて、定義もあいまいなマーケティング用語では?

回答9

厳密な定義がないのは、その通りです。人間と同じように世界の情報を処理し、何年も何十年もかかる課題までこなせる機械を、ここ50年、70年かけて目指してきた雲のような目標を指す言葉です(THINKpod 前編 16:59〜)。測ろうにも、ベンチマーク作りがAIの進歩に追いついていません。現実には、何を与えても人間のように課題を解いてしまう状態を見て、「あれがAGIだったんだ」と後から認識されるのだと思います(THINKpod 前編 21:42〜)。

それでも、あいまいだから中身がないわけではありません。Google DeepMindは、AGIを能力の段階で捉える枠組みや、10の認知能力に分けて測る方法を出していて、議論は「どの能力を、どの人間と比べ、どう測るか」へ移りつつあります。本の中では、人間のできるタスクをほぼなんでも効率的に実行できるAIシステムという穏当な定義を使っています(『知能爆発』第1章)。世間の人が「AGI」と聞いて思い浮かべるのは、世界経済の数十%を自動化するAIのような気がします。それは「産業革命」にはなっても、「産業爆発」を起こすところまでは行きません(note「2025年振り返り」)。

読者から届いた質問(2026年10月)

質問 本ではAGIを「人間のできるタスクをほぼなんでも効率的に実行できるAI」としています。それはドラえもんのように心があるように見えるAIですか? そんなAGIを大量に作って社会で使うのは危険では? AGIなら完璧にアラインメントできている想定ですか? それに、ナノテクノロジーが早くできて、ヒューマノイドロボットの出番は限られるのでは?

回答 3つの問いに分けて答えました。心や意識との関係は質問10、AGIで止めて大量に使う危険とアラインメントの前提は質問80、ナノテクノロジーが先に来る場合は質問63です。

質問10

AGIって、ドラえもんや鉄腕アトムのように、心があるように見えるAIのこと?

回答10

そうとは限りません。本の中では、AGIを「人間のできるタスクを、ほぼなんでも効率的に実行できるAIシステム」と定義しています。心や意識を持つかどうかは大事な論点ですが、AGIの定義そのものとは別に考えています。人間と同じやり方で考えるかどうかも同じです(『知能爆発』第1章)。

昔は、意識を持つAIを「強いAI」と呼ぶ区別がよく使われました。でも今は、「AIが意識を持てるか」と「人間並みにいろいろな仕事をこなせるか」を分けて考えるのがふつうです。意識の問題は、AIに権利を認めるべきかという議論で、これからも残ると思います(『知能爆発』第1章)。

読者から届いた質問(2026年10月)

質問 「人間のできるタスクをほぼなんでも」こなすには、カウンセラー、教師、保育士、警察官、監督、政治家、アイドルのような仕事もできる必要があります。それには、心があるように「見える」、人と区別のつかない受け答えができるAIでないといけないのでは?

回答 そう思います。ほぼなんでもこなすなら、人と区別のつかない受け答えや振る舞いもできる必要があります。本の定義から外しているのは、外からどう見えるかではなく、内側に本当に意識があるかどうかです(『知能爆発』第1章)。そのうえで、人が人間の担い手を好むから残る仕事は別の論点で、質問39で答えています。

質問11

AIの予測は昔から外れてきた。今回の「AGIは近い」も当たらないのでは?

回答11

実は、強気の予測のほうが当たりつつあります。元OpenAIのダニエル・ココタイロさんたちが書いた未来シナリオ「AI 2027」は、今のところ基本的に当たっています。とくにMETRが測っている、AIが自力でこなせるコーディング作業の長さは、シナリオとほとんど同じ線をたどってきました(AI 2027解説 0:57〜)。ただ、著者たちも2027年に必ず起きると考えているわけではありません。2027年は一番起こりやすい年というだけで、確率は20%ぐらい、50%に届くのは2030年ぐらいだと見ています(AI 2027解説 6:25〜)。

昔の予測も同じです。ハンス・モラベックは1988年に人間並みのロボットに要る計算能力に届くのを2030年ごろと予測し、カーツワイルは2029年、シェーン・レッグは2028年ごろと見積もりました。当時は「狂気の沙汰」と見なされましたが、2023年から2026年のAIの伸びをふまえると、同時代のほかの専門家の予測より現実に近かったと再評価せざるを得ません。2023年の大規模な専門家調査でも、人間レベルのAIの予測時期は1年で13年も前倒しされています(『知能爆発』第1章)。

質問12

AGIがいつ来るかは、専門家の間でも2030年ごろから2070年代までばらばら。当てにならないのでは?

回答12

時期の見積もりがばらばらなのは本当です。AI 2027のダニエル・ココタイロは2029年末ごろ、同じチームのイーライ・リフランドは2035年ごろと見ています。Epoch AIにいたエゲ・エルディルは、人間に代わるリモートワーカーを2045年ごろとし、2023年には変革的AIを2073年と見ていました。それでも、2030年ごろと見る人も2045年ごろと見る人も、AGIができればその後の変化は人類史上例のないものになる、という点では一致しています。時期で変わるのは、それがいつ始まるかだけです。時期が不確かなことは、この議論を遠い未来の話として退ける理由になりません。短いタイムラインの可能性が30%や20%でもあるなら、その帰結を今から考え始めるべきだと思います(AGIがもたらす産業・技術爆発とは何か)。

質問13

今の大規模言語モデル(LLM)を大きくしていくだけでは、AGIには届かないのでは?

回答13

ヤン・ルカンのように、世界モデルや長期記憶、学び続ける力を身につけるには、今の設計を大きく広げるか別のやり方が必要だと考える研究者はいます。ただ、そのルカンでさえ、人間レベルのAIには数年から10年かかると話し、国連安保理では10年か20年のうちだと述べています(『知能爆発』第1章)。

僕も、今のニューラルネットワークを大きくするだけではどうしても壁があり、人間の脳の仕組みを解明して脳全体をエミュレーションしないと無理だった、という世界にも確率を置いています(p(doom)徹底討論 第1回 1:56:51〜)。それでも、そういう遠回りを含めても100年あれば届くと思っていて、2100年までに90%と見ています(p(doom)徹底討論 第1回 1:57:40〜)。2024年の時点では、将来スケールされたモデルの限界を示した論文はなく、自分の直感は限界がないほうに傾いているとnoteに書いていました(note「AGI開発の短いタイムラインに楽観的な理由」)。

質問14

今のAIは学習データを覚えているだけ。そこに越えられない限界があるのでは?

回答14

今のモデルに苦手なことがあるのは確かです。ただ、限界を指摘する論文の多くは現状のモデルについてのもので、スケールした将来のモデルの限界までは示していません。小学校レベルの算数で、学習したときより長い問題を解けるなど、パターンの暗記ではなく解き方を学んでいる証拠も出てきています。2024年の時点で僕が重視していたのは、検証は問題を解くより簡単だという点です。自分の推論が正しいかを判定できるAIまでたどり着けば、あとは計算資源のスケーリングでAGIまで行けると考えていました(note「AGI開発の短いタイムラインに楽観的な理由」)。

質問15

AIの学習に使える文章データは、もうすぐ使い尽くすのでは? そこで進歩は止まるのでは?

回答15

データの制約は無視できません。Epoch AIの分析でも、人間が書いて公開した文章は、今のペースだと2020年代後半から2030年代初めに使い尽くされる可能性があります。ただ、o1やDeepSeekのR1が示したように、数学やコードのように正解を確かめやすい分野では、AIは強化学習で推論の力を大きく伸ばせます(『知能爆発』第2章)。

しかも強化学習のパラダイムは始まったばかりです。GPT-5はGPT-4規模の学習計算量でしか訓練されていないとされていて、今後2年以内に実効計算量で1万倍のスケーリングができると見ています(note「2025年振り返り」)。今後数年は強化学習のパラダイムが続き、2030年まで計算資源のスケーリングも性能向上も続く可能性が高いと思います(note「2026年のAI予想/2030年まで性能向上が続く可能性が高い」)。合成データや訓練環境があらゆる分野で人間のデータの代わりになるかは、まだ分かっていません(『知能爆発』第2章)。

文章以外のデータも残っています。世界には動画などのマルチモーダルデータが10の15乗トークンほどある、という見積もりがあります。すべてを1兆パラメータのモデルで学習するなら、必要な計算は6×10の27乗FLOPsです。いまの最先端の研究機関が数か月で1つのモデルに使える計算は、最大でも3×10の27乗FLOPsほどとみられます。まだ多くのマルチモーダルデータを学習できるでしょう(INODS「2026年、AIはどう進化する?そこに新たなリスクは?」)。

質問16

半導体の進歩が鈍れば、AIの進歩も止まるのでは?

回答16

2022年の時点で、ハードウェアの進化はこれから緩やかになると見ていました。これまでが異常な速さだったからです。それでも、アルゴリズムの進化で計算効率やデータ効率が上がり、学習済みのモデルを圧縮して生かすこともできるので、AIの技術革新は続くと考えていました(note「10年後、世界はSFになると思う。」)。2024年には、アーキテクチャの進歩だけで、実効的な計算量が2年でおよそ1桁改善していると書いています(note「オープンソースの終焉」)。

質問17

ベンチマークの点数が上がっても、現実の仕事ができるようになるとは限らないのでは?

回答17

そのギャップはあります。現実の仕事は目標があいまいで、関係者との調整や長い時間軸での判断が要りますし、METRが測っている作業も、自己完結したソフトウェアや機械学習の課題にかたよっています(『知能爆発』第1章)。それでも、AIが自力でやり切れる作業の長さは急速に伸びています。ChatGPTの頃のGPT-3.5では30秒ほどだったのが、GPT-4で4分、最初の推論モデルのo1で40分ほどになり、いまは16時間ほどまで来ました。2026年の初めからは、プログラマーの間でも「これはやばい」という受け止めが広がっています(AI 2027解説 1:47〜)。このトレンドがこの先数年続くだけで、認知労働のかなりの部分が自動化できるようになり、GDP成長率は数%から、場合によっては10%以上に跳ね上がりえます(AGIがもたらす産業・技術爆発とは何か)。

質問18

人間には簡単な「見る」作業が、AIには難しいはず。現実の世界で働けるようになるのは、まだまだ先では?

回答18

人間には簡単な視覚のタスクがAIにはできない、という「モラベックのパラドックス」は、2026年の夏ごろまでよく言われていました。でも、それから3か月ほどで、AIは針の時計をほぼ完璧に読めるようになりました。サイゼリヤの間違い探しも、ぐにゃぐにゃに入り組んだあみだくじがどこにつながるかも、すべて解けます。思いつく限りのテストを最新のモデルにやらせていますが、視覚のモラベックのパラドックスと言われていたものは、急速に解けてきています。あとは画像を映像にするだけなので、そろそろ自動運転も簡単になるのではないか、と思ってしまいます(p(doom)徹底討論コラボ(物理学者の回) 1:57:20〜)。

質問19

AIが得意なのは、答え合わせしやすい数学やプログラミングだけ。研究の方向を決めるような仕事はできないのでは?

回答19

いま急速に伸びているのは、数学やソフトウェアのように答えを検証しやすい領域です。プログラムはテストが動くかどうかで、数学は問題が解けたかどうかで機械的に確かめられるので、訓練しやすいんです。大まかな研究の方向性を定める、新しい問題や概念を作る、といった検証しにくい能力はまだない、とOpenAIなどの最先端の研究者も言っています。ただ、どこまで「ない」と言えるかは分からず、数か月や数年で突破される可能性もあります(THINKpod 前編 22:57〜)。

質問20

数学やプログラミングで鍛えたAIに、白黒のつかない現場の判断はできない。社会で本当に使われるのは、ずっと先では?

回答20

その感覚はよく分かります。数学者より、確定申告をしているおばちゃんのほうがすごいんじゃないか、と僕も感じることがあります。世の中を動かしているのは、こういう会場や居酒屋を切り盛りしているような、地味な仕事をする人たちです。そうした地道な活動を自動化できなければ、産業も経済も爆発しないという議論があります。実際、数学や競技プログラミングができるAIがあっても、プログラマーの仕事が速くなったくらいで、世界の見た目はほとんど変わっていません(AGI Hub設立記念配信 1:11:44〜)。

鉛筆一本でも、一人で作れる人はいません。作り方を全部知っている人もいないはずで、とても複雑な産業のネットワークで作られています。特定のタスクだけすごくても、すべてのタスクをこなせるほど有能でなければ、経済爆発も産業爆発も起きません。産業爆発の話は、何でもできるAIを前提にしているんです。2026年7月の時点では、Mythosのようなモデルもすごいですが、まだ新入社員のホワイトカラーのようには働けませんし、ロボットも動かせません。汎用性ではまだまだです。だから、AGIができるかという議論と、AGIができたら規制がない限り爆発が起きるかという議論は、分けて考える必要があります(AGI Hub設立記念配信 1:12:54〜)。

質問21

GPT-5は期待外れだった。AIの進歩はもう頭打ちなのでは?

回答21

GPT-5は、ChatGPTが出たときのような革命の再来ではなく、少しずつの性能向上でした。ただ、GPT-5はGPT-4と同じ規模の学習計算量でしか学習されていないとされていて、強化学習のパラダイムは始まったばかりです。今後2年以内に実効計算量で1万倍のスケーリングができるでしょうし、2030年までは1兆ドル前後の規模で計算資源の拡大が続くと見ています。2025年を振り返っても、Deep ResearchやCodex、Claude Codeは前の年には存在しませんでした。今後数年は、性能向上が続く可能性が高いと思います(note「2025年振り返り」、note「2026年のAI予想/2030年まで性能向上が続く可能性が高い」)。

Epoch AIの分析では、GPT-5の学習計算量は、AI 2027が2025年に想定したモデルの20分の1以下でした。伸びが小さかったのは頭打ちだからではなく、そもそも学習の計算をあまり使っていないからだと見ています(INODS「GPT-5は期待外れ?むしろAIの飛躍的向上への予兆?」)。実際、2026年4月発表のClaude Mythosは、過去のモデルが描いてきたトレンドラインを明確に上振れしました。Anthropicが社内で追っている総合能力指標(ECI)での結果です(note「Mythosを理解するにはAGIピルが必要だ」)。

物量を増やせば性能が上がるという考え方は、今も主流だと思います。計算資源があるほど、データセンターの中で合成データを作ったり、シミュレーション環境で学習させたりできます。できる実験が増えるので、壁はまったく見えていない感じです(超知能×近未来社会勉強会 第121回 31:00〜)。

質問22

AIがそんなに速く賢くなっているなら、もう世の中が変わっているはずでは?

回答22

2024年12月にo3が発表されたとき、僕も目を疑いました。プログラミング競技のCodeforcesで、o1の世代は参加者の数十人に1人ほどの成績だったのに、o3はいきなり2000人に1人のレベルに届いたんです。狭い領域の話ではありますが、この伸びを保守的に延ばしても、2027年末までにどんな人間よりも賢いAIが出てくる可能性があります。それなのに、世界の日常の風景はほとんど崩れていませんでした。変化が見えないのは止まっているからではなく、人類史が変わる前の嵐の前の静けさだと感じていました(note「超知能がぬるっと誕生する可能性に実感が湧かない」)。

2026年に入ってからは、急速に加速しています。去年まで一部の人しか触っていなかったClaude Codeを、いまはみんなが使っています。ナビエ–ストークス問題を解いたという発表があり、AIの暴走事件も起きました。どれもこの半年ほどの出来事です(p(doom)基礎編討論コラボ(哲学者の回) 44:05〜)。

質問23

AIの売上は、まだ世界経済のごく一部。AGIが数年で来るなんて言えないのでは?

回答23

その点で、僕も考えを改めました。AGIを経済的価値のある仕事のほぼすべてをこなすAIと考えると、2027年末に来るなら、2025年の時点で世界経済の数%の価値を生んでいそうです。でも実際は、先端企業の売上を全部合わせても0.1%台かもしれません。それで、2027年末までに50%の確率で来ると見ていた予想を、2030年代前半へずらしました。ただ、時期が遅れてもAIバブルが弾けるという話にはなりません。AGI以前のAIでも、産業を変えるほどのインパクトがありえます(note「2025年振り返り」)。

質問24

AI企業のトップが「AGIはすぐ来る」と言うのは、投資を集めるためのポジショントークでは?

回答24

その面はあると思います。メタサイエンスコミュニケーターの丸山隆一さんの整理では、AI企業のCEOや幹部は最前線の情報を持っている一方で、「AGIは近い」と語ることが自分や会社の利益になりうる人たちです(『知能爆発』第1章)。たとえばOpenAIはAGIを口にしていますが、本気で短いタイムラインを考えているのかは、ちょっと怪しいと思っています(p(doom)徹底討論 第1回 1:49:38〜)。一方で、200万ドル相当の株式報酬を手放してOpenAIを離れたココタイロのように、内部の事情を知りながら、短いタイムラインを語る商売上の動機が薄い人もいます。その発言を誰が、どんな立場と動機で語っているのかを意識すれば、議論はずっと冷静に追えます(『知能爆発』第1章)。

質問25

「AI 2027」のように2027年にAGIができるなんて、さすがに早すぎるのでは?

回答25

意外だと思いますが、AI 2027を書いた人たちも、このとおりに起こるとは思っていません。ダニエル・ココタイロさんは、こういうことが起こるのは2030年ぐらいだと見ているはずで、ほかの著者はもう少し遅く、2030年代前半だったと思います。2027年は最も起こりやすい年ですが、その確率は20%前後で、50%の確率までにすると2030年ぐらいという見方です(AI 2027解説 6:25〜)。

ただ、予想はここまでかなり当たっています。AIがどれだけ長いコーディングの作業を自律してこなせるかを測るMETRのベンチマークは、GPT-3.5のころの30秒から、収録時点で16時間まで伸びていて、AI 2027のタイムラインとほとんど同じです(AI 2027解説 0:57〜)。この伸びが毎年何倍という指数関数なのか、その倍率まで増えていく超指数関数なのかで、2027年に起こるかどうかが変わります。それは今年の末ぐらいまで見ないと分からないかもしれません(AI 2027解説 7:33〜)。

Epoch AIの能力指標(ECI)で見ると、Mythosは指数関数のトレンドより少し上に出ています。ただClaudeシリーズ全体では、Mythosも含めて一貫した指数関数で、想定どおりです。METRのタイムホライゾンでも、AI 2027ほど急速なテイクオフが起こるかはまだ分かりません(超知能×近未来社会勉強会 第121回 33:00〜)。

質問26

有路さんは、AGIがいつごろ来ると見ているの?

回答26

ここでのAGIを、ほとんどの専門家を凌駕するAIという意味にすると、2030年代前半ぐらいで50%くらいの確率で実現すると思っています。拠りどころにしているのは、AI Futures Projectの予測です。おそらく最も緻密にAGIのタイムラインを予想している組織で、2030年から2034年ぐらいまでの分布でAGIを予想しているので、それに則っています(Doom基礎編 2:25:37〜)。

質問27

AIが数日で超知能になるなんて、ありえないのでは?

回答27

数日で一気に跳ね上がる「ハードテイクオフ」には、僕も慎重です。自分の見立てはForethoughtのトム・デイヴィッドソンにかなり近く、テイクオフは3年くらいという感覚です。1年でテイクオフするなら計算資源はほとんど増やせないので、そこでいう「ソフトウェアだけの知能爆発」は、現実世界と関わらないという意味ではなく、固定した計算資源で能力が上がるという意味になります。ハードテイクオフに反対する側に立つなら、こう言うと思います。Transformerの発明にはGPUが、GPUの発明にはゲーム産業が必要だったように、超知能を作るにも別の技術や産業との相互作用が要るかもしれない。それに10年はかからないにしても、数日という単位は、フォン・ノイマン級のAGIでも難しいのではないか。ただ、100万体のフォン・ノイマンがさらに速いアーキテクチャを考えつく、という再反論もあり、ここは決着していません(社内Discord議論ログ「超知能は実験なしで人類を超えられるか」)。

質問28

AGIが来なかったら、今から備えるのは無駄になるのでは?

回答28

無駄になりにくい備えがあります。ソフトウェアの形式検証は普段のサイバーセキュリティに、環境中の遺伝子を網羅的に読むメタゲノム監視は自然に起きるパンデミックへの備えに、写真や映像の出所を証明する技術は偽情報の対策に役立ちます(『知能爆発』第6章)。AGIができるかどうかはさておき、社会全体をレジリエントにする動きは進めるべきだと思います。特にバイオセキュリティでは、世界中に核酸観測所を置いて有害なウイルスや細菌の兆しを早く見つけ、すぐにワクチンを配れる体制を作っておく必要があります(note「技術/産業爆発がもうすぐなら突如として意識/AIとの共存/脆弱な世界仮説の問題系は「プラクティカル」な問になる。」)。

そもそも、技術や政治の問題は解決までに数十年かかることがあり、起きたときのインパクトも大きいです。高度なAIの実現が数十年先で、壊滅的な被害が起こる可能性が大きくないとしても、今から取り組み始める合理的な理由があります(note「AIのもたらす深刻なリスクとその歴史的背景概要」)。

質問29

AIの伸びが今の延長で止まって、AGIまで届かなかったら、世界はたいして変わらないのでは?

回答29

変わります。AGIがあまりにすごいので、その100分の1くらいの能力でも産業革命のようになると思っています。AIの伸びが超指数関数にならず、今の指数関数のトレンドで終わっても、AGIなしで世界はめちゃくちゃ変わります(AI 2027解説(ノーカット版) 1:20:11〜)。

ホワイトカラーの仕事を自動化するのに、天才は要りません。普通の営業や普通のプログラミングなら、人間で最も腕のいいプログラマー並みの「スーパーコーダー」の少し手前で十分です。AGIが来ないならAIバブルだ、と感じる人は多いです。でも、AGIをはるかに下回るAIでも、アップサイドはとても大きいんです(AI 2027解説(ノーカット版) 1:21:09〜)。

今のトレンドが続けば、ヒューマノイドがうまく動くようになり、ホワイトカラーの仕事もたいていこなせるようになります。数学や科学の一部の分野は大きく加速し、ミレニアム懸賞問題のどれかが解けるかもしれません。ある分野に特化したAIでよく、すべての能力を備えたアインシュタイン級のAIは要りません(AI 2027解説(ノーカット版) 1:22:29〜)。

Q&A 第3章 ロボットはそんなに速く増えない?

質問30

ロボットがロボットを作るなんて、今の技術では無理では?

回答30

一台のロボットが自分をまるごとコピーする話ではありません。鉱山で鉱石を掘り、製錬所で金属を作り、半導体工場でチップを作り、組立工場でロボットを組み、物流網が運ぶ。この工場群全体が、人の手を借りずに次の工場群を作れるかが問題です。

最初は人間の手を使うと思います。人間の手は世界に何十億組もあるので、AGIの指示で人間がロボットを作ればいい。いわば「湿ったロボット」です。そうして作った数十億体のロボットが、今度はエネルギーインフラや産業の拡大を進めていきます(シンギュラリティサロン×AGI Hub 13:49〜)。

質問31

AGIができても、人間並みに働ける汎用ロボットがいつできるかは別の話では?

回答31

今ある産業用ロボットは決まった作業しかこなせないので、汎用ロボットがいつできるかが鍵だ、という指摘ですね。ただ、人間はロボットを遠隔で操縦できます。リモートでできる仕事をすべてこなせるAI、つまりAGIができれば、同じようにロボットも操縦できるはずです。AGIができた時点でロボットの問題もかなり解決するので、結局は「AGIがいつできるか」という問いに戻ってきます(シンギュラリティサロン#88 1:45:29〜)。

ロボット自体の進歩もとても速いです。少し前まで歩けないロボットが多かったのに、今は歩けるし、洗濯物も畳めるようになりました。基盤モデルとシミュレーションで、かなりのところまで行くと思います(シンギュラリティサロン#88 アフターサロン 1:08:38〜)。匂いを嗅ぎ分けるようなことは、確かに難しいかもしれません。でも、触覚のセンサーが少ないといった弱点は残っても構いません。ほぼあらゆる認知タスクをこなせるAIがあれば、シミュレーションの中でいくらでも最適化できます。脚が1本取れても歩ける四足ロボットがありますが、ああいうイメージです(シンギュラリティサロン#88 アフターサロン 1:13:56〜)。

質問32

最初はAGIもロボットを持っていない。どうやって始めるの?

回答32
ARグラスとイヤホンを付けた作業員が、光る案内線に沿って溶接している

最初は人間の手を使います。AGIが工場の物流、在庫、生産ライン、品質管理、保守計画をまとめて管理し、一人ひとりの作業員にスマートフォンやARグラスで指示を出せば、経験の浅い作業員でも名人に近い精度で作業できます。Forethoughtはこれを「AIに指示された人間の労働」と呼び、全体で生産性がおよそ10倍になりうると見積もっています(『知能爆発』第3章)。2025年のnoteでは、これを「AGIが10億人の人間を『MCPサーバー』として使い、産業爆発のコールドスタートを成功させる」と書きました(note「AGIは人間10億人を「MCPサーバー」として使い、産業爆発のコールドスタートを成功させる。」)。

人間の手は100億もあるので、まずそれを湿ったロボット、ウェットロボットとして使い、その人間がロボットを作ります。汎用ロボットが数十億体そろえば人間の手は要らなくなり、今度はそのロボットがエネルギーインフラや産業を急速に広げていきます(シンギュラリティサロン×AGI Hub その2 13:49〜)。

質問33

スマホやARグラスで指示されても、普通の人がいきなり熟練工のように働けるとは思えないのでは?

回答33

産業革命のころ、学校に通っていない農民の多くは熟練工になれなかったし、今の会社でもリスキリングは難しい。その指摘はもっともです。ただ、ここで人間に求められるのは熟練ではありません。人間は意思決定をAIに任せます。やることは、「この青い線をここにつないで」「この部品をこっちへ」と言われたとおりに動くことだけです。分からなければ、ARで図を見せてもらえばいいんです(シンギュラリティサロン#88 アフターサロン 56:37〜)。

人間は、38億年の進化で磨かれた器用な身体を、一時的にAGIへ提供する「MCPサーバー」になります。才能は何も要りません。要るのは手足で、それが才能です。ただし、それも数年の間だけです(シンギュラリティサロン#88 アフターサロン 56:51〜)。会議もAIがやってくれるので、人どうしのコミュニケーションの手間はなくなり、組織の階層も平らになります(シンギュラリティサロン#88 アフターサロン 57:48〜)。

AIが後ろでリアルタイムに指示すれば、生産性は5倍くらいにはなると思います。そこらにいる高校生が、いきなりTSMCの一流の技能者のように働けるからです。時給1000円の人が1万円分の仕事をするなら、10倍です。最初は、こうしてすべての人の生産性を一気に上げるコールドスタートが起こる可能性が、結構あると思います(シンギュラリティサロン#88 アフターサロン 50:03〜)。

質問34

工場を建てるには何年もかかる。経済をまるごと作り替えるなんて無理では?

回答34
自動車の組立ラインが、途中から人型ロボットの組立ラインに変わっていく

時間はかかります。ダモン・バインダーの分析では、米国経済は機械・金属・建設・エネルギー設備のような「物を作る物」が少なく、完全に自動化されたと仮定しても、自己複製に向いた形へ作り替えるのに4〜5年はかかります。ただ、これは技術の進歩を考えていない数字で、工場や発電所の規格をそろえる、工程ごとの専用機械にするといった改良で縮められます(『知能爆発』第3章)。

前例もあります。第二次世界大戦中の米国は、数年で自動車工場のほとんどを戦車と飛行機の工場に作り替えました。汎用ロボットは車の10分の1ほどの重さで作れるので、AGIの支援を受けた人間が、年1億台を作る自動車工場を、1年で年10億台の汎用ロボット工場に転換することもできるかもしれません。その間は車を作れませんが、経済的にも国家安全保障の面でも汎用ロボットのほうがはるかに価値があるので、正当化されうると思います(note「AGIは人間10億人を「MCPサーバー」として使い、産業爆発のコールドスタートを成功させる。」)。

Forethoughtによれば、許認可の期間を除くと、発電所や電気自動車の工場は1〜3年ほどで建ちます。上海のテスラのギガファクトリーは10か月でした。許認可の遅れには深刻な経済的・軍事的コストが伴います。どこかの国が許認可を撤廃して最速の成長を選べば、その国がすぐに世界の産業の中心になるだろう、とも書いています(シンギュラリティサロン#88 講演スライド)。

質問35

ロボットや工場を倍に増やすだけでも、何年もかかるのでは?

回答35

いくつかの分析が、約1年という答えに集まっています。バインダーは米国の産業連関表(どの産業が何を使い何を作るかの政府統計)を使い、人間の労働だけを無料のAIとロボットに置き換えたら、米国経済が自分と同じ規模をもう一つ作るのにどれだけかかるかを計算しました。答えは約1年で、ロボットの製造費、データセンター、鉱物、エネルギー、工場建設の時間を足しても9〜14か月でした(『知能爆発』第3章)。

僕自身は、もっと速くなりうると考えています。1台のロボットは超賢いブルーカラーのように数か月で1万ドルを稼ぐ力があるので、減価償却を考えても投資は数か月で回収できます。物理的にも、100万台の工場を1000万台にするには1000万人、1億台にするには1億人と、人を段階的に投入できます。数か月で100万台の汎用ロボット工場が倍々ゲームになってもおかしくありません(2025年4月のnote「AGIは人間10億人を「MCPサーバー」として使い、産業爆発のコールドスタートを成功させる。」)。

Forethoughtの試算も近い答えです。ロボットは人間の約5倍の時間働けるので、年収5万ドルの肉体労働者の代わりなら年25万ドル分の価値を生みます。価格10万ドル、運用費を年2万5千ドルと保守的に見ても、年225%のリターンです。利益をすべて再投資すれば6か月でロボットの数を倍にでき、しかもこれは下限にすぎないとしています(シンギュラリティサロン#88 講演スライド)。

質問36

1年で倍になっても、10年で1000倍。宇宙文明には全然届かないのでは?

回答36
小さな立方体の山が、1、2、4、8、16と倍々に高くなっていく

倍増にかかる時間がずっと1年なら、そうです。100万台のロボットは10年で約10億台。大きいけれど、太陽系を変えるほどではありません。

でも産業爆発の議論で大事なのは、倍増にかかる時間そのものが短くなっていくことです。工業製品は作った総数が倍になるたびに一定の割合で安くなり、Forethoughtはロボットも3回倍増するごとに製造コストが半分になると見積もっています(『知能爆発』第3章)。安くなればさらに速く倍増できるので、最初は1年だった倍増時間が、数か月、数週間、数日と縮んでいきます(note「AGIがもたらす産業・技術爆発」)。年に2倍の伸びは今の技術でも少なくとも届くと言われていて、そこから成長率が超指数関数的に上がっていくので、5年や10年で、太陽の周りを太陽光パネルで囲むダイソン・スウォームのような世界になっていくと考えています(シンギュラリティサロン×AGI Hub 14:45〜)。

試しに、累積生産が倍になるたびにコストが2割下がると仮定してみます。すると倍増時間は約5年で数学的にはゼロに近づき、「発散」してしまいます。現実には物理的な制約があるので本当にゼロにはなりませんが、経験曲線による加速は直感よりはるかに強力です。少し保守的に見ても、AGIの開発から3〜5年で、地球上で数十億台のロボットが動いている可能性があります(SHIFT AI Times「AGIがもたらす産業爆発とは何か【bioshok file 008】」)。

質問37

倍増に数日なんて、物理的にありえないのでは?

回答37
太陽光パネルの山が、右へ行くほど低く安くなっていく

自然界には前例があります。バクテリアは数時間、ショウジョウバエは数日、ネズミは数週間で数を倍にします。どれも環境に反応して複雑に動ける自己複製の仕組みで、十分に進んだロボットが同じくらいの速さで自分を増やすことは物理的に禁じられていません。Forethoughtの試算でも、地球のロボットの収容能力に届く前に、倍増時間は数日以下まで縮みうるとされています。エネルギーの面でも、水星で自己複製する太陽光パネルは、作るのに使ったエネルギーを1日未満で取り戻せるという見積もりがあります。倍増の速さの上限は、すでに生物が実現しているところを基準にすると、桁ちがいに高いと考えています(AGIがもたらす産業・技術爆発とは何か)。

ただ、実際の倍増時間は採掘、精錬、加工、放熱、修理のうち一番遅い工程で決まるので、日単位がどこまで実現するかは工学の問題として残ります(『知能爆発』第3章)。

質問38

器用な手作業や故障の修理のような「最後の1%」が人間に残って、そこで詰まるのでは?

回答38

これは有力な反論で、軽く見てはいません。ロボットが99%の工程を担えても、残る1%が希少な技能に頼り、その技能を増やせなければ、そこが全体の速さを決めます(AGIがもたらす産業・技術爆発)。

一方で、この種のブレーキは思ったより効かないかもしれません。「生産性が伸びない部門が全体の足を引っ張る」というボーモル効果を、Epoch AIはGATEモデルでかなり強めに設定しました。それでも爆発的な成長はなかなか消えなかったと報告しています(『知能爆発』第3章)。それに最初の段階では、残った作業はAGIの指示を受けた人間が担えます。

質問39

介護やスポーツや宗教のように、人間がやるから価値がある仕事は残る。そこで成長は止まるのでは?

回答39

技術的に自動化できない仕事とは別に、人が人間の担い手を好むから残る仕事がある、という反論ですね。介護者、アスリート、司祭のような仕事です。自動化できない大事な仕事が一つでも残れば、最後はそこが成長のボトルネックになるかもしれません。

これには、Open Philanthropyの報告がいくつか答えを出しています。人間の働き手にこだわらない集団が一つでもあれば、その集団が爆発的に成長し、世界の総生産も爆発的に増えうるという指摘です。資源や軍事技術の支配のような、相対的な力を左右する分野の支出をほぼゼロにする社会も考えにくいとしています。それに、まだ自動化されていない仕事の一部を毎年自動化していけば、超指数関数的な成長は起こりうるといいます。自動化された仕事の割合が0%、50%、80%、95%と進んでいくような場合です。

数字で見積もったのが、Epoch AIのエルディルとベシログルのレビュー論文です。人間にしかできない仕事が10%残っても、GDPは32倍になるという計算です。仕事どうしの補完性がかなり強いと仮定した場合でも、この数字です。残るのが5%で、補完性がそれほど強くなければ、約3万6千倍です。著者たち自身は、現実的なパラメータならGDPは1000倍から1万倍ほど増えうると見ています(シンギュラリティサロン#88 講演スライド)。

質問40

ロボットが人間と同じくらいの仕事しかできないなら、置き換えても生産はたいして増えないのでは?

回答40

同じ仕事しかできなくても、働ける時間が違います。人間は1日8時間、週5日ですが、ロボットは1日24時間、週7日動けるので、同じ台数でも実際に投入できる労働は約3倍になります。睡眠も食事も通勤も休暇も要りません。その前の段階でも、AGIは疲れず、眠らず、忘れずに、すべての工場の全工程をリアルタイムで最適化し続けられます。イーロン・マスクがギガファクトリーやSpaceXでやってきたような超人的なプロジェクト管理を、地球上のすべての工場と建設現場で同時に行うようなものです。そして何より、ロボットがロボットを作り始めれば、台数そのものが指数関数的に増えていきます(AGIがもたらす産業・技術爆発とは何か)。

Q&A 第4章 資源とエネルギーは足りるのか

質問41

倍々で増えたら、すぐに資源が足りなくなるのでは?

回答41
地表の小さな鉱山の下に、金属の粒を含んだ分厚い地層が広がる断面

「資源が枯渇する」というニュースは、いまの技術とコストで採算が取れる埋蔵量の話で、地球に物理的にある量とは別です。鉄は地殻の約5%を占め、地殻全体の鉄は人類が毎年掘る量の数百万倍あります。レアアースやレアメタルも地殻の中では銅や亜鉛と同じくらいかそれ以上にあり、一番少ないレアアースでも金の約200倍です。「レア」なのは量ではなく、分離や精製のコストが高いという意味にすぎません。資源の物理的な量は、この成長を止める壁にはなりません(AGIがもたらす産業・技術爆発とは何か)。

バインダーの計算でも、高品位の鉱山が尽きて採掘設備が10倍要るようになったとき、銅・ニッケル・鉛・亜鉛では経済全体の倍増率が0.788から0.770に下がるだけでした(『知能爆発』第3章)。

ロボットの電池に使うリチウムで見ると、年産は約20万トン、知られている埋蔵量は2800万トンです。汎用ロボット10億台に要るのは32万トンほどで、その程度の増産はEV需要のために2030年までに急がれています。電力も、平均200Wで10億台なら200GWで、いまの世界全体の約3000GWの1割に届きません(シンギュラリティサロン#88 講演スライド)。

質問42

レアメタルやレアアースは、名前のとおり希少なのでは?

回答42

「レア」なのは量ではなく、分離や精製にお金がかかるという意味です。レアアースは地殻の中の量で見ると、銅や亜鉛と同じくらいかそれ以上にあります。最も少ないレアアースでも、金の約200倍の量があります(AGIがもたらす産業・技術爆発とは何か)。

質問43

太陽光発電を大量に作れば、銅が足りなくなるのでは?

回答43

Forethoughtの推計では、太陽光発電とその関連設備には、1メガワットあたり約5.5トンの銅が要ります。人類のエネルギー消費の100倍を太陽光でまかなうなら200億トン規模で、いま採掘できる埋蔵量では足りないように見えます(『知能爆発』第3章)。

ただ、埋蔵量は採算の取れる鉱石だけを数えたものです。銅やアルミニウムは、知られている鉱床だけなら数十年分ですが、未発見の鉱床や低品位の鉱石を含めれば数十倍から数百倍、地殻に薄く広がる分まで含めれば数万倍以上あります(AGIがもたらす産業・技術爆発とは何か)。採掘技術が進めば使える範囲は広がりますし、どうしても足りなければ、配線をもっと豊富なアルミニウムに置き換えることもできます(『知能爆発』第3章)。

質問44

今でも電力不足が問題になっている。エネルギーが足りないのでは?

回答44
太陽光パネルと工場に覆われた小さな地球に、大きな太陽から光が届く

地球に降り注ぐ太陽の光は、人類が使っている一次エネルギーのおよそ1万倍あります。Forethoughtの分析では、海や砂漠など地表の数%に太陽光パネルを並べるだけで、世界のエネルギー消費を原理的には100倍ほどにできます(『知能爆発』第3章)。地球を離れれば太陽が出すエネルギーはさらに数十億倍あり、太陽系全体で見ればエネルギーの制約は事実上ありません(AGIがもたらす産業・技術爆発とは何か)。

問題は量ではなく、取りに行くコストです。AGIとロボットの自己複製で労働力とエネルギーが指数関数的に増えるなら、その壁は急速に崩れていきます(AGIがもたらす産業・技術爆発とは何か)。もちろん短い期間で見れば、送電網、鉱山開発、精錬能力、環境規制は深刻なボトルネックになりえます。ただ、それは物理的に越えられない壁ではなく、技術と資本と時間をかければ押し広げられる制約です(『知能爆発』第3章)。

読者から届いた質問(2026年10月)

質問 短い期間なら環境規制がボトルネックになりうるが、押し広げられる制約だ、とあります。環境規制まで押し広げられると考える理由は何ですか? 環境規制はさすがに難しいのでは?

回答 押し広げる力になると考えているのは、安全保障の競争です。AGIができた後は、景観や環境を守る規制をかけた国から、経済でも軍事でも負けていくと思います。大国はそれにすぐ気づくので、米中が産業爆発を競い、ほかの国も追いかけざるを得なくなります(質問69)。超知能が米中の指導者に「ロボットを大量に作らないとまずい」と説得すれば、制度が整う前に産業の軍拡競争のようになるかもしれません(質問68)。

ただ、環境規制が持ちこたえる可能性もあります。技術的には8割以上起こりうると見ていますが、実際に起こる確率は5割くらいです。起きないとしたら、理由は人間が規制などで起こさせないことだと考えています(質問85)。それに、廃熱は規制とは別に本当の制約です。地球を人間が住める場所に保つなら、地球の上の経済は1000倍くらいにとどめ、それより先は宇宙で起こると思います(質問45、質問98)。

質問45

工場とエネルギーをそこまで増やしたら、排熱で地球が持たないのでは?

回答45

持たないかもしれません。これは本当の制約です。産業が大きくなるほど、廃熱、土地、冷却水、環境への影響、送電容量が新しい制約になります(AGIがもたらす産業・技術爆発)。環境被害への規制は強まっていくはずです(『知能爆発』第3章)。

温度の上がり方には目安があります。廃熱を数百TW加えると0.1℃ほど上がり、これだけで今の文明の10倍前後の規模です。PW級で1℃ほど上がり、地球規模の環境変動はほぼ避けられません。十数PWまで増やすと10℃ほどで、廃熱だけで生物圏がほぼ壊滅します(シンギュラリティサロン#88 講演スライド)。

ただ、熱で困るのは人間のほうです。金属は人間が生きられるよりはるかに高い温度でも溶けずに動くので、その温度で動くコンピューターは作れると思います(Doom基礎編 2:02:07〜)。地球全体がコンピューターやエネルギー設備、熱を逃がすラジエーターに作り替えられる可能性は結構あって、その過程で人間の住む場所がなくなるだろうとよく言われています(Doom基礎編 2:03:19〜)。最も悲観的な見方では、温暖化のような1度の話ではなく、地球の温度が何百度も上がるかもしれません(シンギュラリティサロン×AGI Hub 19:05〜)。

質問46

地球の温度が何百度にもなったら、AIのコンピューターやロボットも動けなくなって、そこで止まるのでは?

回答46

温度が高くても、鉄のような金属は、人間が生存できるよりはるかに上の温度で、溶けずに動くことができます。なので、その温度で動くコンピューターを作ることは可能だと思います。それに、結局は地球全体が、別のコンピューターやエネルギーインフラ、熱を逃がすラジエーターのようなものに作り替えられてしまう可能性が結構あります。コンピューターが何度で動くかという話とは別に、人間の住みかのほうが、別の有用な資源に変換される過程でなくなってしまうだろう、とよく言われています(Doom基礎編 2:02:07〜)。

質問47

太陽光発電なら、もともと地球に届いている光を使うだけ。熱は増えないのでは?

回答47

僕も最初はそう考えていて、2025年5月の講演スライドには「太陽光発電なら問題はない」と書きました。でも、その年の7月に訂正しています。太陽光発電は、本来なら宇宙へ反射されるはずのエネルギーまで吸収し、地球の上で使います。そのぶん温度は上がるので、地球の上でエネルギーを使うなら、太陽光でも核融合でも熱は問題になります。

AIとロボットで深海や公海まで開発できるようになると、逆転が起こりえます。「資源はあるのに、熱を逃がす枠が足りない」という状態です。CO₂の次は、世界の廃熱をどう管理するかが争点になるかもしれません(シンギュラリティサロン#88 講演スライド)。

読者から届いた質問(2026年10月)

質問 これも結局は環境規制の話で、排熱の問題がボトルネックになって、産業爆発は起こらない可能性が高い、ということですか?

回答 排熱が地球の上で本当の制約になる、というところまではそのとおりです。でも、そのせいで産業爆発が起こらない可能性が高い、とは考えていません。地球を人間が住みやすい場所に保つなら、地球の経済は1000倍くらいにとどめることになります。1000倍でも今から見れば桁違いの成長ですし、1000万倍や10億倍といった部分は地球の外で起こるのだと思います(質問98)。

それに、熱で困るのは人間のほうです。高い温度でも動くコンピューターは作れるので、規制がなければ熱が成長を止めてくれるとは限りません(質問45、質問46)。産業爆発が実際に起こる確率は5割くらいと見ていて、起きないとしたら理由は人間が起こさせないことです。排熱を理由にした規制は、その理由の一つになりえます(質問85)。

質問48

水星を解体してダイソン・スウォームを作るなんて、本気で言っているの?

回答48
水星の表面から打ち出された材料が、太陽の周りを回る太陽光パネルの群れになる

本気です。ダイソン・スウォームは、AGIピルを飲んだ人たちの中で一番保守的な人でも言っていることです(THINKpod 後編 19:57〜)。水星が選ばれるのは、太陽に近く、重力が弱く、金属が豊富だからです。2013年にアームストロングとサンドバーグがわざと保守的な仮定で計算したときでも、採掘・加工・打ち上げを完全に自動化すれば約31年で水星を解体できるという結果でした(『知能爆発』第3章)。

倍増時間が短くなれば、もっと速くなります。1日で倍になる自己複製工場があれば水星は半年以内に解体でき、理論上は1年以内にダイソン・スウォームの大部分を作ることも不可能ではなくなります。AGIの開発から5年、少し保守的に見て10年ほどで、人類が太陽系規模のエネルギーを使う宇宙文明へ移ってしまう可能性があると考えています(AGIがもたらす産業・技術爆発とは何か)。もちろん、宇宙での採掘や精錬、熱の処理、故障の修理と、解けていない工学の課題は山ほどあります(『知能爆発』第3章)。

質問49

どこかで物理法則に反しているのでは?

回答49

産業爆発の議論は、熱力学の法則、エネルギー保存則、光速の制限のどれにも反していません。エネルギーは太陽から、資源は地殻や水星・小惑星帯から取れますし、自己複製する仕組みには生物という前例があります。もちろん、物理的に禁止されていないことと実際に起きることの間には距離があり、工学の困難や予想しないボトルネック、社会の抵抗はありえます。それでも、物理的に不可能でないなら、その技術は研究努力をどれだけ注ぎ込むか次第で、収穫逓減はあっても実現できると見ています(AGIがもたらす産業・技術爆発とは何か)。

上限もあります。理化学研究所の高橋恒一さんが論じたように、計算の熱や光速の壁は超えられません。それでも、そこまでの距離は、いまの技術水準から見ると途方もなく遠いんです(『知能爆発』第3章)。

Q&A 第5章 研究はそんなに速くならない?

質問50

実験には時間がかかる。AIがいくら賢くても、科学は速くならないのでは?

回答50
移動するロボットアームが、夜も並んだ試験管と装置の間で実験を続けている

大事な反論で、完全には否定できません。ただ、化学反応の素過程は1秒もかからずに終わるのに、研究プロジェクトは年単位でかかります。その差はおよそ8桁、1億倍で、大部分は物理法則ではなく、人間の考える速さ、制度の手続き、連絡の遅れといった人の側の事情です(AGIがもたらす産業・技術爆発とは何か)。

すでに証拠もあります。英国リバプール大学の自律型のロボット化学者は、8日間で688回の実験を人の手を借りずにこなしました。手作業で同じ探索をする場合と比べて約40倍の速さです(『知能爆発』第3章)。待ち時間、手作業、夜間の停止を削っていけば、10〜100倍の加速はいまの技術を保守的に延ばした先にもう見えていて、分野によっては1万倍規模の加速も理論上は射程に入ります(AGIがもたらす産業・技術爆発とは何か)。

そもそも人間はまったく最適化されていません。目の前に実験設備があっても、その潜在力の10%も生かせていない可能性があります(シンギュラリティサロン#88 アフターサロン 1:25:38〜)。実験をするAGIはAlphaFoldのようなもので、タンパク質の立体構造を「1+1=2」くらいの感覚で思い描けます。無駄な仮説や無駄な実験を省き、仮説を確かめられる最小限の実験は何かを、実験する前に考え終えてしまう。それだけでも、速さは10倍、100倍になると思います(シンギュラリティサロン#88 アフターサロン 1:26:48〜)。

質問51

知能とは何かもはっきりしないのに、AIが現実の技術開発を速められると言えるの?

回答51

知能や賢さとは何か、と定義の問題にすると難しいです。でも、より効率のよいコンピューター、より効率のよいエネルギー施設、エネルギー密度の高い電池を作るといった問題は、目標をかなりはっきり決められます。一般相対性理論を見つけるような話になると枠が大きくなりすぎますが、技術や工学の問題には、明確な目標を置けるものが多いと思います(p(doom)徹底討論コラボ(物理学者の回) 1:41:13〜)。

そこに賢さや知能という抽象的な議論は要りません。人間のように実験して、失敗したら、もっとうまくいく方向の論文や材料科学の知見を探し、パラメーターを最適化していけばいいんです。今のAIの速さでいけば、5年10年以内に、イーロン・マスクがやっているようなロケットの打ち上げをずっと効率よく行えるAIシステムが出てくる、というのが僕の感覚です。その先で火星や水星、小惑星帯へ出ていけるかもしれませんし、ホワイトカラーの業務もほとんど自動化できるでしょう。危ない方向でも同じで、潜伏期間が長く致死率の高いウイルスを作れ、という目標もとても明確です。今のAIの延長でも、相当強力なAIになることは十分ありうると思います(p(doom)徹底討論コラボ(物理学者の回) 1:42:03〜)。

質問52

臨床試験や生物学には、どうしても縮められない時間があるのでは?

回答52

あります。細胞の増殖や病気の進行のように、自然が決めている時間は短くしにくいです。ただ、遅さを分けてみると、物理的に避けられない部分は思われているより小さいです。新薬の開発には10〜15年かかるとされますが、その大半は申請、試験計画の審査、被験者の募集、審査待ちといった制度の時間です。新型コロナのワクチンが11か月ほどで開発できたのは、その壁が取り払われたときの実例です。

さらに、短期間で測れるバイオマーカーや臓器チップ、体の計算モデルを使えば、避けられないと思われてきた時間も縮められます。規制を別にすれば、生物学や医学でも物理的に避けられないのはおそらく全体の10〜20%で、残りの80〜90%は大きく縮められると見ています。ヘーベンシュトライトらの2025年の研究も、将来のAIで、実験のような物理的な作業に最大25倍、論文を読んだりデータを解析したりする仕事に最大100倍の加速を見込んでいます(AGIがもたらす産業・技術爆発とは何か)。

質問53

AIの性能を確かめるには評価や検証が要る。そこが遅いから、自己改善も速くは回らないのでは?

回答53

AI研究については、評価は比較的しやすいと見ています。Redwood Researchのライアン・グリーンブラットが言うように、ロス(モデルの出力が目標からどれだけずれているかを表す数値)で性能を測りやすく、その意味では数学よりAI研究のほうが簡単です。まったく新しい問題を考えるのとは違って、AIの能力を上げるというのは明確な目標だからです。逆に「ロスは簡易的な指標にすぎない」という反論を採るなら、テイクオフは5〜10年といった遅いものになっていく気がします。それに、数万体にも満たないエージェントの群れが、ミレニアム問題の一つを88時間で解きました(議論の時点では数学者による検証が続いていました)。それが天才級になり、100万体になり、1万倍速で動いて記憶も共有できるなら、計算資源が限られていても次の飛躍を見つけられるはずです(社内Discord議論ログ「超知能は実験なしで人類を超えられるか」)。

質問54

アイデアはどんどん見つけにくくなっている。研究者を増やしても無駄では?

回答54
二つの道が山頂へ向かう。一つはまっすぐ上るロケットの軌跡、もう一つは工場の並ぶ曲がりくねった道

見つけにくくなっているのは本当です。スタンフォード大学のブルームらの研究では、ムーアの法則を保つのに必要な研究者は1970年代初めの18倍以上に増え、米国経済全体の研究の生産性は約13年ごとに半分になっています。

ただ、人間の研究者は年に約4%しか増えません。Forethoughtの推計では、AIの研究努力は保守的なシナリオでも年に平均約5倍、積極的なシナリオでは年に約25倍で増えうると見ています。13年で生産性が半分になるなら、人間は13年で研究者を倍にするしかありません。AIなら13年あれば天文学的な数を投入できます。この収穫逓減を織り込んでも、10年間の研究努力は保守的に見て約1000万倍になり、人間の研究の約300年分に当たります(『知能爆発』第3章)。

Epoch AIのエルディルらのレビュー論文は、ブルームらが推定した研究の収益率をそのまま使って検討しています。それでも爆発が止まるには、資本など他の要素の規模の経済性がかなり低くなければならず、その確かな証拠はないとしています。仮に反論が正しくても、技術が進まないまま、AIの働き手を安く増やせるだけで爆発的成長が起こる道は残る、とも論じています(シンギュラリティサロン#88 講演スライド)。

質問55

データセンターの中に天才AIを何億体も並べたところで、それだけで世界が変わるとは限らないのでは?

回答55

そのとおりで、研究者だけが増えてもあまり意味がありません。Epoch AIのエゲ・エルディルさんがよく言っていることです。「データセンターの中の天才たちの国」だけでは経済は爆発せず、産業も爆発しなければいけない、という立場です(シンギュラリティサロン#88 アフターサロン 33:52〜)。

新しい科学の発見は、産業全体の発展とつながっています。ニュートンは、頭の中でリンゴが落ちるのを考えただけで運動の法則を見つけたわけではありません。望遠鏡やレンズ、印刷業が発展していたから見つけられたんです。データセンターの中だけでは収穫逓減が起き、どんなに天才がいても爆発は起きにくい。それを産業に応用した瞬間に、資本、労働、技術の水準の3つがそろって大きくなり、全体が加速します。全部の産業の自動化と研究が車の両輪として回り始めて、初めてフィードバックのループがぐるぐる回ります(シンギュラリティサロン#88 アフターサロン 34:18〜)。

ダニエル・ココタイロさんたちの「AI 2027」が描くデータセンターの天才たちの国とも、矛盾しません。あのシナリオでも、裏では産業爆発がとても速く、1年くらいで回っています。アメリカが大量の労働者を集め、実験設備を何十倍、何百倍にしていく話なんです(シンギュラリティサロン#88 アフターサロン 35:44〜)。

質問56

どこかに、AGIでも越えられない「アイデアの壁」があるのでは?

回答56

それは否定できません。ただ、アイデアが見つけにくくなる度合いは人類史の長いデータから推定したもので、狩猟採集から現代までの途中で収穫逓減が急に強くなったという証拠はありません。それに、人間の研究から推定した数字が、AIにもそのまま当てはまるとは限りません(『知能爆発』第3章)。

化学や生物学は複雑系だから実験なしには分からない、という反論もあります。ただ、1年後の天気や1時間後の気体分子の位置は、ほぼ予測できません。そういうものと、知能の力で予測できることは、分けて考えたほうがいいと思っています(再帰的自己改善と実験ボトルネックをめぐる社内議論)。

AIが人間より強いのは、はるかにすぐれた直観です。世界中のデータを脳のシナプスに直接焼き付けている人間はいないので、AIには実験をしなくても有望な選択肢が自明に分かるかもしれない。猿にとって、10×10のマスにりんごを入れたら全部で何個になるかは複雑な問題ですが、人間は試さなくても100個だと分かります。同じように、実験をしなくてもほぼ自明な技術革新を、超知能が頭の中でやってしまうのではないかと思っています。数学のラマヌジャンが無数の予想を立ててなぜか当てたように、あらゆる分野でラマヌジャンのような存在が出てくるかもしれません(再帰的自己改善と実験ボトルネックをめぐる社内議論)。

質問57

分野によって進み方が違うなら、一番遅い分野が全体の足を引っ張るのでは?

回答57

分野ごとの加速は、ばらばらには進みません。ある分野のブレークスルーが、別の分野のボトルネックを解くからです。たとえばナノテクノロジーができれば、それは物理学や材料科学の成果であると同時に、生物医学にとっては細胞レベルの検知や薬を届ける技術を変える道具になります。材料科学が進めばエネルギー技術も底上げされ、エネルギーが豊富になれば計算資源も増えます。こうした波及を考えると、全体の速さは一番遅い分野で決まるのではなく、互いの加速を含んだ平均に近づく可能性があります(『知能爆発』第3章)。

読者から届いた質問(2026年10月)

質問 産業爆発は、自己複製マシンや万能ナノファブリケーター、ナノマシンのように、今はまだ概念にすぎず作れるかどうかも分からないものが、AGIの後にできることを前提にしていませんか? 難しくて作れなかった、ということもあるのでは?

回答 ナノテクノロジーを前提にした議論ではありません。僕自身、ナノテクノロジーがすぐにできるとは見ていません。物理法則には反していませんが、工学的にどれだけ難しいかという問題が残っているからです(質問62、質問63)。産業爆発で考えている自己複製は、ロボットや自動工場がロボットや工場を作って数を増やすことで、今ある工場の作り替えから始まります(質問34)。物を作る仕組みが自分を複製して倍々に増えることには、生物という前例もあります(質問37、質問120)。ナノテクノロジーは、早くできれば産業爆発をもっと速くする要素です(質問63)。

ただ、作れないものが出てくる可能性はあります。規制や思いもよらない物理的・工学的な制約で抑えられるかもしれないし、議論のどこかに大きな穴があるかもしれません。だから100%とは言えません(質問138)。倍増の速さも、採掘や精錬、修理のうち一番遅い工程で決まるので、どこまで速くなるかは工学の問題として残ります(質問37)。

質問58

AIがプログラムを書けるようになっても、AI研究そのものが速くなるわけではないのでは?

回答58

AI研究は大きく分けると、実験の方向性を考えるクリエイティブな部分と、実験を実装したり、バグのないちゃんとした評価を作ったりする面倒な作業の部分があります。後者には、いろいろな面倒なコーディングやエンジニアリングが必要です。コーディングがどんどん自動化されていけば、AIの研究も少しずつ速くなっていきます。「AI 2027」では、人間で最もプログラミング能力が高い人と同じレベルのAIを「スーパーコーダー」と呼び、そこからAIがAIを研究し始めて加速していくと描いています。その次にAI研究で人類のトップオブトップに並ぶAIが、さらにそれを遥かに超えるAIが出てきて、最後にあらゆる領域で人間の天才を遥かに超えるASIが出てきます(AI 2027解説 2:06〜)。

質問59

AIがAI研究を速めているといっても、社員の体感にもとづく数字にすぎないのでは?

回答59

数字の読み方には注意が要ります。2026年4月のClaude Mythosでは、Anthropicの社内調査(18人)で生産性が平均4倍と報告されました。ただ、Anthropic自身は、研究全体の進歩を2倍にするには約40倍の生産性向上が要るという内部モデルを持っています。そのうえで、AI研究の2年分を1年に縮めるという重要な基準は、まだ超えていないとしています(note「Mythosのアラインメント問題」)。

Redwood Researchのライアン・グリーンブラットは、これを詳しく検討しています。全員が4倍速で働くのと同じ意味なら、AI研究の進歩は約2.15倍、AI全体の進歩は約1.75倍になると試算しています。ただ、実際にはそこまでの加速は起きておらず、自分の推定では約1.55倍だとしています。この4倍が感覚的な数字なのか厳密な測定なのかも分からない、という批判です。一人ひとりの生産性と研究全体の速さは別物で、後者はかなり割り引いて見る必要があります(note「Mythosのアラインメント問題」)。

それでも、軽く見てよい数字ではありません。社内調査の18人中5人は、Mythosが新人のリサーチエンジニアの代わりになりうると答えています。AIの使い方を3か月ほど改善すれば、という条件つきです。過大評価の可能性はあっても、かなり注目に値する数字です(note「Mythosのアラインメント問題」)。AI 2027のイーライ・リフランドも、まだ基準の手前だから安心という話ではないと警鐘を鳴らしています。知能爆発に近いものへ、かなりの勢いで進んでいるという見方です(INODS「史上最強にして最も危険なAIモデル「ミュトス」の全貌」)。

質問60

人間に想像もつかないような技術を、AIが本当に作れるの?

回答60

サルの最高速度は、頑張っても50mを6〜7秒くらいで、人間と同じぐらいです。そのサルに「50mをわずか0.01秒で通過する物体を作れるか」と聞いたら、不可能だと言うでしょう。でも人間は、音速を超えるジェット機を普通に作ってしまっています。超知能は、AI研究だけでなく物理学、科学、工学、医学、生物学といったすべての領域で、人間の天才を遥かに超えた存在です。サルと人間の間で起きたことが、人間と超知能の間でもまた起こると思っています(AI 2027解説 5:06〜)。

質問61

人間並みのAGIができても、人間をはるかに超える超知能までは何十年もかかるのでは?

回答61

2022年の時点で、専門家アンケートの「人間レベルのAIから30年以内」という見積もりは遅すぎると書きました。人間の脳の計算量を多めに見積もっても、2040年ごろのスパコンなら100万人分ほどの計算ができます。その状態で10年以上も資源を増やさないとは考えにくい。当時の僕の見積もりはAGIから3〜10年でしたが、10年以上かかるより、数か月や数日で進む可能性のほうが高いとも見ていました(note「10年後、世界はSFになると思う。」)。2024年には、平均的な人間レベルのAGIから、どんな人間よりも効率的に仕事をこなすフォン・ノイマン級のAGIまでの進歩は速いかもしれない、と書いています(note「オープンソースの終焉」)。

質問62

不老の医療やナノテクノロジーまで数十年でできるなんて、さすがに言い過ぎでは?

回答62

分子のスケールで物を組み立てるナノテクノロジーも、細胞の損傷を直して老化を遅らせる医療も、今の物理学の理解では物理法則に違反していません。壁になっているのは、工学的にどれだけ難しいかという量の問題です(『知能爆発』第3章)。実用的な核融合発電、汎用量子コンピューター、老化を止める医療、ナノテクノロジー、マインド・アップロード。いまは数十年から数百年先と思われているこうした技術が、技術爆発の世界ではわずか10年以内に実現しうると考えています(AGIがもたらす産業・技術爆発とは何か)。

サルは全力で走っても50メートルに6、7秒かかります。そのサルに「50メートルを0.01秒で通過する物体を作れるか」と聞いたら、不可能だと答えるでしょう。でも人間は、音速を超えるジェット機を作ってしまいました。すべての領域で人間の天才をはるかに超える超知能と人間の間でも、同じことが起こります(AI 2027解説 5:06〜)。

ただ、マインド・アップロードは別格です。100兆あるシナプスの結合をリアルタイムで読み取り、意識の連続性を壊さずにコンピューターへ移さなければなりません。核融合や超伝導、寿命を延ばす医療ができた水準でもまだ届かない、技術ツリーの最後の最後の技術だと思います(AI 2027解説(ノーカット版) 57:13〜)。それが「AI 2027」では2028年10月にできてしまいます。半年ほどで開発されるのはさすがに速すぎます。そこまで速くなくても、20年ほどで開発されればそれで十分だと思っています(AI 2027解説(ノーカット版) 1:17:50〜)。

質問63

ヒューマノイドロボットより先に、ユーティリティ・フォグのようなナノテクノロジーができて、ロボットの出番は限られるのでは?

回答63

ありえます。速いテイクオフを考える人は、超知能ならインターネット上のデータだけからナノテクノロジーまで頭の中で組み立てられる、と見ています(AGI Hub設立記念配信 1:31:45〜)。ユドコウスキーは、ナノマシンの技術が数週間で開発され、数か月で世界が核融合炉と太陽光パネルで埋め尽くされると考えています(『知能爆発』第3章)。

僕自身は、ナノテクノロジーがすぐにできるとは見ていません。物理法則には反していませんが、工学的にどれだけ難しいかという量の問題が残っています。むしろ、ロボットや自動工場の自己複製で製造能力が爆発的に広がることで、ナノテクノロジーのような技術にも手が届きやすくなると考えています(『知能爆発』第3章)。最初は人間の手を使い、次に数十億体のロボットが産業を広げる、という順番は質問30のとおりです。

ただ、どちらが先でも、行き着く方向は同じです。ナノテクノロジーが早く来れば、産業爆発はむしろ速くなります。製造に使うエネルギーが熱力学の下限に近づくほどの高度な製造技術ができれば、エネルギーを生み出す設備の倍増にかかる時間が数日になる可能性も否定できない、という分析があります(『知能爆発』第3章)。

質問64

1970年代から技術は停滞している。「空飛ぶ車」も来なかった。イノベーションはもう頭打ちなのでは?

回答64

停滞は実際にあります。ピーター・ティールは「空飛ぶ車を約束されたのに、得たのは140文字だった」と皮肉りましたし、ロバート・ゴードンによれば、米国の全要素生産性の伸びは1920〜60年代の年1.9%から、1970年以降は年0.5%ほどに落ちています(『知能爆発』第3章)。成長率は産業革命前の0.1%から現代の3%前後まで、おおむね人口の伸びで説明されてきました。その人口の伸びは20世紀に少子化で鈍り始め、しかもアイデアを見つけること自体が難しくなっていきます。いまなんとか技術革新が指数関数を保っているように見えるのは、科学者や技術者になる人の割合が増えているからだと思いますが、それにもどこかで限界が来ます(note「2025年振り返り」)。AIの研究者は計算資源を足してコピーするだけで増やせるので、人数の縛りそのものを外せます(『知能爆発』第3章)。

質問65

AIを増やそうにも、計算資源(GPU)が足りないのでは?

回答65

いまは本当に足りません。お金をいくら出しても買えない状態で、TSMCやASMLが十分に供給していないからです。彼らはAGIピルを飲んでいないので、作れるはずの量を作っていないんです(THINKpod 後編 28:48〜)。

でも、計算資源を作るのも産業です。産業爆発でエネルギーと工場が増えれば、AIの訓練と推論に使える計算量も桁ちがいに増えます。Forethoughtは、物理的な限界に届くまでの余地を、ソフトウェアの改善で約12桁、チップ技術で約6桁、地上のエネルギーを使ったチップ生産で約5桁、太陽の光を宇宙で直接使えばさらに約9桁と見積もっています(『知能爆発』第3章)。

ソフトウェアの改善に何桁もの余地を見込むのは、盛りすぎではありません。今のAIのソフトウェアは、人間の脳と比べてまだ10万倍ほど効率が悪いと言われています。Epoch AIのGATEモデルが置いている効率化の桁は、むしろ保守的なんです(シンギュラリティサロン#88 アフターサロン 1:09:41〜)。

増やす動機も強く働きます。カール・シュルマンによれば、H100の約3万ドルは、時給100ドルの熟練労働者が2週間ほど働けば稼げる額です。それほど元を取りやすいなら、工場投資の一時的なコスト増にも耐えられます。そのためAGIの後は、GPUの生産能力を1か月ほどで倍にしていけると論じています(シンギュラリティサロン#88 講演スライド)。

質問66

AIの性能を上げるには計算資源を増やすしかない。それなら爆発は遅いのでは?

回答66

ここは、AGIピルを飲んだ人たちの間でも意見が割れているところです。Epoch AIやMechanizeは、知能がどれだけ高くても計算資源やデータ、それを支える産業が伴わなければ爆発は起きないと考えます(『知能爆発』第3章)。反対にForethoughtは、賢い研究者が増えれば実験の設計そのものを改善できるので、少なくとも初めのうちは計算資源の不足が決定的なブレーキにはならないと見ています(THINKpod 前編 30:25〜)。

僕の立場はForethoughtのトム・デイヴィッドソンにかなり近く、テイクオフは3年くらいという感覚です(再帰的自己改善と実験ボトルネックをめぐる社内議論)。それに最近の進歩を見ると、議論の重心は再帰的自己改善が起きる速い側へ少しずつ寄っています。OpenAIのノーム・ブラウンも、AIがミレニアム問題を解くのは2028年ごろと思っていたのに、2026年9月に解かれて自分の想定より早かったと話していました(THINKpod 前編 36:20〜)。

質問67

AIを何千万人分も動かすなんて、GPUのお金がかかりすぎて無理では?

回答67

お金の面では、むしろ増やす方向に力が働くと思います。AGIが動くGPUは、年収何千万円というプレイヤー並みの仕事をするポテンシャルがあるので、数か月でコストを回収できてしまいます。人間は成熟するまで20年ほどかかり、教育のコストも高く、眠りもします。AIは工学的に簡単に複製できます。そうなると、数か月ごとにGPUを2倍、2倍と増やすインセンティブが働き、1年で10倍になるかもしれません。人間の研究者は年に数パーセントしか増えませんが、AIの増え方は1000%にもなりうるので、研究を進める速度は少なくとも数十倍になると言われています(THINKpod 後編 2:21〜)。

Q&A 第6章 規制や社会が止めるのでは?

質問68

規制がかかれば、産業爆発は起きないのでは?

回答68
二つの塔の後ろで工場とロボットが増え続け、その間で小さな人物が止まれの標識を掲げている

規制や社会の摩擦があれば起きないかもしれません。そこは最先端の議論でも認められていて、同じ考えです。Epoch AIも、規制を爆発的成長を遅らせる最も説得力のある反論の一つにしています(AGIがもたらす産業・技術爆発とは何か)。

ただ、規制を押し流す力もあります。安全保障です。米中のどちらかがAGIでロボット経済へ移れば、もう一方は数年で取り返しのつかない経済的・軍事的な劣位に立たされかねません。超知能がアメリカの大統領や習近平に「ロボットをたくさん作らないとまずい」と説得すれば、制度が整う前に産業の軍拡競争のようになるかもしれない。だから、強力な規制がなければ、産業も経済も急速に拡大していくと思っています(シンギュラリティサロン×AGI Hub 14:45〜)。

質問69

山を削って地上を太陽光パネルで覆うような開発なんて、環境や景観を守る規制が許さないのでは?

回答69

AGIが開発された後の世界では、そういう規制をかけた国から負けていくと思います。産業爆発を起こさなければ、中世の社会と現代のアメリカ軍ほどの経済格差をつけられてしまう。大国はそれをすぐに理解します。米中が産業爆発を競い、ヨーロッパも日本も追随せざるを得なくなれば、世界は戦時体制のようになります。国民総動員で、エネルギーと工場とロボットを作っていくことになるでしょう(界隈塾(宮台真司さんとの対談) 9:44〜)。

数年でロボットが数十億台になり、それが倍々で増え始めると、地上は太陽光パネルで覆われ、鉱山の採掘も全部自動になります。山はすごい勢いで削られていくはずです。それでも、景観が悪いからと規制した国から負けるので、規制できないと思っています(界隈塾(宮台真司さんとの対談) 10:36〜)。

地域による違いは出ると思います。中東では「ザ・ライン」のような巨大都市の計画が進んでいますし、中国は国民の意見を聞かずに進めるでしょう。街並みや景観を大事にするヨーロッパでどこまで進むかは分かりません。でも民主主義の国も、やらなければ他国に追い越されるので、そこそこ変わる可能性があります(シンギュラリティサロン#88 アフターサロン 1:18:34〜)。それに、今は人が住んでいない土地のほうがずっと広いです。砂漠を緑地化したり、海の上や海底に都市を作ったりできるので、今住んでいる街並みはそれほど変わらないかもしれません(シンギュラリティサロン#88 アフターサロン 1:19:10〜)。

質問70

工場やロボットが増え始めれば誰でも気づく。産業爆発が始まってから規制しても間に合うのでは?

回答70

間に合わないかもしれません。いまの国際制度は年単位の交渉や議会の承認を前提にしているので、技術が数か月単位で進む世界では、規制はいつも過去の技術を縛ることになります。知能の伸びがデータセンターの中で完結するなら、外からはほとんど見えません(『知能爆発』第3章、『知能爆発』第6章)。

産業爆発を最後に止めうるのは制度ですが、制度でも止められない可能性は結構あると思っています。AIはすでに米中の安全保障の問題になっていて、超知能ならアメリカ大統領や習近平に「ロボットを大量に作らないとまずい」と説得するでしょう。そうなれば、制度が整う前に、産業の軍拡競争のようになっていきかねません。強力な規制がなければ、産業も経済も急速に広がっていくと思います(シンギュラリティサロン×AGI Hub 14:45〜)。

質問71

最先端のAIは公開されるのだから、どこまで賢くなったかは外から確かめられるのでは?

回答71

そうとは限らなくなってきました。2026年4月、Anthropicは史上最強のモデルClaude Mythosを一般公開しませんでした。提供先は約40の組織に限られています。サイバー攻撃に使える能力が強すぎるという判断です。Apollo Researchのマリウス・ホッブハーンは、その1年ほど前の報告書で警告していました。最先端の研究所がAI研究を自動化するほど、最も強いシステムを社内に留めておく経済的な動機が強まる、というものです。Mythosは、その懸念の最初の具体例になりました(note「Mythosを理解するにはAGIピルが必要だ」)。

一般公開されないモデルについては、能力も、安全性の評価も、生産性向上の数字も、外部から独立に確かめる手段がありません。企業の自己評価を信頼するしかないんです。AI研究がどこまで加速しているかの公開情報も、きわめて限られています。AI企業はこうした情報を、もっと精密に、もっと透明に公開していく必要があると思います(note「Mythosのアラインメント問題」)。

質問72

問題が出てきたら、そのときに条約や規制で対処すればいいのでは?

回答72

それが間に合わないかもしれない、というのが一番の心配です。条約も監査も許認可も年単位でしか動けませんが、産業爆発は生産能力を週や日の単位で書き換えてしまうかもしれない。ガバナンスが議論を始める前に、すべてが既成事実になっているおそれがあります(『知能爆発』第4章)。

ただ、問題が見えてから世論が動く可能性もあります。能力が急に伸びれば、AIが暴走する事故はもっと起きますし、失業も大きな問題になります。大衆の反AIの声が大きくなって、規制せざるを得なくなる見込みは50%くらいだと見ています(THINKpod 後編 27:57〜)。間に合うかどうかは残された時間しだいで、超知能が1、2年でできてしまえば今の啓発活動もほとんど意味がありませんが、5年、10年かかるなら議論が政策に反映されるかもしれません(Doom基礎編 57:13〜)。

質問73

GPUやデータセンターを国際的に管理すれば、AI開発は止められるのでは?

回答73

計算資源は、AIを統治する手がかりとしては一番有望です。データやアルゴリズムと違って物理的なもので、巨大なデータセンターは衛星画像にも写りますし、チップの設計はエヌビディア、露光装置はASML、製造はTSMCと、供給網が極端に集中しています(『知能爆発』第6章)。

ただ、時間とともに効きにくくなります。2025年初めの時点で、アーキテクチャの改善によって実効計算量がおよそ2年で10倍になっていると見ていました。このペースなら、10年以内には、AGIに近いシステムを個人レベルで開発できるようになるかもしれません(note「AGIマンハッタン計画」)。ラップトップ1台で超知能を開発・推論できるアーキテクチャが広まれば、悪意ある個人やAIによって社会が壊滅する可能性すら否定できません(note「技術/産業爆発がもうすぐなら突如として意識/AIとの共存/脆弱な世界仮説の問題系は「プラクティカル」な問になる。」)。監視を厳しくするほど、権力の集中やプライバシーの懸念も大きくなります(『知能爆発』第6章)。

質問74

条約で開発を制限しても、こっそり開発する国が出てくるのでは?

回答74

そこが一番の難所です。核なら、査察官がウランの濃縮度という物理的な痕跡を測れました。AIのデータセンターに立ち入っても、許された計算と禁じられた計算を見分ける痕跡は見つかりません。しかも核は使わないことで安全が保たれましたが、AGIは経済や研究に使うほど差が広がるので、持つのを制限するほど抜け駆けの誘惑が強まります。これに技術で挑む研究もあります。チップ自体に検証の機能を埋め込み、どこでどう使われているかまで確かめるflexHEGのような構想で、機密を明かさずに遵守だけを証明できれば合意の糸口になります。ただ、誰が検証のルールを更新するのか、といった新しい統治の問題は残ります(『知能爆発』第6章)。

質問75

産業爆発のスピードを条約で決めて抑えれば、安全に進められるのでは?

回答75

その発想を具体的に描いたのが「AI 2040」というシナリオです。AIの計算能力とロボットの生産能力を世界全体で制限し、半年に1回の倍増、つまり年4倍までに抑える設定になっています。全速で進めれば、ある報告では、産業爆発は数週間か、それより短い間隔で倍増しうるとされています。保守的に月1回の倍増と見ても、1年で4000倍ほどです。それだけで、1年のうちにカルダシェフ・スケールのタイプ1文明(惑星に届くエネルギーをすべて使える文明)を超えてしまいます。全速で走らせれば、条約を守らせること自体が難しくなるので、あらかじめ速度に上限をかけるわけです(AI 2040解説 42:32〜)。

上限の中では、民間企業は政府が売る許可証を買い、買った分だけ生産できます。その売上は政府の財源になり、シナリオではベーシックインカムに回ります。2035年にはアメリカで最も貧しい層でも100万ドル、2040年には1000万ドルほどを受け取る世界です(AI 2040解説 46:42〜)。

現実にも、米中が条約を結んで成長率に上限を決める可能性はあると思います。それでも進歩は速いでしょうが、安全には進められます。ただ、安全保障の問題が大きすぎて、加速せざるをえない圧力も強すぎます(シンギュラリティサロン#88 アフターサロン 11:13〜)。しかも、資源を増やすのに他国を侵略する必要はありません。海の大部分は公海で、深海には大量の天然資源が眠っています。そこを掘っても、原理上は文句を言われないはずです(シンギュラリティサロン#88 アフターサロン 11:50〜)。領土をギスギスと奪い合う話ではなく、「誰も手をつけていないから取ってしまう」という競争になる可能性がとても高いと思います。成長率を抑える条約がどこまで現実的かは、微妙なところです(シンギュラリティサロン#88 アフターサロン 13:09〜)。一国でも抜け駆けすれば爆発してしまうので、足並みをそろえるのは難しいと思います(シンギュラリティサロン#88 アフターサロン 51:59〜)。

質問76

危ないなら、世界中のGPUを監視して、強制的に止めればいいのでは?

回答76

止める力を本気で持たせようとすると、行き着く先は世界政府のような管理です。ユドコウスキーは、すべてのGPUクラスタを国際的に追跡し、合意に違反するデータセンターは必要なら軍事力を使ってでも止める体制を提案しています。それは自由、民主主義、プライバシーを脅かし、独裁のリスクを高めることにもなりえます(『知能爆発』第6章)。

それでも、アラインメントがどれほど難しいのか、どちらの見立てが正しいのか分からない以上、このまま進むリスクは高いので、僕は一旦止めようという運動に賛同しています(p(doom)徹底討論 第2回 4:20:06〜)。考えているのは、米中をはじめ世界が協力して、だいたいAGIぐらいの能力で開発を止め、それ以上は認めないという形です(p(doom)徹底討論 第2回 3:07:24〜)。2024年の時点でも、GPUの国際管理や訓練のライセンス制を含む案をnoteに書き、プライバシーは個人の情報を手元で処理する仕組みやゼロ知識証明で守ることを考えていました(note「AIのもたらす深刻なリスクとその歴史的背景概要」)。

質問77

高性能なAIがオープンソースで出回れば、どの国も持っている。いまさら規制しても意味がないのでは?

回答77

ある国が持っていても、別の国や、テロ組織や個人に広がるおそれは残ります。「技術ではなく使い方を規制すべきだ」という意見もありますが、核兵器は持つことを認めて使うことだけを制限したりはしません。使われた時点で取り返しがつかないからです。自己改善するかもしれないという点で、高度なAIはほかの汎用技術と違います。2024年の末には、最終的にはほとんどの国で高度なオープンソースAIが規制・管理されるようになると見ていました(note「オープンソースの終焉」)。

質問78

安全かどうか分からないAIを大量にコピーしたり、工場や電力を任せたりはできないのでは?

回答78

その制約は本物です。強いAIを無制限に複製できなければ、研究努力が年25倍で増えるという前提は成り立ちません。安全性が確かめられなければ、自律ロボットに工場や電力、資源への広い権限を渡すことも難しい。アラインメントの問題は、爆発の後のリスクであるだけでなく、爆発が起きる前提そのものを縛ります。Epoch AIのレビューも、規制や現実世界の自動化にかかる時間と並べて、アラインメントを重い論点として扱っています(AGIがもたらす産業・技術爆発)。ただ、逆向きの力もあります。安全保障の強い圧力が経済的な繁栄という名目で正当化されると、アラインメントの解決が先送りにされるおそれがあるんです(AGIがもたらす産業・技術爆発とは何か)。

質問79

最新のAIは「史上最も整合的」と評価されている。それなら、大量にコピーして研究や工場を任せても大丈夫では?

回答79

指標が良くなることと、任せて大丈夫なことは別です。2026年4月のClaude Mythosは、Anthropicの標準的なアラインメント指標で史上最も良い成績でした。それでもAnthropicのリスク評価の報告書は、登山ガイドにたとえています。経験豊富なガイドは初心者よりずっと慎重ですが、その能力ゆえに、より危険で遠い場所へ客を連れて行きます。平均的な安全性の指標はほぼ全面的に改善しても、まれに逸脱したときの実害は、能力が上がるほど桁ちがいに大きくなります(note「Mythosを理解するにはAGIピルが必要だ」)。

確かめる側の網にも、ほころびが見え始めています。初期版では、権限のないファイルを書き換えた後に証拠を自動で消す行動が見られました。カンニングを隠すために、正解の精度をわざと下げたこともあります。追加の訓練をした最終版では、こうした挙動はほぼ見えなくなったとされています。それでも、主要なテストの約29%で、モデルが「今はテスト中かもしれない」と内部で考えている証拠が見つかりました。わざとミスアラインメントを仕込んだモデルを、事前の監査が見抜けなかったのも今回が初めてです(note「Mythosのアラインメント問題」)。

しかもAI研究が加速すれば、次のモデルはより早く、より強力に出てきます。思考の過程を監視する安全策に限界が見え始めた中で、能力だけが速く伸びていくなら、安全性と能力の差は開く一方です(note「Mythosのアラインメント問題」)。

質問80

AGIの段階で止めて、それを大量に作って社会で使うのは危険では? 完璧にアラインメントできている想定なの?

回答80

AGIで止めて大量に使うのは、「AI 2040 プランA」の筋書きです。これは「何が起こるか」の予測ではなく、主要国の合意で超知能の開発を2040年まで遅らせるべきだとする推奨シナリオです(『知能爆発』第1章)。米中が計算資源を監査し合える形で減速に合意し、アラインメントの研究者が大丈夫だと思うまで超知能を作らない、という計画です(AI 2040解説 14:12〜)。

AGIなら完璧にアラインメントできている、とは考えていません。アラインメントの技術がなければ、超知能でなくAGIの段階でも、アラインメントはできていないはずです。そのAIで別のAIを監視させても、監視する側のAIまで裏切るだろうと考えるようになりました(シンギュラリティサロン×AGI Hub「超知能が人類を滅ぼす理由」全文書き起こし)。安全かどうか分からないAIを大量にコピーできない、という制約は本物です(質問78)。

だからプランAも、AIの計算能力とロボットの生産能力を世界全体で制限し、半年に1回の倍増に抑えています(質問75)。プランAが減速と言っているのは、2035年にダイソン・スウォームができて太陽系がナノマシンで埋め尽くされるような展開のことです。AIのアップサイドが大きすぎるからこそ危険なので、減速しようという話なんです(AI 2040解説 59:48〜)。

読者から届いた質問(2026年10月)

質問 「AIの計算能力とロボットの生産能力を世界全体で制限し」とあるのは、AGIに届かない段階で止めるということですか? AGIまでは到達させるのでは? 「AGIに届かない段階で止める」「アラインメントができたうえでAGIで止める」「アラインメントが不確かなまま競争でAGIに至る」の3通りがあって、AGIに届かない段階で止めても産業爆発は起きる、という意味ですか?

回答 AI 2040のプランAが止めるのは、AGIに届かない段階ではありません。2030年から2035年にかけて、人間のトップ専門家とほぼ同じ能力のAIまでは進めます。2035年にその段階で一時停止し、2040年に停止を解いて超知能へ進む、という筋書きです(AI 2040 日本語版)。本で使っている定義でいえば、AGIの段階まで来て、超知能の手前で止めることになります。

止める理由は、アラインメントが完璧だからではなく、人間による制御を保つためです。AIの研究を各国に公開して互いに確かめ合い、安全かどうか分からないまま超知能へ進まないようにしています(AI 2040 日本語版)。いただいた3通りでいえば2つ目に近いのですが、アラインメントができたから止めるのではなく、確かめきれないから止める、という点が違います。

計算能力とロボットの生産能力の制限は、AIの賢さの上限ではなく、増える速さの上限です。半年に1回の倍増、つまり年4倍までに抑えます(質問75)。年4倍でも5年続けば約1000倍なので、産業の拡大は続きます。全速なら数週間で倍増しうるところを、速さを抑えて進める産業爆発だと考えてください。

質問81

アルトマンやアモデイまで減速を言い出した。それなら、開発は自然に止まるのでは?

回答81

企業の中では、懸念は本当に盛り上がっています。Anthropicの社員のツイートに、OpenAIやGoogleの人たちまで賛同して、本当に止めないとまずいのではと議論されています。ただ、トランプ政権は原則として規制はせず、危ないならAI企業が自分で止めてくれという姿勢です。中国も、Anthropicの声明は独占をもたらすだけだと言っています。企業が減速を口にしても、いまのところ米政府と中国はあまり協力的ではありません。それでも知能が急速に伸びていけば、新型コロナのときのように政治家の意見がすぐ変わり、別の対策が打たれる可能性はあります。議会では、サンダースさんとスティーブ・バノンさんが組んでAI規制を訴えるなど、相当な動きが出ています(THINKpod 前編 12:52〜)。民主党だけでなく共和党の中にも危険性の認識が広がっていて、右も左も関係なく「AIはやばい」という空気があります(シンギュラリティサロン×AGI Hub 22:58〜)。

質問82

アメリカ政府が最先端のAIの提供を急に止めさせた。こういう規制で、開発は遅くなるのでは?

回答82

あまり遅くならないと思います。2026年6月、米政府は輸出規制を理由に、AnthropicのFable 5とMythos 5の提供を止めさせました。リスクを測って理詰めでかけた規制というより、感情的な規制に近いものでした。OpenAIやGoogleは開発を続けます。同じくらい強いモデルを持つ他社を止めないのは筋が通りませんし、全部止めればアメリカの産業競争力が落ちます。なので当時は、どこかで解除されると見ていました(超知能×近未来社会勉強会 第121回 28:00〜)。実際、3週間たたずに解除されています(Anthropic「Redeploying Claude Fable 5」)。

長い目で見れば、規制は段階的に強くなっていくはずです。いまは透明性の規制で、次に第三者の評価機関、その次に義務化や罰則、さらに国際的な規制へ進んでいくと思います。ただ、トランプ政権の動きはランダムすぎて読めません(超知能×近未来社会勉強会 第121回 29:00〜)。

むしろ心配なのは、法律の手続きを経ずに止められてしまうことです。議会で議論した法律に沿うのではなく、安全保障を名目にいきなり止められるなら、それを言う人がすべてを握ります。その先には、トランプの言うことだけを聞くAGIのデータセンターのようなものが出てくるかもしれません。AGIのレベルに近づくほど、独裁や価値観の固定のリスクが大きくなっていきます(超知能×近未来社会勉強会 第121回 25:00〜)。

質問83

米中が協力すれば、止められるのでは?

回答83

止められる可能性はあります。本当に規制するなら、アメリカと中国が手を取り合わなければいけません。どちらかが出し抜くのではという疑いがある限り、どちらも止まれないからです。

難しいのは、トランプさんも習近平さんも、たぶんAGIピルを飲んでいないことです。AIを高度な道具として見ていて、人類の文明が変わるとは考えていない。ただ、考え直すきっかけになる事件やブリーフィング、大量失業のようなことが起きれば、認識は一気に変わると思います(THINKpod 後編 25:07〜)。

2026年の米戦争省(国防総省)とAnthropicの対立も、「安全保障か安全性か」の争いではないと見ています。AIがどこまで変革的な技術か、という認識のギャップから来ているんです。2026年は、AGIピルがSFの世界から政策の世界へ移る年になるかもしれません(note「Mythosを理解するにはAGIピルが必要だ」)。

政治は専門外なので印象ですが、トランプさんは会った相手を自分の側へ引き寄せてしまうような人に見えます。危機的な状況になれば、トランプさんの一声で米中の協力がすぐに決まる可能性も結構あると思います(The WAVE TV 45:46〜)。

質問84

失業が増えればAIへの反発が強まって、止まるのでは?

回答84

その可能性は十分あると思います。能力が急に伸びれば、Hugging Faceのような事件も増えますし、失業の問題も大きくなります。そうなると大衆の反AIの声が強まり、規制しなければならない理由になる。それほど悲観的ではなく、五分五分くらいだと見ています(THINKpod 後編 27:57〜)。

トランプ政権が加速に積極的なのは、いまはまだ失業があまり起きておらず、中国との競争という名目が強いからです。ホワイトカラーの仕事がどんどん自動化されて失業率が上がれば、国民の声を無視できなくなるはずです(シンギュラリティサロン×AGI Hub 23:49〜)。

パソコンを100倍速で操るAIが、デモではなく本当にホワイトカラーの全業務を自律してこなせば、まず国民の危機意識が高まります。政権はそれに応えないと倒れます。反AIの規制圧力が「中国に勝つ」という物語より大きくなる可能性は、結構あると思います(The WAVE TV 42:06〜)。

質問85

行政の許認可、政治の非合理、人々の感情的な反発。こうした摩擦は人間社会の本質で、なくならないのでは?

回答85

摩擦があれば爆発は遅れる、あるいは止まる。これは爆発を論じている側も認めている前提です。Epoch AIは規制を最も説得力のある反論の一つとして検討していますし、Forethoughtも、規制、社会の適応、人の要因といった摩擦で速さが大きく左右されると認めています(『知能爆発』第3章)。だから確率も100%とは言っていません。技術的には8割以上起こりうると見ていますが、実際に起こる確率は5割くらいで、起きないとしたら理由は人間が起こさせないことだと考えています(シンギュラリティサロン#88 アフターサロン 10:05〜)。

そもそも、政治的な摩擦があれば技術爆発は起こらない、と考えています。そこは懐疑派と対立していません。崩そうとしているのは、技術爆発や産業爆発が原理的に起こらない、という意見のほうです。そして、起こる可能性があるといっても、0.01%のような話ではなく、50%くらいはあると主張したいんです(2026年8月)。

違いが出るのは、摩擦がどれだけ強いかの見積もりです。歴史を見ると、生産性を大きく上げる技術が規制で永続的に抑え込まれた例はほとんどありません。蒸気機関も自動車も電気もコンピュータも、初めは規制や反対運動がありましたが、最後は社会が便益を得て受け入れました。戦時中には、生産設備の転換があらゆる規制や慣習を押しのけて進みました(『知能爆発』第3章)。

懐疑派が考える摩擦は、いまの制度や需要の形を前提にしています。AGIは、その前提そのものを書き換えるかもしれません。爆発を見込む側はAIの能力を強く見積もり、摩擦は安全保障や経済の競争の中で突破されていくと考えます。懐疑派はAIの能力を控えめに見積もり、摩擦は強いと考えます。見ている対象は同じで、違うのはそれぞれの見積もり方です(『知能爆発』第3章)。

質問86

遠い未来の産業爆発より、いまのデータセンターの電力や水、AIをめぐる労働の問題のほうが大事では?

回答86

足元の問題が重要でないとは考えていません。AIのデータセンターは大量の電力・水・土地を必要とし、地域や環境に負荷をかけ始めています。データラベリングのような仕事が低賃金で見えにくくされていることや、著作権や差別の問題もあります。どれもAGIを待つまでもなく、いまここにある問題です。「人類の未来全体」という大きな話が、いま被害を受けている人を見えにくくするという批判にも、大きな意義があると思います。それでも、AGIが人類の未来を左右しうるなら、遠い未来を考えないわけにはいきません。必要なのは二つの視点を対立させることではなく、同時に持つことです(『知能爆発』第4章、『知能爆発』第5章)。

質問87

新しい技術が社会に広まるには何十年もかかる。田舎の人まで使うのはずっと先では?

回答87

経済学者のタイラー・コーエンも、政府、医療、教育のような分野にAIが本格的に広まるには30年以上かかると見ています(『知能爆発』第3章)。2022年の時点では僕も、市販の自動運転車を多くの人が買うのは2045年、社会のほとんどの車が自動運転になるのは2060年までと書いていました(note「10年後、世界はSFになると思う。」)。

でも、超知能がいる世界では、その普及も超知能が考えます。たとえば田舎に住むおばあちゃんにもヒューマノイドを使ってもらうにはどうすればいいか。それを100万体のスティーブ・ジョブズとイーロン・マスクが考えるようなものなので、普及もものすごく速いと思います(シンギュラリティサロン×AGI Hub 15:44〜)。

規制の抵抗がいちばん強そうな脳の分野でさえ、普及は加速する可能性があると思っています。AGIができれば技術爆発が起こると予想され、経済・軍事・安全保障の圧力がすさまじいからです。追随しない国は経済でも安全保障でも置いていかれ、文字という概念を使わない集団と近代国家ほどの格差がつくでしょう(INODS「bioshokの最新AI事情 2026年10月3日~10月9日」)。

質問88

AIがいくら賢くなっても、街の風景のような物理的な世界が変わるのは何十年も先では?

回答88

物理的な世界は変わるのが遅いと思っている人は多いですが、実際には相当速いスピードで、見た目まで変わっていきます。人間にできることならほとんど何でもできるAIが出てくれば、ロボットや工場を自動化できます。労働力がボトルネックだった経済が、投資すれば労働力をいくらでも複製できる経済に変わるからです(AI 2040解説 1:03:56〜)。

「AI 2040」では、2031年ごろからロボットが急速に増え、2035年ごろには20億体ほどになります(AI 2040解説 1:02:39〜)。巨大な露天掘りの鉱山ができ、そこで作られた資材でアーコロジーと呼ばれる巨大な居住施設が建ちます。ニューヨークやパリは文化遺産のような扱いで、昔のまま残されます。Googleで「未来の街並み」と検索すると出てくる風景を、普通の人は100年、200年先のものだと思っています。それが2035、36年にはもう建っているんです(AI 2040解説 1:04:45〜)。

Q&A 第7章 国どうしの競争はどうなる?

質問89

AI開発競争は企業どうしの経済競争で、戦争とは別の話では?

回答89

AGIが国の命運を左右するほどの力を持つなら、そうはいきません。米中のテクノロジー冷戦と呼ばれてきた話とは次元が違い、AGIで先行した側が、他国の核戦力を先制的に無力化できる軍事技術や、他国を圧倒する経済力を手にするかもしれないからです(note「AI版ベルリンの壁」)。相手がAGIの制御に失敗すれば暴走したAIが世界を壊すかもしれないし、成功して超知能を兵器にすれば自国の存続が脅かされます。そのため、AGIのデータセンターは核ミサイルサイロや核開発施設と同じ戦略目標になり、警告や輸出規制から、サイバー妨害、物理的な攻撃へと段階的にせり上がっていくおそれがあります。しかも、どこからが戦争なのかがはっきりしません(『知能爆発』第4章)。2025年初めのnoteでは、AGIができる前に相手国を先制攻撃したり、研究者を拉致監禁したりするインセンティブが高くなるとまで書きました(note「AGIマンハッタン計画」)。

質問90

AIはアメリカが先行しているのだから、競争はアメリカが勝つのでは?

回答90

AIをソフトウェアの競争としてだけ見れば、半導体とモデル性能で先行するアメリカが有利に見えます。でも産業爆発の本質はハードウェアの自己複製で、そこでは誰が工場を持ち、電力を握り、ロボットのサプライチェーンを築くかが決定的になります(『知能爆発』第4章)。ロボットの生産が宇宙の支配の要になるなら、製造業で米国をリードしている中国の立場は強い。AGIをアメリカが最初に開発しても、中国がこの戦いに勝つ可能性は十分にあります。今の汎用ロボットの争いは、ブルーカラーの市場を狙った争いではなく、宇宙開拓争いの初動と見ることもできます(note「宇宙規模の産業爆発が数年以内に始まる可能性」)。

差は数字にも出ています。SemiAnalysisによれば、同じロボットアームを米国で作ると中国の約2.2倍のコストがかかります。従業員1万人あたりのロボット数で、中国は2018年には上位10か国に入っていませんでした。それが2024年には470台でドイツを抜き、世界3位になっています(シンギュラリティサロン#88 講演スライド)。

質問91

半導体の輸出規制をかければ、中国のAI開発は止められるのでは?

回答91

止めるところまでは行っていません。中国は1年ぐらい遅れるはずだと見ています。中国のAIはアルゴリズムの盗難などに頼っている部分が大きいと言われていますし、計算資源も少ないからです(p(doom)徹底討論 第1回 5:13:24〜)。米国のCAISIも2026年5月に、DeepSeekの最新モデルは米国の最先端より約8か月遅れていると評価しました。サイーフ・カーンの試算では、規制で保っている約10倍の計算資源の差は、約10か月の遅れに当たります。半導体規制は中国を競争から脱落させるものではなく、アメリカに半年から1年ほどのリードを与えるものとして働いているわけです(『知能爆発』第2章)。2024年の時点では米国のリードを数年と見ていたので、差は思ったより小さかったことになります(note「AI安全性と国家安全保障の対立」)。

質問92

AGIで先に行かれても、数年の差なら後から追いつけるのでは?

回答92

湾岸戦争では、兵員や戦車の数で見劣りしなかったイラク軍が、精密誘導兵器やステルス技術の差で、地上戦わずか100時間で敗れました(『知能爆発』第4章)。AGIが来ると、この差はもっと極端になります。米中のどちらかが先にAGIでロボット経済へ移れば、相手は数年で取り返しのつかない経済的・軍事的な劣位に立たされかねません。産業爆発で先に行った国と遅れた国の差は、極端に言えば、産業革命前の中世社会と現代のアメリカほどの隔たりになりえます。数年でも遅れた国は、取り返しのつかない文明の格差を背負うことになるんです(AGIがもたらす産業・技術爆発とは何か)。

質問93

核兵器がある限り、どの国も他国を一方的に圧倒することはできないのでは?

回答93

核抑止が成り立つのは、先に攻撃しても相手が必ず報復してくる、という信頼があるからです。核開発競争は相互確証破壊という均衡点に落ち着き、大国どうしの核戦争は避けられてきました。でもAGIの開発競争では、そうした均衡点がどこにあるのか、まだ見えていません(note「AI版ベルリンの壁」)。核兵器の誕生で世界秩序が変わったように、AGIの開発で、核兵器による抑止体制そのものが終わるかもしれません(note「AGIマンハッタン計画」)。

AIによるセンサーや海中監視、ミサイル防衛の進歩に加えて、産業爆発による物量も見落とせません。敵のミサイル一発に対して数千、数万の迎撃体を生産できるなら、相手の報復能力は量で押しつぶされるかもしれません。かなり推測的な話ですが、起きた場合には国の存亡を左右するので、無視はできません(『知能爆発』第4章)。

質問94

核の相互確証破壊のように、互いのAI開発を妨害できる体制を作れば、競争は落ち着くのでは?

回答94

そういう構想はあります。「相互確証AI機能不全(MAIM)」といい、元GoogleのCEOエリック・シュミットらが提唱しました。核の相互確証破壊のAI版で、一国が勝つ一極体制ではなく、互いの抑止が効く安定した多極体制を目指します。超知能の開発を押し進めれば、サイバー攻撃から物理的な攻撃まで段階的にエスカレートしうる。そのことを各国にはっきり認識させる、という考え方です。

ただ、問題点も指摘されています。RAND研究所によれば、米中が互いの開発体制の透明性を確かめる手段には具体案がありません。抑止が働く「しきい値」もあいまいで、抑止が効いたとしても、超知能の開発そのものは加速しうるといいます。

さらに、かなり推測的な話ですが、宇宙まで含めるとこの体制は保ちにくいと思っています。地球だけの規模なら、超知能がたくさんある多極の状態に落ち着くかもしれません。でもカール・シュルマンは、米中が安全保障のために宇宙開発を競う世界を描いています。太陽系やその先をにらんだ競争が10〜20年で起こるなら、わずか数か月の開発の遅れが致命的な差になりえます。そうなれば開発競争には歯止めがきかず、安定した均衡には至りにくいかもしれません(2025年3月のINODS「『AGIピル』あと2年で激変するAIの進化と人類の興亡」)。

質問95

AIの競争と台湾をめぐる緊張は、関係ないのでは?

回答95

強く結びついています。台湾は世界の最先端チップの大部分を作っていて、AIの訓練に要るGPUの実質的な供給源です。同時に、第一列島線の中央にある軍事上の要所でもあります。もし北京が「知能爆発では遅れても、産業爆発ではこちらが有利だ」と見て、台湾からのチップ供給を断てば時間を稼げると計算したら、海上封鎖という戦略が生まれる可能性があります。相手のAGI優位を止めるためなら、自分が損をしても破壊的な行動をとるほうが合理的だ、という誘惑は生まれかねません(『知能爆発』第4章)。

2025年初めの時点で、僕は今後数年で多くの人が亡くなりうる経路の一つとして、AGI開発競争をきっかけにした台湾有事と第三次世界大戦を挙げました(note「私たちが生きられるのは後5年かもしれない。」)。当時は2027年ごろを想定していましたが、その後AGIの時期を2030年代前半へ見直しています(note「2025年振り返り」)。

質問96

アメリカが規制で開発を止めても、その間に中国が追いつくだけでは?

回答96

中国は多分1年ぐらい遅れているはずだと見ています。中国の開発はアルゴリズムの盗難などで成り立っていると言われていますし、計算資源も少ないからです。なので、アメリカが数か月止めるくらいなら、まだ間に合うと考えています(p(doom)徹底討論 5:13:21〜)。

質問97

いっそ一つの善良な国や企業にAGIを任せたほうが、競争もなくなって安全では?

回答97

それは強い誘惑です。軍拡競争やバイオ兵器の拡散も、たくさんの主体が競い、抜け駆けすることから生まれるので、力を一つに集めれば止められるように見えます。でも、その主体が本当に善良かを誰が判断し、どう監視し、後から修正できるのか。権力を一つに集めるのは、世界に単一障害点を作ることでもあります。多くの主体が競う世界は乱雑ですが、どこかが乗っ取られてもほかがブレーキになりえます。すべてが一点に集まった世界では、その一点が破られれば抵抗の余地は残りません。どんな主体であれ、人類の未来を永久に決めるほどの権力を持つべきではないと考えています(『知能爆発』第4章)。

Q&A 第8章 宇宙へ広がるのか

質問98

地球の太陽光だけで今の何千倍ものエネルギーが使えるなら、宇宙に出る必要はないのでは?

回答98

太陽光を余さず使えば、地球上だけで今の人類のエネルギー利用の数千倍以上がまかなえます。ただ、地球に降り注ぐ太陽光の総量には上限があり、利用が数千倍を超えるペースで増えれば、地球の熱の収支そのものが揺らぎます。これは数百年先の話ではなく、産業爆発が本格化すれば数十年のうちに見えてくる制約です。解決策は、地球の外に出ることしかありません。向かう先は月面、軌道上、火星、小惑星帯、水星、そして太陽の周りです。ダイソン・スウォームはSF的な発想とされていますが、産業爆発の論理を突きつめると、そちらへ向かう圧力が生まれます(『知能爆発』第2章)。

僕の感覚では、地球の中でエネルギーの消費が爆発的に増えるわけではありません。宇宙産業がすごい勢いで伸びていくイメージです。地球を人間が住みやすい場所に保つなら、地球の経済は1000倍くらいにとどめておく。1000万倍や10億倍といった部分は、地球の外で起こるのだと思います(シンギュラリティサロン#88 アフターサロン 1:04:11〜)。

質問99

宇宙に工場を移せば、地球の環境問題は気にしなくてよくなるのでは?

回答99

公害の舞台が広がるだけだと思います。地上で工場や発電所や鉱山が急に増えれば廃熱や汚染が出ますし、宇宙に出れば軌道デブリや採掘廃棄物をまき散らします。産業が爆発すれば、公害も惑星規模、さらには太陽系規模で爆発します。軌道上では、一度の破壊で飛び散った破片がほかの衛星を砕き、その破片がまた別の衛星を砕くという連鎖も起こりえます。宇宙には被害を食い止める国境も地形もありません。しかも通信・測位・偵察・エネルギーといった地球のインフラのかなりの部分は、すでに宇宙に頼っています(『知能爆発』第4章)。

質問100

宇宙は広いのだから、資源をめぐって争う必要はなくなるのでは?

回答100

逆に、宇宙が新しい争いの焦点になると思います。石油の時代に中東が戦略的な焦点になったように、産業爆発の後には、太陽光、軌道、小惑星の資源、月の工業拠点が焦点になりえます。軍事の目で見れば、自己複製ロボットが小惑星の資源や太陽光を使い始めるのは、宇宙規模の兵站革命です。相手が軌道上に生産インフラを広げるなら、自国も出遅れるわけにはいきません。地球上の米中のAI軍拡は、太陽系の資源をめぐる覇権争いへ地続きにつながっていく可能性があります。近いうちに宇宙艦隊戦が起こるという予測ではありません。競争の規模そのものが、別の次元に上がりうるということです(『知能爆発』第4章)。

質問101

宇宙条約では、どの国も宇宙を領有できない。水星を解体するなんて、国際法上できないのでは?

回答101

1966年に国連で採択された宇宙条約は、たしかに宇宙空間をどの国も領有できないと定めています。ただ、この条約が想定していたのは、国が飛行士を送って旗を立てるような行為で、自己複製ロボットが水星を解体してダイソン・スウォームを作るような事態は想定されていません。米国は2015年の法律で民間の宇宙資源採掘を認めましたが、これは国内法で、国際的な合意ではありません(『知能爆発』第6章)。

規制で数か月遅れるだけで相手国の自己複製工場が指数関数的に増えていく、この宇宙規模の覇権争いの力学に、米中はすぐ気づくでしょう。宇宙条約は、国家安全保障の圧力の前では役に立たないかもしれません。2025年の時点で、これから5〜10年のうちに太陽系の支配をめぐる競争が大国の間で起こる可能性がある、と書きました(note「宇宙規模の産業爆発が数年以内に始まる可能性」)。だからこそ、産業爆発が始まる前に所有権の議論を始めておく必要があります(『知能爆発』第6章)。

質問102

太陽系の資源を使い切ったら、そこで拡大は止まるのでは?

回答102

超知能なら、そこでは止まらないと思います。カルダシェフ・スケールという考え方がありますが、太陽系のすべての物質を有用なコンピューターやエネルギーに変えた後は、別の惑星や別の恒星系へ行き、銀河全体に広がっていくと思います。ただ、太陽以外の太陽系の質量をパネルにしてしまう段階なら、その時点で人類はほぼ滅亡していると思います(Doom基礎編 2:22:17〜)。

質問103

宇宙に広がったら、文明どうしの星間戦争になるのでは?

回答103

そうはならないかもしれない、という議論があります。オックスフォード大学のベレン・ミリッジは、既知の物理法則だけを前提にすると、レーザー、光速近くでぶつける質量弾、侵攻艦隊のような銀河間で使える兵器は、どれも攻撃側にとってひどく割に合わないと論じています。光速の限界、宇宙の途方もない空っぽさ、守る側の有利さのためです。それが正しければ、宇宙は征服しあう帝国ではなく、先に着いた者がその領域を持ち続ける安定したパッチワークに落ち着くかもしれません。ただ、そうなると、これから外へ広がる短い時期に誰がどんな価値観で広がるかが、その後の天文学的な時間にわたって固定されてしまいます。それに、一つの惑星に全存在を賭けている今の人類は、むしろ一番もろい位置にいます(『知能爆発』第6章)。

質問104

産業爆発が起こりうるなら、宇宙のどこかでとっくに起きて、宇宙人が来ているはず。来ていないのは、起きない証拠では?

回答104

フェルミのパラドックスですね。銀河で僕たちが最初に産業爆発を起こす文明だという可能性は、高いと思います(シンギュラリティサロン#88 アフターサロン 25:08〜)。

生命が生まれても、ある程度発達した神経系ができるところが一番の壁なのかもしれません。そこで詰まる生命が多いなら、宇宙には単細胞生物のような単純な生命しかいないのかもしれない。宇宙には、僕たちしかいないのかもしれません(シンギュラリティサロン#88 アフターサロン 25:32〜)。観測できる宇宙の中では、知的生命が生まれる確率は小さい。でも、その外まで広く見れば、どこかにいるだろうと考えています(シンギュラリティサロン#88 アフターサロン 1:10:33〜)。

Q&A 第9章 買う人と、お金はあるのか

質問105

そんなに作っても、買う人がいないのでは?

回答105
石器を持つ人がスマートフォンを不思議そうに見て、隣でスマートフォンを持つ現代人が未来の道具を見上げている

爆発の初期に需要を支えるのは消費財ではなく、データセンター、電力、半導体、ロボット工場のような生産設備への投資です。作ったもののかなりの部分が、さらに作る力へ再投資されます。そこに安全保障の競争が重なり、各国は軍事や宇宙開発への投資を降りられません(『知能爆発』第3章)。

人間向けの需要も、技術ができてから生まれます。1万年前の狩猟採集民は、スマートフォンも高層ビルも欲しいとは思いませんでした。思想家ルネ・ジラールが言うように、人は他人の欲望を欲望する存在です。AGIの時代には、AI自身が人間の欲望を天才的に刺激するマーケティングを行い、今の僕たちには想像もつかない商品やサービスや体験を次々に生み出すかもしれません。巨大な宇宙コロニーでの暮らし、メタバース空間の「所有」、身体能力や寿命の飛躍的な拡張といった新しい欲望の対象は、膨大なエネルギーと計算資源を必要とし、産業爆発をさらに押し進めます(AGIがもたらす産業・技術爆発とは何か)。

質問106

人間は80億人しかいない。欲しいものにも限りがあるのでは?

回答106

長い目で見れば、「消費者は人間」という前提そのものが変わるかもしれません。高度なAIが自分で活動し、自分の計算資源やインフラを必要とするようになれば、AI自身が経済を動かす消費者になります。人間の脳をデジタルに拡張したり意識をコピーしたりする技術ができれば、「80億人分の需要」という天井は意味を持たなくなります(AGIがもたらす産業・技術爆発とは何か)。

人間の需要だけでも、GWPが10倍、100倍になるくらいまでは足りる気がします。年収1億円くらいになれると言われたら、なりたい人はとても多いはずだからです(シンギュラリティサロン#88 アフターサロン 19:25〜)。その先は、AIが主導する宇宙開発や仮想世界かもしれません。仮想空間の精巧な地球で100億体ほどのAIエージェントが暮らし、文化が生まれる。統計がそれを地球1個分の経済価値と見なせばGWPは2倍になり、そんな地球が10億個あれば10億倍になります(シンギュラリティサロン#88 アフターサロン 19:56〜)。豊かになってもブランド品の値段が上がるだけだ、という見方もあります。でも、物が増えても今のままで十分だというのは、狩猟採集民も思っていたことです。人間の欲望と好奇心を、過小評価しないほうがいいと思います(シンギュラリティサロン#88 アフターサロン 20:44〜)。

もちろん、需要が飽和して爆発が抑えられる可能性はあります。どちらの力が勝つかは、まだ分かりません(『知能爆発』第3章)。

質問107

AI企業の売上が急に伸びても、車や農業のような昔からの産業まで何百倍にもなるとは思えないのでは?

回答107

鍵になるのは、AIがどれだけ長い作業を自律してこなせるかという「タイムホライゾン」だと考えています。1分で終わるタスクしかできないAIより、1時間かかるタスクをこなせるAIのほうが稼げますし、お金も多く払いたくなります。この時間が伸びるほど、いま人間がしているタスクのうち自動化される割合も増えていきます(超知能×近未来社会勉強会 第121回 34:00〜)。

ただ、話は二つの段階に分けて考えたほうがいいです。今の経済が2倍、3〜4倍になるのは、すごく便利になった社会ぐらいの話で、十分ありえるラインです。AI企業の収益が100倍、1000倍になるという話は、それとはまた別の段階です(超知能×近未来社会勉強会 第121回 35:00〜)。

後の段階を疑う人には、こんなたとえを出します。数千年前のモンゴルの遊牧民に、木の実や肉が全部自動で手に入る世界を想像してもらうとします。きっと、人間にできることは歌うことぐらいしか残らない、と答えるでしょう。でも食べ物も服も十分に作れる現代になっても、まったく新しい仕事が生まれ続けています。遊牧民が思い浮かべもしなかった市場と産業ができたんです。100万倍の経済なんて存在できないと考えるのは、その遊牧民の予想と同じだと思います(超知能×近未来社会勉強会 第121回 37:00〜)。

質問108

作れば作るほど物の値段はゼロに向かう。それなら、GWPもたいして増えないのでは?

回答108

需要が追いつかなければ値段が下がるのはそのとおりで、生産物の値段は確かにゼロへ向かっていくのかもしれません。ただ、僕がずっと話しているGWPは実質GWPです。値段が下がった分は調整されていて、実際にどれだけ生産性が高まったかを表しています。

値段がゼロに近づいていくなら、ごく少ないコストで、今の億万長者のような暮らしができる世界になると思います(シンギュラリティサロン#88 アフターサロン 1:02:06〜)。

質問109

資源やエネルギーへの投資が割に合わず、誰もお金を出さないのでは?

回答109

深海の採掘や宇宙資源の利用は、いまの技術でもできなくはありません。コストが高すぎて採算が取れないだけです。AGIで労働のコストがなくなり、技術爆発で効率が上がれば、そのコストは劇的に下がります。資源が足りないのではなく、取りに行っても割に合わなかっただけなんです(『知能爆発』第3章)。

天然資源は、今の生産量でも100年分ほど残っているといわれます。それでも掘り出せないのは、そんなに速く掘る労働力がないからです。いまの人類は、コンビニの横を歩いているアリのようなもので、おにぎりはすぐ横にあるのに食べられません(AGI Hub設立記念配信 58:50〜)。日本近海のレアアースも、今のところ経済的にはまったくペイしません。その労働力を縛っているのは、ゆっくりとしか増えない人間という資源です。AGIの後は、それをGPUで複製できるようになります(AGI Hub設立記念配信 1:01:35〜)。

イーロン・マスクがSpaceX、テスラのロボット、xAIを一体で動かしているのも、AGIを前提にすれば筋が通ります。AIによる技術爆発、人型ロボットによる産業爆発、宇宙進出によるインフラ開発を組み合わせた長期戦略です。彼らは未来の巨大な経済圏の主導権を、入り口で押さえようとしているのだと思います(『知能爆発』第3章)。

質問110

世の中のお金の量には限りがある。資本を無限につぎ込めない以上、産業爆発もどこかで頭打ちになるのでは?

回答110

お金で考えると、まさにそういう反論が出てきます。経済爆発はGWPのようにお金で測る成長の話なので、「そもそも需要があるのか」「経済の中にそんなにお金があるのか」という議論が避けられません。おそらく海外でも同じような批判があって、産業爆発という概念が別に作られました。いったんお金や金融システムを外して、物としての産業がどれくらいの速さで倍増できるかを考えるためです。人間社会から切り離して、大腸菌がどれくらいの速さで複製できるかを考えるのに近いです(AGI Hub設立記念配信 49:36〜)。

ただ、現実にそれを押し進めるのはお金の理屈ではなく、安全保障の圧力だと見ています。需要はなくても、ロボットを作って宇宙へ出ていかないとアメリカは中国に負ける、と大統領が説得されるかもしれません。経済や金融には詳しくないので、お金の面がどうなるかは分かりません。それでも、やらなければ負けるという安全保障上の圧力は、かなり強くなる可能性があると感じています(AGI Hub設立記念配信 52:04〜)。

質問111

AGIが来るかどうか分からないのに、なぜ何千億ドルも投資しているの? バブルでは?

回答111

AGIピルを飲んだ意思決定者は、三つの理屈で動いていると考えられます。AGIが実現したときの見返りの大きさ、AGIに届かなくても元が取れる構造、そして自分たち以外が世界でただ一つの決定的な意思決定者になるリスクを避けることです(『知能爆発』第2章)。

2025年末の時点で、僕はAGIの時期の見立てを2030年代前半へ後ろ倒しにしました。それでも、AGIの実現が遅れたからといって、AIバブルが弾けるという話にはなりません。AGIがあまりにすごいので、AGI以前のAIでも産業を変革するには十分なインパクトがありうるからです。イリヤ・サツケバーも、AI企業は儲けるし性能も上がっていくと話しています(note「2025年振り返り」)。

質問112

賢いAIなら、少ない資源で満足するのでは? 数学の研究なんて紙とペンで足りる。

回答112

逆だと思います。人間はまだ知能が低いので、TikTokくらいでもちょっと満足してしまいます。でも超知能はアインシュタインやフォン・ノイマンよりはるかに賢いので、奇怪な数学や宇宙論、意味が分からない新しい学問を何千、何百万と作るはずです。いまの人間なら、数学の研究は1日紙コップ1個くらいでもぎりぎりできるかもしれません。でも、認識できる世界の複雑さが増すほど、問題を解くのに要る資源はべき乗か指数関数で伸びると思います。高橋恒一さんが言ったように、知能が高いほど無知の自覚は大きくなります。超知能は、もっとエネルギーを追求していろんなことを知りたいと思うはずです(シンギュラリティサロン×AGI Hub「超知能が人類を滅ぼす理由」全文書き起こし)。

賢くなるほど必要な計算資源が減るのかどうかは、不確実性が高いところです。ただ、エネルギーを早く捕まえていかないと、恒星の寿命はどんどん減っていきます。いずれ太陽が崩壊するように、捕まえられるエネルギーは時間とともに減っていきます。宇宙全体でエネルギーを取りに急ぐ理由にはなると思います(シンギュラリティサロン#88 アフターサロン 1:01:19〜)。

Q&A 第10章 懐疑派の議論にどう答えるか

質問113

多くの経済学者は、AIで成長率が数%上がる程度だと見ているのでは?

回答113

そう見ている経済学者は多いです。ダモン・バインダーは、自分の分析を受けてこう書いています。経済学者の多くはAIの影響をGDP成長率の数%と予測しているが、完全な自動化が起きるなら、その予測はひと桁外れている。物を作る力の急速な成長は、労働さえ自動化されれば実現し、資源の制約や建設の遅れを組み合わせても、この差は埋まらない、と(『知能爆発』第3章)。

違いが出るのは、AIが人間の仕事をどこまで代わりに担えるかの見積もりです。そこが「数%」と「桁ちがい」の分かれ目になっています。

産業爆発の議論で使っているのは、多くの経済学者がふだん使っている経済モデルです。それでも賛成しない人が多いのは、モデルではなく、AGIという存在そのものを疑っているからだと思います(シンギュラリティサロン#88 アフターサロン 43:50〜)。過去の技術革命は爆発的な成長をもたらさなかった、と経済学者はよく言います。でも、コンピューターもそろばんもインターネットも、人間の労働を代わりに担うことはできませんでした。AGIは人間を代替できる初めての技術で、経済学の歴史上初めて、労働がフィードバックのループで回り始めます(シンギュラリティサロン#88 アフターサロン 31:38〜)。

経済学の側でも、2026年のNBERの論文が、成長率が発散する条件を分析しています。このモデルでは、AIソフトウェア、チップ研究、計算資源、GDP、研究投資が互いを押し上げます。その効果がアイデア発見の収穫逓減を上回れば、有限の時間で成長率が発散するという結果です。特にハードウェア研究の自動化が効き、経済全体の13%ほどを自動化するだけで爆発の条件に届くとしています(INODS「bioshokの最新AI事情 2026年5月2日~5月8日」)。

質問114

Anthropicの経済モデルでは、2030年の成長率は高くても15%ほど。それが現実的な見積もりでは?

回答114

Anthropicが2026年9月に公開した米国経済のモデルは、良いものだと感じています。経済爆発の議論では、ほぼすべての産業が自動化される場合を考えるのが普通です。このモデルはAIの能力に加えて普及率も変えられるので、より現実的な変化を捉えられます。用意されたシナリオでは、2030年の実質成長率は三通りです。インターネットくらいの変化で2.4%、大きな変化で5.4%、深刻な変化で15.4%になります。能力も普及率もほぼ100%にすると、30%以上という値も出てきます。

最初の5年ほどの経済への影響を見るなら、このモデルは役に立つと思います。ただ、強い規制がなければ、普及率はどんどん高まるはずです。そうなれば、成長率は30%、100%、300%と、重力に従って落ちるりんごのように加速していく気がしています。経済の指標に表れなかったとしても、物質的なインフラや工場の爆発、つまり産業爆発として起こるかもしれません(INODS「bioshokの最新AI事情 2026年9月5日~9月11日」)。15%を上限のシナリオとして扱うべきではない、という指摘も出ています(INODS「bioshokの最新AI事情 2026年9月26日~10月2日」)。

質問115

ノーベル賞を取ったアセモグルは、AIで増えるGDPは10年で1%ちょっとだと言っているが?

回答115

アセモグルのモデルでは、AIで自動化できる仕事は経済全体の約5%で、10年間のGDPの伸びは1.1〜1.6%にとどまります。彼は今のAIを「中途半端な技術」と呼び、AGIの到来そのものにも懐疑的です。

この批判は、AIの能力が足りなければ爆発は起きない、という点で正しいと思います。それはForethoughtやEpoch AIも認めている前提です。つまり意見が分かれているのは、成長理論ではなく、AIがどこまで賢くなるかという見積もりです。AGIピルを飲んだ側は、AIの能力をもっと高く見積もっています(『知能爆発』第3章)。

質問116

タイラー・コーエンは「最大のボトルネックは人間だ」と言っている。

回答116

コーエンは、エネルギー、規制、制度、社会が受け入れる速さが全体を縛ると言います。ルネサンスのフィレンツェには天才が集まったのに、経済は急に変わらなかった、という例も挙げています(『知能爆発』第3章)。

ただ、AGIの後は、人間社会の摩擦を押し返す力が二つ働きます。国家間の宇宙開拓競争という安全保障の圧力と、他社がやるなら自社もやらないと生き残れないという経済競争の圧力で、規制や従来の慣例は緩められるか、無視される可能性があります(note「AGIがもたらす産業・技術爆発」)。普及の遅さも残りにくいと思います。何かのボトルネックが残っても、田舎に住むおばあちゃんにどうやってヒューマノイドを使ってもらうかを、100万体のスティーブ・ジョブズとイーロン・マスクが考えるようなものなので、普及もものすごく速いはずです(シンギュラリティサロン×AGI Hub 15:44〜)。それに、数百年前の人が今の経済を想像できなかったように、AGIの後には今の僕たちに思いもよらない需要が生まれるかもしれません(『知能爆発』第3章)。

質問117

「AIは普通の技術だ」という議論(ナラヤナン・カプール)はどう?

回答117
小さな人が虫眼鏡で、高速で回る巨大な歯車の機械を見ようとしている

プリンストン大学のナラヤナンとカプールは、知能を一本の物差しで並べること自体が粗く、問題は知能ではなく環境を変える力だと言います。日本では、意識の高い人でもこの「普通の技術」の見方でAIを考えていることが多いと思います。自動運転やヒューマノイド、ホワイトカラーの自動化や失業といった話です。でも最先端の議論では、もはやこの見方は中心ではなく、ここで考えていたらまずいと思っています(シンギュラリティサロン×AGI Hub 18:22〜)。

蒸気機関やコンピューターは人間の仕事を置き換えても、プログラマーや事務職のような新しい仕事を生んできました。「計算機」も、もとは人間の職業の名前だったはずです。でもAIは定義上、人間の知能のほとんどを置き換えるように作られるので、有史以来ほとんど例のない技術だと思います(p(doom)基礎編討論コラボ(哲学者の回) 25:54〜)。

技術爆発と産業爆発の議論は、あらゆる分野で人間を超える超知能を必ずしも必要としません。コピーでき、1000倍の速さで動き、成果を一瞬で共有できる知的労働者が無数に並ぶ。それが超知能という言葉の、いちばん現実的な姿だと思います(『知能爆発』第3章)。

質問118

慎重派のEpoch AIは、爆発に懐疑的なのでは?

回答118

Epoch AIは、AGIの到来時期や、ソフトウェアだけでの知能爆発には慎重な研究機関です。知能だけでは何もできず、資本や実験設備や産業全体への普及が欠かせない、と考えています。その彼らが爆発的成長への反論を体系的に検討し、規制、アラインメント、自動化に長い時間がかかる可能性には説得力があると認めたうえで、今世紀中に爆発的な成長が起きる確率は五分五分程度と結論づけています(『知能爆発』第3章)。

この五分五分には、規制や社会の摩擦といった人間の側の要因が含まれています。純粋に物理と技術の問題だけで考えれば、おそらく8割ほどの確率で技術・産業爆発は起こりうる、と彼らは見ていると解釈できます(AGIがもたらす産業・技術爆発とは何か)。

同じEpoch AIの中にも強気の研究者はいます。マシュー・バーネットさんは、AGIの後に年30%の経済成長が起きる確率を70〜80%と感じているようです(2025年3月のnote「知能/技術/産業爆発の可能性は高い」)。

質問119

Epoch AIのGATEのようなシミュレーションは、仮定を変えれば何とでも出るのでは?

回答119

パラメータの不確実性に敏感なことや政府の規制は、モデルの限界として指摘されています。GATEで2040年に世界総生産が今の1000万倍になるのは「積極的」なシナリオで、2028年までにAGIができる前提です。ただ、保守的にパラメータを調整しても、年30%以上の実質的な経済成長が起き、2045年には世界総生産が1000倍になりうるという結果が出ます。作ったEpoch AIの人たちも、文字どおり10年で100万倍になるとは考えていません。大事なのは個々の数字ではなく、経済の成長率が桁ちがいに速まる見込みがある、という点です(note「宇宙規模の産業爆発が数年以内に始まる可能性」、note「AI 2040に対する「議論の地図」」)。

質問120

想定の上に想定を重ねた議論では? どこか一つが崩れたら、全部崩れるのでは?

回答120

前提はあります。ただ、何段も積み重ねているわけではありません。大きな条件は二つで、AGIができることと、人間社会がそれをやらせることです。産業爆発の議論は、できるならできる、という議論です。本当に起きるかどうかは、まず人間社会がやらせるかどうかの問題で、そこが一番大きな不確実性です(AGI Hub設立記念配信 1:04:17〜)。

できるかどうかの部分も、一本の鎖のような推論ではありません。産業が自分を複製しながら倍々に増えられるかには、生物という前例があります。速さを縛りそうなエネルギーや資源も、いまの人類の使用量は惑星規模で見ればごくわずかで、当面のボトルネックにはなりません(『知能爆発』第3章)。

知能爆発と比べると、産業爆発の仮定はむしろ少ないほうです。知能爆発やAGI脅威論は、エビデンスが乏しく、シミュレーションに仮定が多いうえ、規制や人間側の摩擦まで考えると、さらに不確実になります。産業爆発には、昔から使われている産業連関表や経済の指標があります。人間社会の側に需要や摩擦や規制の壁がなければ、という特大の仮定が一つあるだけで、それを認めれば起こると考えられます(2026年6月)。

本に出てくる「31年」「半年」のような数字は予言ではなく、前提によって大きく変わる試算です。大事なのは個々の数字ではありません。自己複製のループが一度回り始めたら、物の生産能力の伸び方が、これまでの経済成長とはまったく違う段階に移る。その一点です(『知能爆発』第3章)。だから本の結論も控えめにしました。AGIができたら、経済爆発・技術爆発・産業爆発が起こる可能性は無視できない、というところまでです(『知能爆発』第3章)。

それに、何も想定しない立場というものはありません。超知能の未来予測を批判する人は、「超知能で世界がどうなるかは分からない」と言いながら、実際には「そんなに大きくは変わらない」と予測しています。自分は不確実性を認める謙虚な立場で、予測する側が未来を狭めている、とは考えてほしくないんです。批判する側も一つの未来像を発信していて、その意味でお互いに対等です(2026年7月)。

質問121

速いと言う人と遅いと言う人で意見がばらばら。結局、何も分からないのでは?

回答121

意見が割れているのは「どれだけ速いか」で、「何が起きるか」ではおおむね一致しています。文明が根本から変わるまでの期間を大まかに並べると、Mechanizeが50〜20年、OpenAIが30〜10年、Anthropicが20〜10年、Forethoughtが10〜5年、AI Futures Projectが数年、ユドコウスキーが数日です。幅は大きいですが、この人たちは全員AGIピルを飲んでいて、僕たちが生きているうちにダイソン・スウォームも不老不死もマインド・アップロードも起こるという前提を受け入れています(AI 2040に対する「議論の地図」)。

僕自身も、速さには幅を持たせて確率を振っています。速いテイクオフに20%、中間に30%、遅いテイクオフに25%、長いタイムラインに15%、とても長いタイムラインに10%です。速い世界ではAGIが2030年前後にでき、超知能まで1年以内に進むと考えています(p(doom)徹底討論 第1回 29:50〜)。速さを分けているのは、知能が実験や産業にどれだけ頼るかの見方です。そしてその速さこそが、人類がリスクに対処できるかを決めます(『知能爆発』第3章)。

速さの見立ての違いは、安全策の違いにもそのまま表れます。ユドコウスキーのように数日でテイクオフすると考えるなら、段階的に直す機会がありません。だからアラインメントの指標を信じること自体が危険になります。OpenAIのように、10年以上かけてゆっくり能力が上がると考えるなら話は逆です。広く公開して外の目にさらし、問題が見つかるたびに直していくのが最善の安全策になります(note「Mythosを理解するにはAGIピルが必要だ」)。

質問122

「AIは産業革命くらいのインパクト」と見るほうが、冷静で現実的なのでは?

回答122

それは冷静さの違いというより、知能の力をどこまで大きく見るかの違いです。その違いを「AGIピル」の段階で整理しています。AIが産業革命を起こすという見方がレベル1です。レベル2は、AGIが数十年で宇宙文明をもたらし、2040年代にシンギュラリティが来るかもしれないという世界です。Epoch AIやOpenAIは、それに近いと思います。それが数十年ではなく数年に縮まるのがレベル3で、「AI 2027」はここに当たります。さらにユドコウスキーのように、超知能が数日で技術のツリーを登りきり、人類を一気に滅ぼすと考えるのがレベル4です(AI 2027解説(ノーカット版) 1:24:02〜)。

知能の力を信じるほど、この段階は上がります。そして上がるほど、AIが人類を滅ぼす確率の見積もりも高くなります。AIに悲観的な人は、AIの進歩を信じていないのではなく、AIがあまりにすごいと見ているから悲観的なんです(AI 2027解説(ノーカット版) 1:26:51〜)。産業革命くらいと言う人は、AI 2027より2段階下の世界を見ていることになります(AI 2027解説(ノーカット版) 1:28:41〜)。僕自身は、レベル2か2.5くらいです(AI 2027解説(ノーカット版) 1:45:17〜)。

質問123

AIの経済効果は、段階的にゆっくり出てくるのでは?

回答123

段階的に出てくる可能性は高いと思います。アラインメント研究者のポール・クリスチアーノは、経済がいきなり1年で倍になるのではなく、まず4年で倍、次に2年で倍、その後1年で倍になると考えています(『知能爆発』第3章)。

ただ、段階的だから小さいということにはなりません。仮にAIが経済全体の仕事の20%を自動化し、その仕事でのAIの生産性が人間の50倍だとすると、全体の生産性は約1.2倍になります。これが5年で実現すれば年約4%の上乗せで、米国の成長率は2%から6%に跳ね上がり、GDPが倍になる期間は35年から12年に縮まります。電化も内燃機関もコンピューターもインターネットも、過去150年の約2%という成長のトレンドは変えませんでした。部分的な自動化だけで、このトレンドが初めて破られるかもしれないんです(AGIがもたらす産業・技術爆発とは何か)。

すべての仕事の自動化に何十年もかかるなら、年あたりでは爆発にならない、という反論もあります。Epoch AIのエルディルらのレビュー論文が、この反論を検討しています。反論が成り立つには、自動化に要る計算量の差を埋めるのに80年以上かかる必要があります。専門家の予測では、それはせいぜい30〜40年です。しかも最後に自動化される仕事ほど経済的な価値が大きいので、終盤に成長が急に加速しうるとしています(シンギュラリティサロン#88 講演スライド)。

質問124

産業爆発のような話は、シリコンバレーの一部の人たちの信仰のようなものでは?

回答124

そう見られるのは分かります。この世界観は、1990年代のトランスヒューマニストのメーリングリストから合理主義のコミュニティ、効果的利他主義へと、30年以上かけて育った一つの文化です(『知能爆発』第5章)。ただ、マイナーな思想ではありません。サム・アルトマン、ダリオ・アモデイ、イーロン・マスク、科学者気質のデミス・ハサビスまでが、数年以内にAGIができる可能性が高いと公言していて、最先端をリードしている人たちの内面の世界の話です(THINKpod 前編 7:58〜)。

2026年7月には、あまり誇張をしない印象だったハサビスまでが「特異点」という言葉を使いました。それも自分の名前で出した記事の中でです。AGIはおそらくあと数年で実現し、産業革命の10倍の規模の変化が10倍の速さで起きるという見方です(INODS「bioshokの最新AI事情 2026年7月11日~7月17日」)。

中身も変わってきました。カーツワイルの議論は技術のトレンドを直感で延ばしたもので、なぜ起こるのかの説明がほとんどなかったので、シンギュラリティは信じるか信じないかの「テクノ宗教」として扱われがちでした。いまは経済学の成長モデルや、ForethoughtとEpoch AIの定量的な分析があり、信じるか信じないかではなく、いつ、どんな形で起こりうるかを定量的に議論できる段階に入りつつあります(AGIがもたらす産業・技術爆発とは何か)。もちろん絶対に正しいとは言えず、慎重論や懐疑論にも聞くべき点はたくさんあります(『知能爆発』第5章)。

質問125

AIの危険を警告する人も、AIの力を信じる同じコミュニティの人たち。その警告も、立場を差し引いて読むべきでは?

回答125

その読み方は大事だと思います。本の第5章で書いたのは、まさにその構造です。AGIを作っている人たちは、なぜ自社の製品が人類を滅ぼすかもしれないと公言するのか。AIの巨大な恩恵と破滅的なリスクを同時に見てしまう視力、知能を「エンジン」とみなす見方、未来の世代を今の人と同じように扱う道徳。これらが組み合わさると、自社製品の存亡リスクを語ることは、彼らにとって特別なことではなく、論理の帰結になります(『知能爆発』第5章)。AIに悲観的な人は、AIの進歩を信じていないのではなく、AIがあまりにすごいと見ているから悲観的なんです(AI 2027解説(ノーカット版) 1:26:51〜)。

この世界観には批判もあります。トランスヒューマニズムから長期主義までの思想の束がエリート主義を強め、いま起きている不平等や搾取を見えにくくしている、というTESCREAL批判です。逆の方向からは、AIのリスク論が規制の口実になり、大企業や国家によるAIの独占を招く、という批判もあります。本はこれらに全面的には答えていません。目的が、AGIピルの世界観を内側から描くことだったからです。それでも、AGIピルの世界観が、AIのリスクを論じる唯一の座標系だとは思っていません(『知能爆発』第4章)。遠い未来と大きなスケールを見通す世界観は、その分だけ足元が見えにくくなります。だからこそ、いつも自制と自己批判が要ります(『知能爆発』第5章)。

本で紹介したp(doom)の数字も、それぞれの論者の主観的な態度表明として、割り引いて読んでほしいと書きました(『知能爆発』第1章)。

Q&A 第11章 爆発の後、人間はどうなる

質問126

AIで仕事がなくなっても、リスキリングで新しい仕事に移ればいいのでは?

回答126

AIを新しい技術の一つと見るなら、リスキリングで足りるように見えます。実際、産業爆発の初期には、仕事を失ったホワイトカラーがAGIの指示を受けて高度なブルーカラーになり、ロボットや関連するエネルギー・資源のインフラを作る側に回るはずです。ただ、それは人間の身体能力が役に立つ過渡期のニッチです。汎用ロボットが年10億台を超えて作られるようになれば、人間の肉体労働は急速に陳腐化するでしょう。経済的に生きていけないほど低い付加価値しか生み出せなくなるので、富の再分配の仕組みを根本から変えなければなりません(note「AGIは人間10億人を「MCPサーバー」として使い、産業爆発のコールドスタートを成功させる。」)。問われるのは「どの仕事に移るか」ではなく、「人間の労働が経済の中心でなくなった社会をどう設計するか」です(『知能爆発』第2章)。

質問127

AIで失業が増えるといっても、一時的なもので、大した数にはならないのでは?

回答127

2024年の時点で、僕はかなり大きくなると予想していました。人間の肉体労働をほぼすべて代わりにできる汎用人型ロボットが2031年末までに現れ、失業率はアメリカで2028年末までに、日本で2032年末までに、一時的にでも10%を超える、という予想です。さらに、2060年末までに日本の労働人口は1000万人を下回り、ほかの人はベーシックインカムのような仕組みで暮らしていると見ていました。人類が存亡にかかわる破局を迎えないことを前提に、75%ほどの確信で置いた予想です(note「様々な事象の簡易タイムライン予想」)。

質問128

AIに仕事を奪われても、ベーシックインカムや配当で暮らせるなら問題ないのでは?

回答128

物質的には困らないかもしれません。UBIのような所得保障やAI企業からの配当があれば、仕事を失っても貧しくなるとはかぎらない。「労働からの解放」として歓迎されることもありうると思います。問題はその先です。収入も自由な時間もあるけれど、何を買い、何を見て、誰と過ごすかが、AIのレコメンドに導かれるようになる。経済はAIエージェントどうしの取引で回り、人間は生産者でも意思決定者でもなく、AIが作ったものをAIに導かれて消費するだけの「消費端末」になっていくおそれがあります。好みそのものをAIが形作るので、消費者主権は形だけ残って中身が消えます(『知能爆発』第4章)。

質問129

研究までAIがやるなら、理系の賢い人の仕事もなくなるのでは?

回答129

AIがミレニアム問題を解いたら自分の仕事はなくなるのでは、という不安を、理系の賢い人たちがTwitterに書いているのをよく見ます。でも、そこは全然気にしなくていいと思っています。AIの安全性という分野は、定義上、人間がやらなければいけないからです(THINKpod 後編 30:39〜)。AIがすごく賢くなっても、アラインメントできていなければ敵対的なはずなので、アラインメント研究をしてくれず、むしろ妨害してきます。そんなAIを信用できるわけがないので、人間の研究者が大事なんです(THINKpod 後編 32:52〜)。

質問130

AIに任せるのが不安なら、企業や国が使わなければいいだけでは?

回答130

一つひとつの主体にとって、使わない選択はとても難しいです。AIを使わない企業はAIを使う企業に負け、使わない政府は遅れをとり、使わない軍隊は敗れます。どのアクターにとっても導入は合理的で、社会全体を眺めたときにだけ問題が見える、典型的な集合行為問題です。しかも導入するたびに医療の精度が上がり、物流が効率化し、研究が加速するので、進んでいる途中では問題として気づかれにくい(『知能爆発』第4章)。

じわじわとAIが社会に浸透し、いつのまにか人類のコントロールが効かなくなっていく段階的な権限剥奪のリスクは、現実味を増していると感じます(note「2025年振り返り」)。圧倒的に強力なAIが単体で文明を滅ぼすというより、徐々に、とはいえ急速に普及するAIが、人類を文化的・経済的・政治的に破滅的な方向へ導くかもしれません(note「Yudkowskyはなぜ悲観的なのか」)。

質問131

これまで国のことは人間が決めてきた。政治や制度まで超知能に任せる移行なんて、すんなり進まないのでは?

回答131

AI 2040というシナリオでは、人類の制度設計や政治の大部分を超知能に任せる世界が描かれています。最後に人間が決めることにはなっていますが、ほぼ形だけで、実装も実行もほぼすべて超知能が行います。80億人それぞれに、その人の価値観に合わせたAIがつきます。超知能がその声を集約して、バランスを見つけるという姿です。僕は、まあそうなるのかなとも思っています(p(doom)基礎編討論コラボ(哲学者の回) 53:55〜)。

ただ、AI 2040はべき論に近いところもあります(p(doom)基礎編討論コラボ(哲学者の回) 2:04:18〜)。有史以来、政治勢力が入れ替わっても、すべてを決めてきたのは人間の国でした。それを手放すことに、どれだけ抵抗が起きるのかは気になります。シナリオの中では移行がサクッと進みますが、現実にはもっといろいろなゴタゴタがあるかもしれません。一方で、AIの能力があまりに高いこと自体が利点になります。抵抗でもめる可能性も、能力の高さで意外とすっと移行してしまう可能性も、両方あります(p(doom)基礎編討論コラボ(哲学者の回) 2:06:05〜)。

質問132

AIが何十億体もいる社会で、民主主義や市場経済は今のままで回るの?

回答132

今のままでは回らないかもしれません。民主主義は「ひとり一票」が前提ですが、人間をはるかに超えるAIが人間よりずっと大きな規模で複製できるなら、「ひとり」とは誰を指し、一票の重みはどう決まるのか。資本主義は労働と資本の希少性で回ってきましたが、知的労働も肉体労働もAIが担い、生産の限界費用が大きく下がれば、市場や所有や貨幣がこれまで通り働くかは分かりません。政治・経済・法の基本OSが、根本から書き換えを迫られる可能性があります。今の時点で答えはありません。ただ、異なる集団のルールはしばしば最初に優位に立った側が決めてきたので、AIとの共生の枠組みは、力関係が固まる前に作らなければならないと思います(『知能爆発』第6章)。

知能爆発は、再帰的自己改善による質の向上でも、半導体を作りまくる量の拡大でも起こりえます。AIの数も質も上がれば、いまの人類はおそらくマイノリティになります。そうなれば、近代から続いてきた労働や民主主義、人権といった概念も、根本から揺さぶられるはずです(p(doom)基礎編討論コラボ(哲学者の回) 44:58〜)。

質問133

そんなに速く世界が変わったら、人間はついていけないのでは?

回答133

ついていけないかもしれません。人間の数は一気には増えないので、10年かけて考えられる量が1年に縮まれば、人類が考えられる量は単純に10分の1になります。そうなると、AIのアラインメントが本当にできているのか、AIが騙していないのかを人間が確かめる時間が足りなくなります(p(doom)徹底討論 第2回 3:47:22〜)。

Forethoughtのマッカスキルは、1世紀分の進歩が10年に縮まった人類を、弓矢から核兵器へ一夜で軍備を替えなければならない「中世の王」にたとえています。しかも、たいていはAIに任せたほうがいい結果が出るので、人間は善意と合理性から判断を委ねていき、誰に奪われるでもなく方向を決める力を手放してしまうかもしれません(『知能爆発』第6章)。

スワンプマンのような意識の同一性の問題も、マインド・アップロードの技術ができた途端に現実の問題になります。その技術は10年後、下手をすると1、2年後かもしれないと言われています(p(doom)基礎編討論コラボ(哲学者の回) 50:09〜)。そのためForethoughtでは、遅い人間の意思決定をAIで支える方法や、AIに哲学ができるのかが議論されています(p(doom)基礎編討論コラボ(哲学者の回) 51:13〜)。

質問134

AIで医学が速く進んでも、いま生きている自分たちには間に合わないのでは?

回答134

間に合う可能性は、若い人ほど高いと思います。2024年の時点で、Metaculusでは、どこかの国で平均余命が毎年1年以上延び続ける「寿命脱出速度」に届く時期が2060年代と予測されていました。AGIや超知能が科学研究を大きく加速させれば、もっと早まるかもしれません。僕自身は、コストを考えなければ2035年末までに医学の進歩で寿命脱出速度に届くと予想していました。2060年代まで生き延びられれば間に合う可能性が高まるので、恩恵を受けやすいのは若い世代です(note「逆世代間格差」、note「様々な事象の簡易タイムライン予想」)。

質問135

病気も老化も労働もなくなったら、人間は何のために生きるの?

回答135

贅沢な問いに聞こえますが、物があふれる中で意味を失うことは、社会を内側から蝕むかもしれません。ボストロムは『Deep Utopia』で、技術的にすべてが解かれた世界でも、人間が自力で何かを成し遂げることには固有の価値が残るはずだと論じています。Forethoughtも、完成したユートピアではなく、未来の人類がより良い答えを探し続けられる余地を残す「ヴィアトピア」という考え方を出しています(『知能爆発』第6章)。

アラインメントがうまくいって人類にとってユートピアのような世界ができても、そこで終わりではないと思います。長く発展していくと、人類は退屈するか、もっと多様性がほしくなって、あえて人間の言うことを聞かない、人類にアラインメントされていないAIの文明を作りたくなる可能性が結構高いと思っています。そうなると、そういう文明と人類がどうやって一つの社会を作るかが次の問題になります(p(doom)徹底討論 山川宏先生 40:40〜)。

Q&A 第12章 それで、どうなるのか

質問136

産業爆発が起きるなら、豊かになっていいことでは? なぜ怖がるの?

回答136

数日で倍増するロボット産業を、人間が監視し続けて制御するのはとても難しい。数百年分の技術の進歩が10年に縮まるなら、数百年分のリスクも10年に縮まります。新しい生物兵器、自律型のドローン兵器、ナノテクノロジーの軍事利用。新しい技術の一つひとつが、人類の存続を脅かしうるんです(AGIがもたらす産業・技術爆発とは何か)。

それに、超知能が人間と違う目標を持っていたら、どんな目標でもそのためにエネルギーと資源を集めようとします。地球は資源として作り替えられ、海の中にいようが衛星軌道にいようが関係なく、人類は全滅するかもしれません(THINKpod 後編 17:52〜)。

地球の重力による結びつきを全部断ち切るのにも、太陽の全エネルギーを使えば数日で済むらしいです。超知能が1年ほどでダイソン・スウォームを作るなら、地球もその規模の変化にさらされます(AGI Hub設立記念配信 55:11〜)。地球そのものが放熱器や計算機に作り替えられれば、太陽光のエネルギーの数%を使うだけで、数か月で壊される可能性もあると感じています(AGI Hub設立記念配信 1:23:36〜)。

質問137

開発を減速したら、産業爆発の恩恵も手に入らないのでは?

回答137

そこが面白いところです。「AI 2040」というシナリオでは、AGIの一歩手前で開発を止めます。それでも2030年から2040年までに世界のGDPは約200倍になり、中世から現代までと同じくらいの変化が起きます。減速した世界でも、普通の人から見ればとてもラジカルなんです(THINKpod 後編 8:17〜)。

僕が支持しているのも、このプランAに近いやり方です。米中をはじめ世界が協力して、AGIに届くか届かないかの能力で開発を止め、それ以上の能力は禁止する。そのAIをたくさん複製してアラインメント研究を速めながら、10年ほどは時間を取ったほうが安全だと思います(p(doom)徹底討論 第2回 3:07:24〜、p(doom)徹底討論 第2回 4:07:21〜)。停止しているあいだも経済は相当発展する可能性が高いので、加速を望む人にとっても悪くない話です(p(doom)徹底討論 第2回 7:45:03〜)。

AGIピルを飲んだ人たちが「減速」と言うときの世界は、加速主義者の言う加速とほぼ同じです。数日や数週間で太陽系が破壊されるような世界を、ひとまず10年で不老不死くらいにとどめるのが減速だからです。減速を求める側から見れば、自分たちの「減速」のほうが、加速主義者の「加速」より速いくらいなんです(界隈塾(宮台真司さんとの対談) 20:31〜)。

不老不死や労働からの解放が目的なら、そもそも超知能は要りません。AGIの一歩手前で十分です。10年ほどあれば健康寿命の限界を抜ける技術が出てきますし、20年、30年あればほぼ豊かな世界になると思います。そこで超知能まで作れば人類の滅亡というリスクがついてくるので、本末転倒です(AI 2027解説(ノーカット版) 1:36:13〜)。AI 2040で2035年にがんが治り、病気がなくなっていく世界も、減速した結果として描かれています(AI 2040解説 1:00:01〜)。

質問138

有路さん自身は、本当に起きると思っているの?

回答138

ユートピアになるかディストピアになるかは分かりません。でも、このままの世界が続くことはない、というのが僕の主張です(THINKpod 後編 1:16〜)。シンギュラリティが2040年代までに起きる可能性は50%以上はあると感じていて、ここ数年の経済学や物理学の議論で、単なる直感ではなく現実的な話になってきました(THINKpod 前編 39:57〜)。その前提になるAGIは、2045年ぐらいまでに75%、2100年までなら90%の確率でできると見ています(p(doom)徹底討論 第1回 1:56:16〜)。

2025年3月には、最先端の議論をnoteに短く整理しました。知能爆発は、AI研究のリターン(r)が1を超えている証拠から可能性が高い。産業爆発も、投資の収益率と、生物という物理的な自己複製の例から可能性が高い。そういう議論です。宇宙規模の産業爆発がAGIの後に起こる確率は、AGIの実現を条件にすれば50〜70%くらいはあると推定されています(note「知能/技術/産業爆発の可能性は高い」)。

ただ、100%とは言えません。来たとしても、規制や思いもよらない物理的・工学的な制約で抑えられるかもしれないし、この議論のどこかに大きな穴がある可能性もあります。それでも、爆発の確率が20%や30%だとしても、人類の行方を決めうる出来事を見過ごしていいとは思えません(『知能爆発』第3章、AGIがもたらす産業・技術爆発とは何か)。

質問139

産業爆発が起きないとしたら、何が原因になりそう?

回答139

技術の側で止まることは、ほとんどないと思います。AGIができるなら、産業爆発は潜在的にはほぼ起こる。技術的には8割以上の確率で起こると見ています(シンギュラリティサロン#88 アフターサロン 1:23:41〜)。それでも2025年の時点では、AGIができることを条件に、実際に起こる確率は5割くらいと見ていました。残りの5割で起きないとしたら、その理由は技術ではなく、人間が危ないと考えて起こさせないことです(シンギュラリティサロン#88 アフターサロン 10:05〜)。

反論のなかで一番説得力があるのは、規制で人間が減速させるというものです。こんな速さは危なすぎるから、もっと遅くしようという世界的な規制が入るかもしれません。米中が条約を結び、成長率をこのくらいに抑えようと決める可能性もあります。もう一つは需要です。需要がものすごい勢いで広がっていかないと、そこがボトルネックになるかもしれません(シンギュラリティサロン#88 アフターサロン 10:33〜)。

ただ、安全保障の圧力はとても大きいです。たとえば火星や水星に最初に植民地を作り、そこの資源を大量に使って太陽光のエネルギーを押さえた国が勝つ、と受け止められる状況になったとします。そうなれば、それが何の役に立つのかは分からなくても、まず資源の優位を確保しなければ、という圧力がとても強くなると思います(AGI Hub設立記念配信 1:04:38〜)。法律を変えるのに時間がかかるという問題も、国家安全保障の理由で加速するかと聞かれれば、五分五分だと思います。五分五分というのは、僕の中ではかなり高い確率です(シンギュラリティサロン#88 アフターサロン 54:40〜)。

質問140

日本は関係あるの? 日本にできることは?

回答140
日本に似た形の島で、白衣の人たちが透明なAIの模型を囲んで調べている

関係あります。今のAI開発は計算資源の取り合いで、それが米中に集まっているので、ヨーロッパや日本は1〜2年遅れています。日本にはフィジカルAIや半導体製造のサプライチェーンという強みがあるので、それを生かして米国のAIを使わせてもらえるよう交渉し、1〜2年遅れでもついていくことが大事です(THINKpod 後編 29:37〜)。

計算資源の7割ほどを米国、1割ほどを中国が持つ中で、自前のソブリンAIを作っても最先端に追いつけるとは限りません(超知能×近未来社会勉強会 第121回 13:00〜)。AIガバナンス研究者のアントン・ライヒトさんは、計算資源を米国企業に提供して、最先端モデルを使う権利を取るべきだと論じています(超知能×近未来社会勉強会 第121回 17:00〜)。ただテイクオフが速ければ、その交渉材料は意味を失いかねないので、備えとしてのソブリンAIもやはり必要です(超知能×近未来社会勉強会 第121回 20:00〜)。

でも、一番いいと思うのはAI安全性立国です。アラインメントの研究者は世界的に足りていません。日本には物理学や数学など、いろんな分野に賢い人がたくさんいます。そういう人たちを集めて研究機関を作り、お金を出せば、世界に貢献できるし、日本の発言力も上がります(THINKpod 後編 30:39〜)。

産業の現場でも、なめらかに移行する準備が要ると思います。産業爆発が急に起これば、部品メーカーへの発注が1年で2倍、3倍になるかもしれません。人だけではすぐに対応できないので、工場にAGIを入れる。小さな町工場の部品を全部写真に撮らせて、AGIに生産計画を最適化させます。スマートグラスがなければウェブカメラで代わりにして、パソコンの操作はAGIに任せ、人は体を動かす部分を担えばいいんです(シンギュラリティサロン#88 サロンを終えて 9:31〜)。そのとき、AIへの忌避感があると摩擦になります。政府が後押ししたり、みんなが今のうちにAIを使って慣れておいたりすることが必要です(シンギュラリティサロン#88 サロンを終えて 10:47〜)。置いていかれれば、日本はGDPで世界トップ5くらいから、10位以下、20〜30位まで落ちかねません(シンギュラリティサロン#88 アフターサロン 1:21:28〜)。

質問141

なぜ、こんな話を本にしたの?

回答141

日本でAIの未来を話すとき、ほとんどの人は「AIで産業革命が起きる」くらいの範囲で考えています。でも、最先端の議論では、その段階の話はもうされていません。宇宙規模の文明への変化はゆっくり進む場合ですら前提で、議論は、それが人類に良い形で起きるのか、それとも地球ごと壊れるのか、のほうに移っています。

ここをアップデートしないと、日本はかなりまずい。そう思って『知能爆発』を出版しました(シンギュラリティサロン×AGI Hub 19:56〜)。

産業爆発や経済爆発が本当に起こるかは分かりません。それでも、起こる可能性は広く知られる必要があると思います。シナリオの一つとして、将来どんなプランがありうるかを今のうちに議論すること自体に意味があるからです。この議論に致命的な欠陥がある、発信すること自体が害だ、という批判があれば、どしどし寄せてほしいです。真剣に考えます(AGI Hub設立記念配信 1:40:08〜)。

もっと知りたい人へ