超知能AI開発を一時停止しても未来は明るいAguirre『Keep the Future Human』が描く停止後の世界

Anthony Aguirre氏のエッセイ『Keep the Future Human』（2025年3月）第9章の主張を、AGI Hubが日本語で要約したものです。逐語訳ではなく、AGI Hubの見解とは区別しています。

超知能の開発を一時停止した世界でも、科学と医療は進み、AIの産業は大きく育ちます。物理学者のAnthony Aguirre氏は2025年3月のエッセイ『Keep the Future Human』の第9章で、そうした未来の姿を具体的に描きました。Aguirre氏は、人間が制御できる「ツールAI」を作り続ければAIに期待されてきた恩恵のほとんどは手に入ると論じています。 止めたあとの暮らしや経済を心配する人にこそ読んでほしい章です。

どんな人と団体が書いたのか

Anthony Aguirre

Future of Life Institute 共同創設者・事務局長／カリフォルニア大学サンタクルーズ校 物理学教授

宇宙論を専門とする物理学者です。AIの危険を減らす活動をする米国の非営利団体Future of Life Institute（FLI）を2014年に共同で設立し、いまは事務局長を務めています。予測を集めるサイトMetaculusの共同創設者でもあります。

写真：Stimqdrmtmob（CC BY-SA 4.0）

AIのリスクと未来像の両方を扱うFLI

FLIはAI・バイオ技術・核兵器のような大きな力を持つ技術を、破局的なリスクから遠ざけ、人類の利益になる方向へ導くことを使命に掲げる団体です。マサチューセッツ工科大学の物理学者Max Tegmark氏やAguirre氏らが2014年に設立し、いまは政策提言、研究への助成、情報発信、望ましい未来像の検討を世界各地のスタッフで進めています。

FLIはAIのリスクをめぐる国際的な議論の節目を何度も作ってきました。 2017年には研究者を集めた会議で、AI開発の指針「アシロマAI原則」をまとめました。2023年3月には最先端AIの訓練を6か月止めるよう求める公開書簡を出し、3万3千人以上が署名しています。2025年10月には超知能の開発禁止を求める声明を発表しました。声明にはAI研究の第一人者であるYoshua Bengio氏やGeoffrey Hinton氏、Appleの共同創業者Steve Wozniak氏が名を連ね、FLIによると署名は2026年3月時点で13万人を超えています。

FLIの特徴は危険を警告するだけでなく、止めたあとにどんな社会を作るかまで検討していることです。『Keep the Future Human』はその代表で、全10章のうち第8章で「AGIと超知能への門を閉じる」ための具体策を示しています。第9章は門を閉じたあとに何を作り、どんな社会を目指すかを扱う章です。

世界では超知能の開発を止めたあとの経済や社会の姿まで、こうして具体的に議論されています。この議論は日本ではまだあまり紹介されていません。 AGI Hubは止める方法とあわせて、止めたあとの未来像をめぐる海外の議論を日本語で紹介していきます。この記事は第9章の主張をAGI Hubが要約したものです。AGI Hubの補足と見方は、そう断った箇所に分けて書いています。

止めるもの、続けるもの

Aguirre氏はAIの性質を三つに分けます。自分で判断して動く「自律性」、幅広い仕事をこなす「汎用性」、仕事の出来を表す「能力」です。門を閉じる相手は三つすべてを高い水準で兼ね備えたAGIと超知能です。人間並みに幅広い仕事ができても、自分では動かないAIは門の内側に入ります。三つのうち一つだけが強いAIは、いちばん問題が少ないとAguirre氏は述べ、次の例を挙げています。

三つのうち二つを兼ねるAIは、使い道が広がるぶん危険も増え、管理に大きな手間がかかります。三つがそろう境目に近づくAIには、非常に大きな注意が要るとも書いています。道具に近いAIにも危険はあります。Aguirre氏は、チェーンソーは使い方を誤れば危険でも、ペットの虎とは違ってそれ自体が危険な存在ではない、とたとえています。

門の内側には強力なAIが数多く残ります。 質問に答えるだけで自分からは動かない賢いAI、用途を絞ったAI、人間並みで人間を超えない汎用のAIなどです。複数のAIと従来のソフトウェアを組み合わせ、全体としては幅広く高い能力を持ちながら、人間が中身を監視して理解できるシステムも作れるとAguirre氏は書いています。

「人間が制御できる」の中身を、Aguirre氏は二つに分けて説明します。一つは、重要な決定をAIに任せず、人間が仕事の中心に関わり続ける設計です。もう一つは、AIが自分で動く範囲に保証を付けることです。ここでいう保証は、事故が起こる確率の数値と、その数値を信じてよい根拠を指します。安全が重い分野で求められてきた水準で、Aguirre氏は、プログラムの性質を数学的に証明する技術がその有力な手段になりうると見ています。

AI産業も残ります。計算資源に上限を設けても、小さなモデルの訓練と利用には大量の専用部品が要ります。ソフトウェアの企業はモデルを大きくする競争から、小さなモデルを良くし、種類を増やし、用途に合わせる競争へ資源を移すだけだとAguirre氏は見ています。推論の費用が高いために、大きなモデルから小さく専門的なモデルを作る流れはすでに始まっている、とも指摘しています。

ツールAIで何が手に入るのか

AIに巨額の投資が集まるのは、恩恵が期待されているからです。では、超知能へ突き進む開発を止めたら、その恩恵はどれだけ残るのでしょうか。Aguirre氏は次のように答えています。

失うものは、驚くほど少ないかもしれない。

理由の一つ目は今あるAIがすでに強力なことです。Aguirre氏は、私たちは今のAIのごく一部しか使いこなせていないと書いています。

二つ目は特に能力の高いAIの中に、用途を絞ったものがあることです。音声や画像を生成・認識するAI、科学の予測やモデル化をするAI、ゲームをするAIは、その仕事では人間を超えています。たんぱく質の立体構造を予測するAlphaFoldが使った計算量は、GPT-4の10万分の1でした。用途を絞ったAIは想定外の場面に弱いことがありますが、何でもこなすAIとの間には中間の設計がいくつもあります。計算量の半分で汎用の土台を作り、残りの半分で特定の分野の能力を高める、という作り方をAguirre氏は例に挙げています。

三つ目は、AIが科学者の代わりにならなくても、科学は速く進められることです。核物理学を進めるのに、AIが核物理学者になる必要はありません。核物理学者はすでにいます。医学を速く進めたいなら、生物学者や医学の研究者、化学者に強力な道具を渡せばよい、とAguirre氏は述べます。100万人分のデジタルの天才を詰めたサーバー群がなくても、人類には何百万人もの人間がいて、AIはその才能を引き出せます。

経済は止まるのか

Aguirre氏は第9章で、経済の成長率そのものは論じていません。今あるAIの力を示す根拠として注で引いているのが、経済学者のMichael Webb氏の発言です。Webb氏はGoogle DeepMindの研究員や英国首相の上級顧問を務めた人で、2023年のポッドキャストでこう述べました。GPT-4やClaudeより大きなモデルの開発を今日すべてやめ、同じ規模での改良や調整だけを続けたとします。それでも、今あるモデルだけで20年から30年の大きな経済成長を支えられる、とWebb氏は見ています。

Webb氏が根拠にするのは、技術が広まるまでにかかる時間です。同じポッドキャストでWebb氏は、ITも電化も、普及率が5割に届くまでに約30年かかったと説明しています。企業が仕事の進め方を作り替えるには時間が要るためです。AIも、今あるモデルを社会が使いこなすまでに長い時間がかかり、その間は成長が続くことになります。この発言は2023年のもので、対象は当時のモデルです。

AGI Hubの補足

AGI Hubは開発を止めても、いまの経済の成長がそのぶん減るわけではないと考えています。 Webb氏の見立てに沿えば、当面の成長を生むのは、今あるモデルが職場に広まっていく動きです。AGI Hubが紹介してきた次の記事も、同じ結論を示しています。

一時的な落ち込みはありえます。『Hardwired Pause』は、米国のGDP成長の4割近くがAI関連の投資によるという推計と、AI関連企業がS&P 500の3分の1を超えることを、停止で経済が崩れるという懸念の根拠として挙げています。そのうえで、停止しても経済が崩れるとは限らないと答えています。AI企業の株価が下がっても金融政策で衝撃を和らげられ、推論の需要が続けばデータセンターの収入も保てるためです。

仕事と賃金はどうなるのか

門を閉じても、仕事の問題は残ります。AGIを止めれば、AIに丸ごと置き換わる仕事はずっと少なくなります。それでも、数年のうちに多くの人が今の仕事を失う見込みは高いとAguirre氏は見ています。自動化は生産性を上げる一方で、格差を広げやすいとも指摘しています。備えとして挙げるのは、すべての人に資産や所得を配る仕組み、自動化しにくい人間ならではの仕事を評価して報いる文化、訓練データを生んだ人に対価が渡る「データの尊厳」の考え方です。

賃金については経済学者Anton Korinek氏の試算を引いています。仕事の自動化が進むと、ある所までは生産性と賃金がともに上がります。自動化が進みすぎて人間が丸ごと置き換わる段階に入ると、生産性は上がり続けるのに賃金は急落します。Aguirre氏は、門を閉じれば、賃金を失わずに生産性の伸びを手に入れられると述べています。

富と力の偏りをどう防ぐのか

強力なAIは開発した少数の大企業か、自らの権力を保つ手段にAIを使う政府か、AIそのものに力を集めるおそれがあります。Aguirre氏は、力の集中を防ぐ第一歩はAGIと超知能への門を閉じることだと述べます。人間や人間の集団をそのまま置き換えられるAIは、持ち主に力を集めるためです。

門を閉じたうえで、Aguirre氏は次の仕組みを提案しています。どれも放っておけば生まれないので、意図して設計し運営する必要があるとAguirre氏は強調しています。

重みを公開するオープンなAIについて、Aguirre氏は慎重です。公開されたモデルからは安全対策を外せるので、力の分散と安全の間には強い緊張があると見ています。

AGI Hubの補足です。Aguirre氏の案とは形が違いますが、企業の側にも富を分ける動きが出ています。Anthropicは2026年10月に、株式の約20%を公共の利益に充てる基金を発表しました（AIニュース 2026年10月18日〜10月24日）。

国の安全は弱まらないのか

「止めれば他国に後れを取り、安全保障が危うくなる」という心配もあります。Aguirre氏の見方は逆です。米国と中国がAGIを競えば、決まるのは超知能がどちらの国を先に手に入れるかだ、と書いています。

国を挙げてAGIを急ぐ「マンハッタン計画」について、Aguirre氏は、AIへの人と資金の投入はすでに限界まで来ているので、AGIの到来はほとんど早まらないと見ています。主な結果は中国に同じ計画を促し、リスクを抑える国際合意を難しくすることだと述べます。Aguirre氏は米国政府に、その代わりとして、制御できて安全で信頼できるシステムを作る「アポロ計画」を始めるよう提案します。中身の例として次の四つを挙げています。

社会にはAIとその悪用に弱い所が数多くあり、守るには政府の規模の投資と標準化が要るとAguirre氏は述べます。兵器や指揮の仕組みにAIを組み込むなら、そのAIは信頼できて安全でなければなりませんが、今のAIはそうなっていない、とも指摘しています。

社会の仕組みはどう変えられるのか

Aguirre氏は、いまの統治の仕組みは対応が遅く、特定の利害に左右され、信頼を失っていると見ています。弱っているのは、共通の理解を作り、協調し、話し合うための社会の土台です。AIはこれまで、生成された情報で情報の流れをあふれさせ、対立をあおる内容へ人を導いて、この土台を弱めてきました。それでもAguirre氏は、AIが社会の土台を立て直す助けになりうると考えています。

Aguirre氏は例を三つ挙げています。一つ目は情報の出どころを元のデータから結論までたどって確かめ、何が本当かを知る仕組みへの信頼を取り戻すことです。二つ目は気候変動や薬の効かない菌の問題のように、誰も最初の一歩を踏み出せない問題で、大勢の協調を助けることです。三つ目は何百万人もの住民の意見や経験をまとめたAIと対話する「町と話す」ような、新しい話し合いの形です。対立する集団が互いの本当の関心を理解するのを助ける使い方も挙げています。

対話や仲介の仕事は今のAIでもできる、とAguirre氏は書いています。ただし、そのための道具は市場に任せても生まれないので、意図して作る必要があるとしています。

Aguirre氏が認める代償と課題

第9章には、Aguirre氏が自分で認めた代償と残る課題も書かれています。

治療が遅れる代償について、Aguirre氏はこう論じます。 どれほど有望な医療の進歩も、AIが引き起こす不安定さで世界的な紛争や社会の崩壊が起きれば、役に立ちません。まず、AIで力を得た人間にこの問題に取り組ませるべきだ、という考えです。医学そのものは、研究者にツールAIを渡せば今より速く進められるとしています。

ツールAIの危険については公開してよいAIの範囲を、核や爆発物の技術と同じように強く制限する必要があるとしています。なりすましには、AIが人になりすますことを制限し、そうしたAIを作った開発者に責任を負わせる法律と、生成された内容に印を付けて出どころをたどる仕組みを挙げています。Aguirre氏は、今の最先端と同じくらいの力にとどまるツールAIなら、意志と協調があればおそらく管理できる、という希望を述べています。

止めた先に産業爆発はあるのか

AGIでなければ得られない大きな恩恵がある場合について、Aguirre氏は待つことと急ぐことの非対称を指摘します。安全で有益だと保証できる形で作れるようになるまで待てば、ほぼすべての人が恩恵を受け取れます。急げば、全員にとって終わりになるおそれがあります。最終章の第10章でも、強い安全の保証と世界的な対話を経たうえで、さらに先へ進むと決めるなら、その選択肢は残り続けると書いています。

Aguirre氏は先へ進むことを目標としては書いていません。産業爆発という言葉も使っていません。ここからはAGI Hubの見方です。

AGI Hubは開発停止と産業爆発を順番の関係として考えています。止めている間も、今あるAIと特化型のAIが広まり、いまの経済の成長は続きます。その間にアラインメントの研究を進め、安全なAGIと超知能を作れるようになれば、共同代表の有路翔太が『知能爆発』で論じた産業爆発に進めます（AGIがもたらす産業・技術爆発とは何か）。AGI Hubは、安全なAIを先に作ることが産業爆発へ確実に行ける道であり、最速の加速だと考えています。

AGI Hubが求めるのは、超知能の開発の一時停止です。止めるのはアラインメントの問題が解けるまでの間で、解ければ開発を再開します。止め続けることには難しさもあります。Aguirre氏は第8章で、計算資源の上限はハードウェアが安くなるほど維持しにくくなり、アルゴリズムが進めば上限をさらに厳しくする必要も出てくると認めています。止めて得た時間は、アラインメントを解くために使います。

超知能は、できてしまえば人間には止められません。AGI Hubは、だからこそ作る前の今の段階で開発を止める必要があると考えています。

どこに線を引くかは論者によって違います。Aguirre氏は、自律させなければ、人間並みの汎用のAIまでは門の内側に入れています。AGI Hub主任研究員の林央は、今あるAIと特化型のAIは使い続け、今のAIの「その先」の開発を止めればよいと述べています。止める期間について、Aguirre氏は年数を示していません。