MIRI技術ガバナンスチームの論文(arXiv:2511.10783、v3、2026年5月8日)とHardwired Pause報告書(v1.0.2、2026年10月26日)の主張を、AGI Hubが日本語で要約して比べたものです。逐語訳ではなく、AGI Hubの整理は本文で区別しています。

2026年の秋、超知能の開発を止めようとする動きが各国の政治に広がりました。英国と米国の議会には禁止法案が出ています。11月10日には、米国が中国と超知能のリスクを話し合う対話を始めたと明らかにしました。では、止めると決めたら、何をどう止めるのでしょうか。止め方を細かく書いた提案のうち、代表的なものが二つあります。米国の研究機関MIRIの国際協定案と、カリフォルニア大学バークレー校などの研究者による報告書「Hardwired Pause」です。AGI Hubが読み比べたところ、二つの案はどちらも、今あるAIは使い続けたまま、今より強いAIを新しく作る大規模な学習を止めます。ただし、AIの研究まで止めるかどうかでは大きく分かれます。

どんな人たちが書いたのか

MIRI(機械知能研究所)は、AIが人間の制御を外れるリスクを研究してきた米国の研究機関です。論文は、その技術ガバナンスチームの4人が同じだけ貢献して書きました。AIガバナンスの研究者に、核不拡散の実務を担ってきた元政府関係者が加わっています。論文の初版は2025年11月に出ていて、この記事は2026年5月8日の改訂版(v3)を読んでいます。この記事は二つの文書をAGI Hubが日本語で要約して比べたもので、正確な条件は原文で確かめてください。協定の条文は、AGI Hubによる日本語訳でも読めます。

Aaron Scher

MIRI 技術ガバナンスチーム シニアリサーチャー

AIをめぐる国際協調を研究しています。合意が守られているかを確かめる検証の仕組みに重点を置いています。

David Abecassis

MIRI 技術ガバナンスチーム リサーチャー

最先端のAI研究がもたらす危険への対策を研究しています。MIRIに入る前は、米中の競争を研究していました。

Peter Barnett

MIRI 技術ガバナンスチーム シニアリサーチャー

高度なAIによる破局を防ぐためのガバナンスの計画を研究しています。物理学の修士号を持っています。

Brian Abeyta

MIRI 国際AIガバナンス担当 シニア政策アドバイザー

核不拡散と、化学・生物・放射性物質・核のリスク管理に20年携わってきました。ホワイトハウスの国家安全保障会議でパキスタン担当部長を務め、国務省と国家核安全保障庁でも働きました。

AGI Hubの主任研究員 林央は、MIRIのアウトリーチ日本責任者を兼務しています(就任のお知らせ)。

比べる相手のHardwired Pauseは、研究者26人の作業部会がまとめた報告書で、その著者は解説記事で紹介しています。この報告書は、自分より先に出た提案として、MIRIの協定案を何度も引いています。謝辞には、MIRIの著者のうちScher氏とBarnett氏の名前もあります。

二つの案に共通すること

長い机で、同じチップの別々の設計図を広げて見比べる二つの集団

Hardwired Pauseの報告書は、自分の案にはMIRIの案などと共通する点が多いと書いています。どちらもAIを使うことは止めません。止めるのは、今より強いAIを新しく作る大規模な学習です。ここでいう学習は、データを読ませて新しいAIを作る作業のことで、Hardwired Pauseの解説記事で「訓練」と書いたものと同じです。

二つの案に共通する四つの柱

  • 1米国と中国の参加が前提

    最先端の開発は両国に集中している。片方だけが止めても、もう片方が先へ進む

  • 2チップを数えて管理する

    大規模な学習には高価な専用チップが大量に要る。数えられる物なので検証しやすい

  • 3学習の規模に上限を置く

    学習に使う計算の量(FLOP)で線を引き、上限を超える学習を禁じる

  • 4今あるAIは使い続ける

    できあがったAIを動かして答えを出させる「推論」は続けられる

MIRIの著者は、止めるなら世界全体に及ぶ協定が要ると考えています。その理由として、次のような目安を挙げています。米国だけが止めても、稼げる時間は中国の企業が追いつくまでの半年ほどかもしれません。米中が合意しても、世界に守らせる仕組みがなければ、次に近い開発主体がおそらく数年で追いつきます。

二つの案はどこが違うのか

AGI Hubが二つの案を並べて比べると、チップの生産はHardwired Pauseのほうが厳しく抑え、研究はMIRIの案のほうが厳しく抑えています。表の数値は、どちらも著者が例や見積もりとして示したもので、交渉で変わりえます。

二つの停止案の比較

Hardwired Pause

MIRIの国際協定案

答える問い

Hardwired Pause止めると決めたら、10年以上止められるか

MIRIの国際協定案超知能を防ぐには、何を取り決めれば足りるか

学習の上限

Hardwired Pause2×10²⁴ FLOP(2026年末に止めた場合の例。最先端の約1000分の1)

MIRIの国際協定案10²⁴ FLOPを超える学習を禁止。10²²から10²⁴は承認と監視つき

AIの研究

Hardwired Pause制限を置かない。止めれば効率の伸びは鈍りうると見る

MIRIの国際協定案超知能に近づく研究と、検証を難しくする研究を制限する

学習に使えるチップの生産

Hardwired Pause止めるか大きく減らし、AIを動かすことにしか使えない推論専用チップに置き換える

MIRIの国際協定案監視のもとで続ける。理事会が年間の生産量に上限を置ける

今あるチップ

Hardwired Pause全数調査で突き止め、許可制で推論に使いながら順に回収する

MIRIの国際協定案AIチップH100に換算して16枚を超える集まりを、申告した施設に集めて監視する

使えるAI

Hardwired Pause安全と判断され、一覧に載ったモデル

MIRIの国際協定案協定の前からあるAIと、10²⁴ FLOP以下で新しく学習したAI

抜け駆けへの備え

Hardwired Pause全数調査と査察で確かめ、抜け駆けに要る量のチップを持たせない

MIRIの国際協定案査察、各国の情報機関、内部通報。最後の手段は設備の無力化

期間

Hardwired Pause少なくとも10年。更新の手続きを置く

MIRIの国際協定案無期限。安全に開発できる条件が整うまで

Hardwired Pauseの報告書は、自分の案のいちばんの特徴を「長続きすること」だと書いています。学習に使えるチップを減らしていくので、止めているあいだに、競争を再開するときに使えるチップがたまっていかない、という意味です。研究を制限するかどうかの違いは、AGI Hubが二つの文書を読み比べて整理したものです。次の節でくわしく見ます。

いちばんの違いは研究を止めるかどうか

大きなデータセンターから小さなパソコンへ縮んでいく機械の列と、大きな建物だけを照らす見張り塔

学習の規模を抑えても、AIは強くなりえます。アルゴリズムやデータの改良が進むと、同じ計算の量からより強いAIを作れるようになるからです。二つの案は、この効率の伸びに別々の方法で備えています。

MIRIの案 研究そのものを制限する

MIRIの著者は、計算の量だけを抑えてもアルゴリズムの改良でAIの能力は伸びるため、超知能に向かう狭い範囲の研究を止める必要があると述べています。

協定案は、制限する研究を「監視つき」と「禁止」に分けています。対象に挙がるのは次の四つです。

医療診断、創薬、材料科学、気候モデルのように用途を絞った研究は制限せず、むしろ奨励します。

研究を制限することを、私たちは喜んでいない。残念ながら、それが必要に見える。

著者も、研究の制限は議論を呼ぶもので、ふつうは悪い考えだと認めています。そのうえで、AIの研究の中では制限がある程度広くなっても、AI以外の分野への影響はごく小さくできると期待しています。

研究の制限が守られているかは、研究に携わる人を通じて確かめます。著者の見積もりでは、最先端のAI企業の技術者は5,000人ほどで、そのうち開発の中核を担う人は数百人とみられます。確かめる手段は、この人たちへの聞き取りと雇用状況の把握、リスクの高い組織に常駐する監査人、内部通報です。一方で、数人の研究者がふつうの機材で進める研究は見つけにくい、とも著者は認めています。

MIRIの案がチップの生産を止めない理由も、著者は書いています。今あるチップと製造網をなくせば、抜け駆けに要る時間が10年以上に延びるかもしれないことは認めています。それでも、強い検証と執行の意志があれば、チップが残っていても抜け駆けは防げると見ています。AIの恩恵を手放す代償との釣り合いを考えた選択だといいます。

Hardwired Pauseの案 研究は止めず、チップを置き換える

Hardwired Pauseは研究を制限しません。効率の伸びには、まずチップで備えます。学習に使えるチップを推論専用チップに置き換え、抜け駆けに使えるチップを減らしていきます。加えて報告書は、止めれば効率の伸びそのものが鈍りうると見ています。最先端の規模で新しいアイデアを試せなくなることと、企業の研究が今あるAIの普及へ移ることを、理由に挙げています。

報告書の見立てでは、効率の伸びが5年で10倍を超えなければ、停止は少なくとも10年もちます。ただしそれには、チップの全数調査と推論専用チップへの置き換えを、効率が10倍になる前に終えておく必要があります。報告書は、効率が年2.7倍で伸び続けるなら停止がもつ期間はおよそ半分になるとも認めていて、最悪の場合の弱点にもアルゴリズムの進歩を挙げています。くわしくは解説記事の「停止は何年もつのか」で紹介しています。

グラフ:効率の伸びの前提と10年後の差

MIRIが引く過去の傾向(効率が年に3倍、つまり必要な計算の量が毎年3分の1)が10年続けば、効率は約6万倍になります。Hardwired Pauseが目安とする5年で10倍なら、10年で100倍です。図は、この二つの前提をAGI Hubが10年先まで単純に延ばしたもので、どちらの文書の予測でもありません。

AGI Hubの整理では、二つの案の違いは、止めたあとに効率がどれだけ伸びるかの見積もりの違いから生まれています。年に約3倍という推計は、どちらの文書も2024年の同じ研究から引いています。MIRIは、この傾向が続く場合と、それを上回る飛躍に備えます。Hardwired Pauseは、過去の伸びの多くは規模を大きくするほど効く発見から生まれたもので、止めたあとには出にくいと見ています。どちらの見立てが当たるかを確かめられる、止めたあとのデータは、まだありません。

MIRIの著者も、自分の案の弱点を認めています。協定案は、AIを作るのに大量の計算が要るという今のやり方を前提にしています。ところが、OpenAIのoシリーズのように、できあがったAIが答えを出すときに計算を多く使って性能を伸ばす方式が出てきて、この前提が変わり始めた兆しがあるといいます。著者は、すぐに実施すれば協定で足りるが、先送りするほど状況は悪くなりうると書いています。

MIRIの協定案は何を決めているのか

MIRIの案は条約の文面まで書き、基準の数値や期限を具体的に書き込んでいます。論文の付録Aが、前文と15の条文からなる協定の草案です。条文ごとに解説が付き、核拡散防止条約や化学兵器禁止条約などの前例を引いています。ただし著者は、数値の多くは今の時点での最良の推測なので、推測として扱ってほしいと断っています。

15の条文の骨組み

  • 1目的と組織

    第I〜III条。超知能を開発も配備もしないと約束する。米中の執行理事会と技術機関を置く

  • 2学習の上限

    第IV条。学習に使う計算の量で、禁止の線と監視の線を引く

  • 3チップの管理

    第V〜VII条。チップを申告した施設に集め、生産と使い道を監視する

  • 4研究の制限

    第VIII・IX条。超知能に近づく研究を制限し、守られているかを確かめる

  • 5査察と違反への対応

    第X〜XII条。情報を集め、疑いのある施設を査察する。違反への対抗措置を定める

  • 6見直しと脱退

    第XIII〜XV条。モデルを評価して基準を見直す。期間は無期限で、脱退は12か月前に通知する

1学習の規模の上限

グラフ:MIRI案と既存モデルの学習規模

FLOPは学習に使った計算の量を表す単位で、協定案はこの量で学習を三つに分けます。10²⁴ FLOPを超える学習は禁止です。10²²から10²⁴ FLOPの学習は事前に報告し、施設に立ち会う米国と中国の査察官の承認を受けます。報告には学習に使うコードとデータも含め、使える手法は技術機関が認めた一覧に載ったものに限られます。10²² FLOP未満の学習には、報告も承認も要りません。

著者によると、10²⁴ FLOPは2025年8月時点で最先端に近いモデルの学習規模を少し下回ります。当時のアルゴリズムでAIが危険になると見込む水準より低く置き、アルゴリズムの進歩に備えた余裕も持たせたといいます。

協定の前からあるモデルに追加で学習させる場合は、10²³ FLOPまでです。安全性の評価や自動運転、医療などには、技術機関が特例を認められます。監督のもとで上限を超える学習を認めたり、承認を受けやすくしたりする特例で、米中の執行理事会はこれを拒否できます。

グラフのとおり、DeepSeek-R1やgpt-oss-120Bのような2025年の公開モデルは、すでにこの線を上回っています。Hardwired Pauseの上限は、2026年末に止める場合の例で2×10²⁴ FLOPです。その時点の最先端(約2×10²⁷ FLOP)の約1000分の1に置いた値です。決め方はMIRIと違いますが、行き着く数値は近くなっています。

2チップを申告した施設に集める

サーバーの列のあいだを、記録板を持って見回る査察官たち

協定案は、H100というAIチップに換算して16枚分を超えるチップの集まりを監視の対象にします。各国は協定の発効から120日以内に、国内にあるこうした集まりを見つけ、技術機関に申告した施設に集めます。ただし、16〜100枚ほどの小さな集まりまで把握するには2年ほどかかると、著者自身が見込んでいます。

16枚のH100は2025年の価格で約50万ドルし、個人が持つことはまれです。著者の試算では、この枚数で学習すると、10²² FLOPまで約1週間、禁止の線の10²⁴ FLOPまでは約2年かかります。そのため、監視の外に残るチップで禁止の規模まで学習するのは難しい、と著者は見ています。

施設に集めても、チップの持ち主は変わりません。大きなデータセンターは場所を移さず、監視を受け入れれば足ります。使い道は査察官やカメラ、電力の計測などで確かめ、確かめられないチップは電源を切ります。新しいチップの生産は監視のもとで続けますが、協定に入っていない国への販売は原則として認めません。

3米中が拒否権を持つ執行理事会

丸い机で向き合う二人の代表が、一つの鍵を半分ずつ持つ

協定は執行理事会が動かし、最初の理事国は米国と中国の二か国です。実務は「連合技術機関(CTB)」が担います。理事会は全会一致で決め、各理事国は技術機関の決定に拒否権を持ちます。AI開発に大きな力や影響力を持つ国は、あとから理事国に加えられます。

米国と中国は、技術機関とは別に自国の情報機関を使った検証も続けます。技術機関が集めた情報は、米中が手を加えられていないまま受け取ります。

4違反と脱退にどう備えるか

違反の疑いがあれば、疑われた国に説明を求め、理事会が全会一致で認めれば査察します。疑われた国は短い期限のうちに説明し、査察を受け入れなければなりません。

補足:技術機関と、違反の疑いへの対応の細かい決まり(任期、30日の緊急変更、24時間の立ち入りなど)
  • 技術機関の事務局長は理事会が任命し、任期は4年で、再任は1回まで。
  • 何もしないと安全保障上のリスクがある場合、事務局長はFLOPの基準や研究の制限の範囲を一時的に変えられる。変更は30日間だけ有効で、続けるには理事会の承認が要る。
  • 違反の疑いを向けられた国は、36時間以内に受領を知らせ、5日以内に説明する。
  • 理事会が全会一致で認めれば疑いのある施設を査察でき、受ける国は24時間以内に立ち入りを認める。
  • 違反を知らせた内部通報者とその家族は報復から守られ、亡命も認められる。

超知能の開発に向けた違反に信頼できる証拠があれば、各参加国は必要で釣り合いのとれた範囲で「保護措置」を取れる、と協定案は定めています。保護措置に挙がっているのは、サイバー作戦やチップの差し押さえから、AIの設備を無力化する軍事行動までです。協定に入っていない国や、国以外の主体も対象です。ただし保護措置は最後の手段で、緊急の場合を除き、先に貿易の制限や経済制裁、資産の制限、査証(ビザ)の禁止、国連安全保障理事会への訴えを試みます。

措置を取る国は、目的と終える条件を公表します。理事会はあとから、その措置が必要で釣り合いのとれたものだったかを審査します。措置の目的は超知能の開発を防ぐことに限られ、領土の獲得や体制の転換の口実にすることは禁じられています。

協定の期間は無期限です。期間について著者は、数十年に及ぶかもしれず、5年では足りないかもしれないと書いています。脱退する国は12か月前に通知し、その間にチップと製造装置を、理事会が認めた管理のもとへ移すか、使えなくします。制限を解く条件はこれからの議論に任されていますが、著者は次のような例を挙げています。

今の政治から協定までの道のり

左から右へ上る広い階段で、人が段ごとに加わっていく

MIRIの著者は、協定がすぐに実施されることはないと書いています。そこで付録Cに、今の世界から段階を踏んで協定へ進む道筋を描きました。ただし著者は、これは勧める道筋ではなく、ありうる一例だと断っています。

MIRIが描く六つの段階

  • 1透明性と信頼づくり

    米中の首脳が共同宣言を出す。重要インフラへのAIによるサイバー攻撃を先に仕掛けないと約束し、チップの追跡を始める

  • 2連絡と情報の交換

    米中の当局の間に安全な連絡路を置く。大規模な学習を事前に通知し、データセンターの所在を知らせ合う

  • 3約束と検証の基礎

    学習の上限やチップの集約を米中が交渉し、チップの使い道を確かめる手順を試す

  • 4協定の実施

    付録Aの協定を正式に実施する

  • 5超知能への備え

    稼いだ時間で、アラインメントや権力の集中、悪用などの問題を解く

  • 6安全な実現

    見つけた解決策を使い、安全と協調の仕組みを保ちながら超知能を実現する

2026年11月10日、米国のベッセント財務長官は、中国と超知能について話し合う新しい対話を設けたと述べました。公開前のモデルを評価する方法を互いに伝え合い、重大な事案が起きたときの直通の連絡路も設ける見込みです。AGI Hubの整理では、この対話は、MIRIの論文が付録B「今日できること」と上の第二段階に挙げる項目に近い動きです。長官の講演は、学習の規模の上限やチップの検証には触れていません。各国の動きは「世界の政治における超知能の開発停止の潮流」で追っています。

MIRIの著者は、協定の代償も挙げています。

それでも、超知能へ向けて競争を続けるほうがリスクは大きいと著者は考えています。この判断のもとになった議論は、「『誰かが作れば、全員死ぬ』の要約」で読めます。

よくある質問

質問

研究を制限するのは、学問の自由に反しませんか?

回答

MIRIの著者も、研究の制限はふつうは悪い考えだと認めています。そのうえで、前例を二つ挙げています。一つは米国の1946年の原子力法で、核兵器に関わる情報を最初から機密として扱いました。ただし著者は、民間で生まれた情報まで機密になるこの仕組みが憲法に合うかは決着していない、とも注記しています。もう一つは1975年のアシロマ会議で、遺伝子組換えの研究者が、特に危険な実験を自ら控えると決めました。

Hardwired Pauseの報告書は、使えるモデルを一覧で決める自分の案の手続きが、米国では表現の自由の問題になりうると書いています。報告書によれば、ハードウェアと学習の能力を制限するほうが、表現の内容に立ち入らない規制だと主張しやすくなります。

質問

監視社会につながりませんか?

回答

MIRIの著者は、チップを施設に集めることや学習の監視、研究者の追跡が悪用されうると認めています。ただ、今のまま進むほうが、権威主義のリスクははるかに大きいと答えています。今のままなら、超知能は公的な監督をほとんど受けない民間企業が作る見込みが高く、そうなれば最も強力な技術を握るのは1人から10人ほどになる、と著者は見ています。悪用を防ぐ策には、複数の国で管理すること、権限を狭く定めること、透明性を確保することを挙げています。Hardwired Pauseは、利用者の入力の中身を規制しないので、大規模な監視は要らないとしています。

質問

日本はどう関わることになりますか?

回答

MIRIの協定案は日本を名指ししていません。一方、Hardwired Pauseの報告書は、チップの製造装置で要所を握る日本を、最初の参加国に挙げています。MIRIの案では、執行理事会は米国と中国で始まり、AI開発に大きな力や影響力を持つ国をあとから加えられます。理事国でない参加国も審議に招かれることがあり、3年ごとに協定を見直す会議も開かれます。ただし、協定を改めるかどうかは理事会の全会一致だけで決まります。また、協定に入った国だけが、監視のもとでAIチップと製造装置を持てます。

質問

今すぐ実現する見込みはありますか?

回答

二つの文書とも、すぐに実現するとは見ていません。MIRIの著者は、協定を結ぶ政治的な意志はまだないが、そこへ近づく一歩なら踏み出す意志はあるかもしれないと書いています。先送りするほどチップが世界に広がり、追跡と監視は難しくなるとも指摘しています。協定案は、各国の指導者が動くと決めたときにすぐ交渉できるよう用意したものです。Hardwired Pauseの報告書は、止めると決めたら10年以上止められるかを論じたもので、止めるべきかや、実際に止まりそうかは論じていません。

出典