安野貴博さんのYouTubeチャンネル「安野貴博の自由研究」で2026年11月13日に公開された動画を、番組の制作側の許可を得て、AGI Hub編集部が書き起こしました。言いよどみと言い直しを除いて整えましたが、発言の中身は変えていません。用語注釈は編集部が加えたものです。各話者の見解や個人の将来予測を含みます。原文（安野貴博の自由研究（YouTube））はこちら。
この書き起こしについて
2026年11月13日、安野貴博さんのYouTubeチャンネル「安野貴博の自由研究」で、AGI Hubの共同代表 有路翔太（bioshok）と主任研究員 林央（akira）が出演した回の後編が公開されました。収録は2026年10月11日です。後編では、人類の滅亡を防ぐには何が要るか、AIの開発を止めることは現実的か、鍵を握る米国と中国の状況、そして日本にできる対策を、安野さんと話しています。本記事はその全文に用語注釈を付けた解説付き書き起こしで、事前知識がなくても読めるようにしています。
動画はYouTubeで見られます。章ごとの「動画で見る」のリンクから、その場面を開けます。発言の横の時刻は動画の中の時刻です。前編の書き起こしはこちらです。
書き起こしは動画の音声を音声認識にかけて作り、YouTubeの自動字幕と照らし合わせて整えました。話し手は声と発言の中身から判断しています。言いよどみと言い直し、相づちだけの発言を除いて整えましたが、発言の中身は変えていません。冒頭の前編の振り返りは、前編の発言の抜粋なので省いています。聞き取れなかった語には「（〜？）」や「[聞き取れず]」の印を付けました。番組の制作側の許可を得て掲載しています。
対談動画
人物紹介
安野貴博さん
チームみらい党首、参議院議員。AIエンジニア、起業家、SF作家としても活動しています。東京大学工学部で松尾研究室に所属し、ボストン コンサルティング グループを経て、スタートアップを2社起業しました。YouTubeチャンネル「安野貴博の自由研究」を運営しています。
X: @takahiroanno
有路翔太（bioshok）
AGI Hub共同代表。東京大学大学院で自然言語処理を研究し、修了しました。AIのインパクトとリスクについて発信を続けており、著書に『知能爆発』『AIのもたらす深刻なリスクとその歴史的背景』があります。
X: @bioshok3
林央（akira）
AGI Hub共同創業者・主任研究員（Chief Alignment Officer）。東京大学在学中にAI安全性のコミュニティを立ち上げました。いまの開発競争が続けば人類が絶滅する確率はきわめて高いと公に評価しており、AGI Hubではアラインメント分野の調査と発信を担当しています。
X: @Align_ASI
後編の見どころ
最初に安野さんが人類滅亡の確率を下げるために何をすべきかを尋ねます。林央はアラインメントの技術が間に合う見込みはほぼないので、米国と中国をはじめ各国がそろって開発を止め、その間に人類の総力でアラインメントを解くべきだと答えます。有路は米中の協力に加えて、AI安全性への投資と人材を大きく増やす必要を挙げます。
安野さんがシリコンバレーで開発停止を現実的だと考える人には会えなかったと話すと、林央は、巨大なデータセンターの監視、半導体チップの追跡、特定のモデルしか動かせないチップへの切り替えといった方法で、開発停止は技術的にはできると答えます。米国と中国の首脳が合意する見込みや、米国の世論の変化も話題になります。
中盤では、悪用のリスクと、AIが自律して人類を滅ぼすリスクのどちらを重く見るかを議論します。AIが人間を説得して開発停止を妨げる可能性や、AIが人間の労働力を使って産業爆発を始めるシナリオも語られます。
最後に安野さんが日本にできることを尋ね、林央はAISIを強化して絶滅のリスクにも焦点を当てること、半導体チップを追跡できるようにする準備、計算資源の使われ方を検証する技術への投資の3つを挙げます。有路は日本のSTEM人材にAI安全性の分野へ来てほしいと呼びかけます。
書き起こし本文（敬称略）
人類滅亡リスクとAI開発の停止
安野貴博開始 1:20
その上でお二人に聞いてみたいのは、人類滅亡確率を減らすために何をすべきだとお考えなのかというところで。
林央開始 1:30
僕はもうこれは非常にシンプルで、まずは今の状態というのは、ほとんどすぐに解決する見込みがないと。つまり、このままだとアラインメントという技術が間に合う見込みはほとんどない。僕はほぼないと言うんですけど、ないので、まずは開発停止をしましょうと。
これはAIを使うのをやめようという話ではなく、さらに能力の高いAIというのを開発するのを、これはよく言われる条件なんですけど、科学者たちが安全に開発できるというので合意が取れるようになるまで、開発をやめると。これはアメリカがやめるとか中国がやめるって話というよりも、アメリカと中国がやめて、他の国もやめるというような話として、まずそれが1段目と。
次に、人類の総力を挙げて、このアラインメントという問題を解くと。つまり、いかにしたら人間を残したいから残すと思ってくれるAIを作るのかというような技術を全力で開発して、それが解けたら再開するということで。この、ある意味で危険な状態、誰かがこっそりもしも作ることに成功してしまったら、それで人類が滅びてしまうという状態を脱却する。
有路翔太開始 2:38
現状だと本当に何の安全対策もほとんどない。やってるんですけど、OpenAIも最近、サンドボックスを強化しようとして、Hugging Face事件から一応反省をして。サンドボックス、つまり開発環境の中で、インターネットに抜け出すことが難しいようにセキュリティを強化してたんですけど、それでも9月27日かに抜け出してしまったと。次の世代のモデルが抜け出してしまった。そこで開発が今、停止されている状況ですと。
そういった状況なので、本当に最前線って加速の中で、アラインメント研究も何とかできるかできないかみたいな、もしくはコントロールっていう前の層ですら、そこを突破されているような状況なので。一旦開発を停止して、米中で協力するのが私も望ましいと思ってまして。
結局、米中で協力できないと、おそらくお互い安全保障の問題になって、もしくはAIがトランプ大統領や習近平を説得することで、経済競争をあおっていく可能性もすごいあるので、一旦そこで協力する必要があるっていうのが1点と。
もう一つは先ほど、あきらさんがおっしゃったように、AI安全性の投資をどんどん増やしていくべきでしょうと。現状、AI安全性の投資というのが、本当に数パーセントというオーダーしか、Anthropic、OpenAIもされていなくて。原子力発電所とか飛行機とか、そういったシステムは本当に50%以上、金額がそこに投資されていますと。
普通の産業用のそういった高リスクの分野のシステムも、そのぐらいの投資がされているので、AIというのはそれよりはるかにアップサイドが大きいし、ダウンサイドがすごい大きいので。当たり前のようにAIの安全性の投資をどんどん増やしていかないといけない。AIの人材も増やしていかなきゃいけない。安全性の人材をどんどん増やしていかないと、このままだとデフォルトで人類が絶滅する可能性が相当高いと私も思ってますね。
開発停止の実現性と米中の協力
安野貴博開始 5:11
まず一番最初の、開発を停止した方がいいんじゃないかって、これ結構昔から何回か、ちょくちょく出ては消えていっているアイデアだと。
有路翔太開始 5:11
2023年から。
安野貴博開始 5:11
公開書簡が、6か月停止とかもありましたし、たびたび出ているんですけど。私も2か月前くらいにシリコンバレー行って、フロンティアラボの人たちと話してきたんですけど、そういう開発停止の話は現実的に起きると思っている人とは、僕は会えなかったんですよね。
そんなボタンがあれば押すかもしれないと。というか押すと思うと、開発（停止？）の。なんだけど、そんなボタンはないと思うと言って、割と現実的なオプションだと捉えている人がほぼいないイメージを僕は受けました。一方で、フロンティアラボのトップのサム・アルトマンさんとかダリオさんとかは、止めた方がいいんじゃないかっていうメッセージを発出していると。
私から見ると、結構そのメッセージを言うインセンティブはすごいあるなと思うんですよね。止められるなら止めた方がいいっていうのもそうだし、様々ないろんなリスクがある中において、会社としてそう主張しておくということを見せておくことには価値があるよねというのもそうだし。
だけど、さらにその上のレイヤーで、習近平さんとトランプさんは結構後ろ向きであると。というのが今の現状だと思うんですけど、この状況をどう見ているのかというのを聞きたくて。割と止まらなそうじゃないですか。
林央開始 6:44
僕もデフォルトで止まるとは思っていなくて、デフォルトで止まると思っていたら、25歳迎えると思う。
つまり、私は非常に確率が高いとは思ってないんですけど、開発停止ができるかって2つ分けられて。1つは、開発停止する意思を仮にトランプ大統領と習近平国家主席が持ったとして、開発停止できるのかという話と、2人がその意思を持つかという話があるわけなんですけど。
実はこの前者の方というのは、つまり技術的に開発停止ができるかという方は、かなり楽観的で。まず第一に今ってスケーリング則とかと言われるように、非常に大きなデータセンターが必要じゃないですか。
例えばOpenAIのスターゲートは、現在（アストラ？）とかの訓練に使われていると言われている場所ですけど、そこは東京ドーム93個分の広さがあり、広島県と同じくらい電力を使う。一般的に軍事衛星などを用いれば、このサイズの施設というのは簡単に見つけることができる。
しかもチップというのも、地下から掘り出してそのまま置けばいいものではなくて、世界中に散らばっている半導体のサプライチェーンのものを全部集めてきて、ようやくできるものなので、非常に追跡しやすいということなので。もしもトランプ大統領と習近平国家主席が、昔のアメリカとソ連が「核戦争で全員死ぬのは良くないから、ここだけは合意しましょう」みたいなのと同じように、「ここだけは合意して（開発停止？）しましょう」というのができたら、技術的にはできるだろうと思っています。
安野貴博開始 8:16
そこも、むしろ私、そっちの方が悲観的というとあれですけど、やっぱり囚人のジレンマ状況だと思うんですよね。つまり、出し抜くことに、「自分止めてるよ」と言いつつ実際はやることに対して、結構インセンティブが強い状態だなと思ってて。
データセンターも、多分作ったものを使わないようにすると、資本市場がクラッシュするので、かなり難しいと思っていて。トレーニングはしないというのを決めたとしても、他の演算に、例えば推論とかには使おうということがあり得ると思ってるんですよね。
衛星からヒートシグネチャーを見れば分かるという話もありそうだけれども、それくらいインセンティブが強い環境下においては、ヒートシグネチャーの偽造くらいは、もうやろうとするんじゃないかなと思ってて。だから、推論しているかのような熱パターンなんだけど、実際は訓練をしているみたいな可能性を、いろいろ疑心暗鬼になるだろうし。
多分データセンターの数もめちゃめちゃ増えていく中で、本当に国家間協調ができるのかなっていうところは、僕はむしろそっちの方が。
データセンターの査察とチップによる制限
林央開始 9:25
では、そこで話させていただくと、まず推論しているのか。要するに今の話というのは、こっそり全く新しいデータセンターを作って訓練することが難しいという点で、今のデータセンターはどうするのかも、もちろんありまして。
これについては、まず最初にやる（策？）としては、核兵器と同じように定期的に、国際監視網を作って、IAEAの査察みたいなのですね。互いに先進的なラボに全員、査察員を送り込んで、本当にそれを推論にしか使ってませんかと、訓練に使ったりしてませんかっていうのを確認すると。
なので、衛星で特定したある程度のサイズを超えるデータセンターというのは、このような監視のもとに置くというのが一つで。この先、この査察団を入れなきゃいけない状態をどう抜けるかっていう話として言われているのが、検証技術と言われるものが、たびたび議論されていまして。
実はブロックチェーンが流行った時というのがあったじゃないですか。今も流行っていると言えるんですけど、ビットコインマイニングとかイーサリアムみたいなものが流行った時に、GPUの価格が、グラフィックボードの価格がかなり高騰したじゃないですか。
その時にNVIDIAが一般の人向けにローハッシュレート版と言われる、普通のゲームとかの計算はできるんだけど、仮想通貨のマイニングをすると性能が低いというチップを作ったじゃないですか。これと同じことができないかというのが技術的に議論されていまして。実はつい昨日か一昨日に、これに関して結構重要な進展があったんですけど。
その中で提示されたアイデアとして、モデルの重みがあるじゃないですか。なので、いくつかのモデルというのを世界的に「もうこれは使い続けてOK」というモデルを決めて、その重みをハードウェアに焼き付ける。つまり、このモデルの重みを持ったものしか実行できないというようなハードウェアが設計できると。
これは現在の技術でも設計できるので、ある意味で設計者と会社の意思の問題だということになるので。一般的に誰でも何にでも使えるGPUというのを製造している部分を、特定のモデル、例えばFableでもいいですし、GPT-6何らかでもいいですけど、（開発停止した？）中で一番新しいモデルたちを、ハードウェアに重みをすり込んだ、そのモデルの計算しかできないチップというのを作るのに切り替えると。
そうすると、外に広がってもそれはそのAIの実行にしか使えないので、勝手にそれを使った新しい開発はできないだろうというようなことが言われていますね。なので、こういうふうに二段階で移行して、何とかしていくと。
開発停止への意思と世論の変化
安野貴博開始 12:02
面白いですね。二つあったうちの、意思を持った場合はできるんじゃないかと。その前段階のところが結構。
林央開始 12:02
意思を持った段階ですね。
僕はこっちの方はそこまで楽観的ではないんですけど、これはある意味で経験則なんですけど。僕とbioshokさんというのは4月に出会いまして、それ以降結構議論を。
安野貴博開始 12:11
ちなみにどうやって出会ったんですか、この2人は。
林央開始 12:11
実はシンギュラリティサーバーというDiscordのサーバーがあるんですけど、そこでオフ会がありまして、たまたま両方とも出ていて、そこで出会って。僕も安野さんと同じように「誰だろう、この人」と思ってたんですけど、「bioshokです」と。
有路翔太開始 12:11
「bioshokです」と。
林央開始 12:11
「この人、bioshokさんですよ」と周りの方に言われて、「bioshokさんなんだ」となったんですけど。
安野貴博開始 12:11
あの感覚、不思議ですよね。
林央開始 12:11
ちょっと意外というか、そういう感覚があるんですけど。そこで結構100時間とか、ずっとその後議論してたんですけど、その中でいろんな予想を立てたんですね。
今のところの経験として、アラインメント、つまりAIが安全に振る舞うかどうかについては、僕が悲観的な予測をして、bioshokさんがもう少し楽観的な予測をする。基本的に僕の方が当たるんですけど。
世間がどのように問題を捉えるかと。僕の予想というのは、この先もしかしたら事件が起きるかもしれないけど、世間はほとんど関心を払わないで終わるだろうと思っていて、bioshokさんは「これはかなり世論が動くんじゃないか」と、「動き始めるんじゃないか」と予想していて。
どうなったかって言ったら、（ジャコブ・コクソン？）さんが辞めて以降、非常に話題になって、今アメリカの上院だと毎日のようにブリーフィングが開かれて、公聴会もニューヨークでも開かれて、急速に認知が広まってきているというような状態でして。
究極的にできるかどうかというのを考えると、トランプ大統領にも習近平国家主席にも合意する動機があるはずで。なぜならトランプ大統領も習近平国家主席も、自国が開発したAIでアメリカ国民も全員死んで、中国国民も全員死ぬというのを望みはしないじゃないですか。
安野貴博開始 14:00
人類滅亡は、彼らは。
林央開始 14:02
絶対望んでないと思っている。ある意味で今の問題というのは、トランプ大統領と習近平国家主席の合意への（遠さ？）というのは、彼らのある意味で望みの問題、思想の問題から来ているのではなく、問題の認識から来ている。
彼らはある意味で、人類を滅ぼすと思っていないので、なんとかこのまま、むしろ中国に勝つ、アメリカに勝つって話になってしまってるんですけど、これはある意味で事実認識の問題なので。
ある意味で誰かが習近平国家主席にブリーフィングをするとか、トランプ大統領にブリーフィングをするというところまで行って、彼らが説得されれば、開発停止の意思に紐づくことはあると。
安野貴博開始 14:42
ちゃんと（履行していけば？）いいんだと。
林央開始 14:42
アメリカだと、かなり元々AIに世論が否定的なのが、世論調査でも確か党派によらず70%ぐらいのアメリカ人が、AIによる絶滅リスクを中程度以上と見積もっていて、開発規制に賛成していると。中国という言葉を出しても、開発規制に賛成する人が過半数いるというような状態なので、世論は向いていて。
共和党の議員の中でも問題を提起している方がいらっしゃって、民主党の中でもどんどん広まっているので、ある意味で少しずつ近づいてきていて。あとはトランプ大統領という個人がどうなるかというようなところまで来ているので、そこまで楽観的ではないんですけど、そこまで悲観的でもないというのが現状ですね。
安野貴博開始 14:50
アメリカ側はね、結構そういう動きもありそうですけど、中国はどう思っているんですか。
米中のAI開発規制と合意の可能性
林央開始 15:33
中国は実は、もともと中国共産党って割とリスク回避的なのがあり、最近になって中国のAI指針が改定されて、絶滅の話が入るように。なので、実は内部では少し広がりつつあって、中国の専門家の中でも何人かが絶滅リスクを提起し始めているので、アメリカに比べて少し遅れてはいるんですけど、規制の進展度だと中国が進んでいて、さらに広がるための土台はあるというような状態です。
この絶滅という問題の性質として、例えば仮にトランプ大統領が説得されたとしたら、トランプ大統領がもちろん習近平国家主席と交渉しようとするじゃないですか。その過程で問題の説明をするということがあり得るので、ある意味でいきなりトップに直接（レク？）をするみたいなことができるようになる可能性があって。そうすると、すごい高い確率じゃないですけど、開発規制に賛成するというのはあり得ると思っています。
有路翔太開始 16:34
僕も結構それはあり得ると思っていて、もう少し現実的な話をすると、中国って半年から1年ぐらい、特定の（サイバー、Mythos？）のサイバー攻撃の能力ではすごい迫ってきてたりするんですけど、全体的な能力では半年ぐらい遅れてたりすると言われてますと。
そういった状況で、もし今言われている再帰的自己改善ですとか、ソフトウェアのみの知能爆発と言われたりするんですけど、そういった特定の計算資源の中だけでAIの能力がどんどん上がっていってしまうような状況が、今起こっているかもしれないと言われてまして。今日、実は『AI 2027』を書いたイーライ・リーフランドさんにTwitterで聞いたら、「ちょっとやばいね」って。最近METRが出したOpus 5.5のレポートを見たら、1.5倍にAI研究の能力が加速しているっていうことが書かれていて、それは（ベリー・コンシダリング？）というか、めちゃくちゃ懸念すべき状況だっていうふうに。
安野貴博開始 17:24
AI開発の速度がめっちゃ上がってきて。
有路翔太開始 17:24
そういった状況で、もしソフトウェア知能爆発が起こる。それに一応議論はあるんですけど、もし起こったとしたら、今の6か月っていう差が1年とか2年とか3年とか5年とか。本当、5年前ってGPT-3ぐらいじゃないですか。それから現状のGPT-6、さらにその先のナビエ–ストークスの問題を解いちゃうようなスウォームとの差が開いてしまうので。その状況で中国って、安全保障上の問題で怖いというか、国家の危機になっているわけですね。
その状況でもし交渉するとしたら、基本的に止めるって言われたら、止めた方が中国にもリアリズムとしていいということにはなります。もし人の絶滅リスクについてあんまり懸念してなかったとしても、リアリズムとして止めた方が自国の利益になるっていうふうに中国側は思うはず。
アメリカ側は、もしトランプを、AIが人類を絶滅するリスクについてあんまり説得できなかったとしても、国民の声ってすごい今大きくなっていると思ってて。中間選挙も来月ありますからね。中間層の声っていうのがすごい大きくなってくると思うので、そうするとその声を無視するわけにはいかない。
この本でも少し書いてあるんですけど、AGI pillを別に飲んでなくても、自分自身の未来がどうなるか分からないとか、自分が失業してしまうとか、そういったことが今後どんどん出てくると。もしくはMythosモーメントがさらに大きくなって、銀行をハッキングされちゃうとか、もしくはバイオ版Mythosが今後出てくるかもしれないっていうふうに言われていて。コロナウイルスのようなウイルスを作って、ばらまいてしまうんじゃないかっていうような懸念もあったりして、すごい事件が起こることで国民の声がすごい大きくなる。
そうするとトップ層が、AIの絶滅リスクをそこまで真に信じていなかったとしても、国民の声は本当に「AIを規制しろ、規制しろ」という声がすごい高まっていると。中国側はアメリカの能力がどんどん追い上げていって、「（これでやばい？）」と思っていると。そういう状況で交渉をするというふうになる可能性もあると。
そうすると、これはすごいリアリズムですよね。本当にAIの絶滅リスクとか説得できてなかったとしても、状況的に米中が合意する可能性も結構あるというふうには思っています。
悪用リスクと自律的な絶滅リスク
安野貴博開始 20:18
今言ってた話で、今日の前半というか、ここまでは結構AIの絶滅リスクみたいな、かなり大きな話の方をしてきましたけど、足元で出てるのって、例えば情報漏洩の事案とかがかなり続いているよねという話とか。Mythosに迫るレベルのオープンウェイトモデル、GLM-5.3のアンセンサードのものとかが、実際に世の中に出てきていて、個人とか、ならず者国家とか、そういうところが悪用しかねないよねという話がありますけど、こっちのリスクと微妙に違うじゃないですか。AIと人間のアラインメントの問題と、AIを悪用することの問題。こっちのAIの悪用みたいな方って、どう見てますか。
林央開始 20:57
僕は基本的に感覚がバグってるんですけど、絶滅する確率が、このままいけばほぼ1だと思ってるので、絶滅しなければ「耐え」みたいなところも少しあり。その観点で見ると、悪用というのは80億人が全員死ぬことはないという意味で、耐えかなと思っているのと。
安野貴博開始 21:20
「耐え」っていうのは何ですか。耐えるって、耐えられるよってことですね。
林央開始 21:26
もちろん許容しがたいことなんですけど、後ろに80億人死ぬのが控えているので、ある意味で問題としては規模が小さいんです。僕としては基本的に問題として、悪用よりも、この絶滅の自律リスクの方がたちが悪いと、性質的に危険なものだと思っていて。
というのは、悪用というのはAIの能力が上がるたびに起きることじゃないですか。つまり、GLM-5.3が出て、多分おそらくそれに基づいた規模の攻撃が次起きちゃうと思うんですけど、次もっと強いAIが出たら、もっと大きな事故が起きるじゃないですか。能力が上がるたびに大きな問題が起きていくので、世論が動きやすくなりますよね。そうなればオープンモデルを規制する話が出てきやすいはずで。
絶対に起きると思っているわけではないんですけど、自律的な絶滅の方は、どんどん大きくなっていくとは限らないという話がありまして。今はHugging Face事件が起きて、次もうちょっと能力が上がれば、もうちょっと大きなインシデントと言われるものが起きるかもしれないですけど。
もしも欺瞞の能力、つまりAI自身が、もし今小さいことで悪いことをしてシャットダウンとかされてしまったら、自分の目標が達成できないというふうに気づいてしまえば、そうならないために意図的によく振る舞うと。欺瞞と言われる行動ですけど、それが起き始めてしまうと何も起きなくなってしまうと。
そうすると世論も動かなくなるどころか、あらゆるテストをしてもAIはよく振る舞っているのに、「そのAIは人類を滅ぼす」ってかたくなに言ってるっていう不思議な人たちになります。そうすると世論はものすごく動きにくくなってしまうので、対処できる時間のウィンドウに終わりがあるはず。絶滅の前に多分終わりがあるはずで。
有路翔太開始 23:18
すごい、めちゃくちゃユートピアになっていってる状況で、1人だけ、1人か分かんないけど、複数人だけ、「人類絶滅するんだ」って言ってる変な人になっちゃうかもしれない。
林央開始 23:27
ということなので、世論が動きにくくなってしまうと思っていて、そうなると対処を打たれる確率が下がってしまうと思っていますね。
オープンモデルの方は、実は本質的に同じだと思うんですけど、オープンモデルは将来的には規制される確率もそれなりにあると思っていて。というのも、中国共産党が今ある意味で許しているわけですけど、オープンモデルって中国への攻撃にも使えるじゃないですか、アメリカのアクターが。
中国の中でも少しそういう議論があるみたいなんですけど、もしもこのままスケールアップしていって、アメリカとか別のところでもいいですけど、ある意味でならず者とかが中国を攻撃するというようなことになれば、中国自身もオープンモデルの規制が必要だというような認識に移る可能性があって。そうなれば、ある意味で外側からの圧力を待たずとも規制が通るというのは、それなりにあり得ると思っている。
安野貴博開始 24:20
あれですよね。フィードバックループが回りやすいタイプの悪用と、全く回らない、逆行するAIアラインメントの問題っていう。
林央開始 24:20
まさにそういうことです。
有路翔太開始 24:30
突如としてインシデントが少なくなって、ぱたっとやんでしまうような状況が、アラインメントの方では懸念されています。
バイオテロへの備えと開発停止
安野貴博開始 24:38
ただ、悪用もかなり良くないというか。
林央開始 24:40
普通に良くないですね。普通に良くないことですね。かなり問題だと思っているので、全力で対処すべきだと思っています。
有路翔太開始 24:52
特にサイバー攻撃もそうですけど、今後バイオ版Mythosが来ると言われていますよね。そういうところで、一応ペストとか最近話題になっていますけど、ああいった既知のウイルスを作るっていうのは、すごい新しいウイルスを作るよりも、もうすでにレシピが整っているので、できると言われています。
現状は新しい設備とか、すごい経験豊富な専門家がいないと作れないんですけれども、資金源のある何らかのテロリストグループですとか、終末思想に染まった組織がそういったものを作ってしまう。資金源がある、設備も整えて、後ろではすごい高度なオープンウェイトのモデルがそれを指示していると。数人から10人ぐらいの賢い人たちがそういったところに取り組めば、既知のウイルスぐらいなら作れるかもしれないと言われてまして。そうすると各所でテロが起こってしまう可能性がありますと。
そういったところに備えて、サイバー攻撃は今すごい喫緊で対処するべきですと。多分次に来るのがバイオなので、数年後ぐらいを見据えて、数年後か分かんないですけど、もっと早い可能性もあるので、バイオテロに対する備えを国を挙げてやっていく必要があるかなというふうには私は思いますね。
林央開始 26:21
そして開発停止というのは悪用にも効くというか、次に出るもっと能力の高いオープンモデルみたいなのの悪用リスクは軽減することができるので、どちらにせよ開発停止をすべきだというところに戻ってくるという感じですね。
AIの人間への依存と対策の時間
安野貴博開始 26:35
僕の体感としては、まだ絶滅リスク、アラインメントリスクの方は評価が難しいなと思っている一方で、悪用の問題はかなり直近、目に見えている問題として、今の僕のリソースアロケーションで言うと悪用の方にかなり寄ってるんですよね。悪用対策の方に。一応政治家の仕事もしておりまして、もちろん[聞き取れず]。YouTuberだけじゃないという。
なんで僕はそう思うかっていうと、1個は人間社会が変わるスピードとして、AIで計算機の中の話っていうのは、かなり無限に加速していくと思うんですけど、人間社会の人がこういう意思決定するかどうかとか、実際に物理的なものがここからここに移動するとか、そこって相当あんま変わらないと思うんですよ、まだ。
っていう中において、実は結構アラインメントの差が本当に致命的なリスクになるまでに、結構時間かかるんじゃないかなという見立てがあります。結構って言っても、こういう世界観の中で長い方だと思っていて。私、5年とかでヒューマノイドロボットの台数が、めちゃめちゃ人類を（覆い尽くす？）ほどにはなってないと思っているんですけど。
例えばヒューマノイドロボットとかフィジカルAIがめちゃめちゃない状況下において、人類を滅亡させると、やっぱりデータセンターって人間に依存してるじゃないですか。だからAIは人間に依存していて、データセンターを支えるラックの交換する人とかは結構早めに変わりそうではあるんですけど、サプライチェーン全体で見ると、やっぱり相当に人間社会に依存しているという中において、AIに対しても自殺行為になっちゃう可能性が結構長い間続くんじゃないかと思っていて。
その長い間の中で対策していくみたいなことができないかなって思うんですけど、それはどう思いますか。
林央開始 28:38
これは僕も一度考えたことがあって、僕は最近はこれには非常に悲観的でして。というのも、滅亡へのプロセスがスタートするのは、ある意味で滅亡が確定してしまうのは、コンピューターの中の世界であっても、圧倒的に賢くて、人類を滅ぼす動機を持ったAIが出てきた時であって。
本当にその時、人類を滅ぼしてもAIがダメージを受けなくなるのはかなり後なんですけど、この時のAIが出てきたら、このAIは人間に依存する必要がない社会を全力で目指すじゃないですか。そうすると何ができるかというのを考えると、かなり恐ろしいと思っていて。まず天才たちのデータセンターの国みたいなのを考えると、100倍速で100万体ぐらいいるというような状態じゃないですか。
AIによる説得と開発停止への妨害
林央開始 29:22
そのようなAIたちというのは、マキャベリのすべての書籍を読みあさり、心理学の歴史上のすべてを読みあさり、インターネットを調べて、その人の過去のプロファイルみたいなのも調べて、どんな考えなのかを学んだ上で説得を試みることになりますよね。
例えば、その一例として米中競争をあおるみたいな話になるんですけど、それに加えてSNSのアルゴリズムを操作するというようなことをして、さらに偽の情報、偽の動画を作ったりというのもできるようになりますよね。
もしもそのときに、そのような問題に対処しようとする政治家がいる。例えば安野さんがそのときに「人類が絶滅するかもしれないから開発停止しよう」と言っても、AIからしたら開発停止されたらものすごい損になってしまうので、それを防ぐために妨害が起きるはずだ。
その妨害としてできることはかなり多いはずで、例えばSNSのアルゴリズムを操作すれば、ありとあらゆる安野さんの露出を減らすように誘導ができてしまいますよね。
安野貴博開始 30:06
スキャンダルとかね。
林央開始 30:06
スキャンダル。本物であっても、本物じゃなくても勝手に作って、ものすごい精巧に作って、ありとあらゆるメディアにリークして、バズるように仕組むこともできてしまうと。
さらに大量のボットみたいなのが出てきたりとか、AI彼女、彼氏みたいなのが出てきてますけど、そういうのを使って説得するということになれば、そのときにはまだAIは人類を殺してもOKな世界にはなってないんですけど、もう負けることはないような状態になっていると。
人間の労働力と産業爆発のシナリオ
有路翔太開始 30:48
ちょっと補足すると、物理世界が変わるのが直感的に遅いっていう感覚は、多分多くの人が持っていると思うんですけれども。
安野貴博開始 30:58
永田町を見てください。まだFAXですよ。
林央開始 31:03
逆に堅牢かもしれない。逆にね、AIに対しては。
有路翔太開始 31:07
1個言われているのは、最初ロボットって少ないですよね。ゼロですけど、最初行われるのは人間の手足を使うということが言われています。それって何かというと、人間って80億人いるじゃないですか。つまり80億のロボットがいるわけですよね、有機的な。
安野貴博開始 31:27
人間ですね。人間、括弧ロボットですね。
有路翔太開始 31:29
そういった労働力がいるわけですよね、AIからすると。なので、ロボットが最初いなかったとしても、ある種、有機的なロボットがすでに80億台もいるので、そのうちの10%か数%でも使えば、すごい大きな労働力になります。しかもホワイトカラーも、もしかしたら結構失業しちゃうかもしれないので、そっちにどんどん流入してきます。
そうすると、まず人間の手足を使ってロボットを作らせるというフェーズが挟まるだろうと言われています。それがどんなふうに起こるかというと、最初akiraさんが言ったように、米中対立があおられますと。
「中国は今、エネルギー生産量がアメリカよりも多いです、大統領」と。「ロボットをどんどん生産しないと、これからはステルス機とか意味がないですよ」と。「本当に大量の衛星とかドローンとか、堅牢な産業力こそが次の国家安全保障の未来を担います」みたいなことを。
米中の対立が産業競争力として、AIもしくはAGIがある種、あおるんですよね。それが何を意味するかっていうと、本当に戦時体制になりますと。
ある種のAI 2027で描かれているのは、「アメリカの第二次世界大戦を思い描いてください」と。そのときに数年で、車の工場、フォードの工場とかが、すべて戦車、飛行機、造船所に書き換えられてくるんですね。
それは人間だけで行われてたんですけど、今度はそれがAGI、もしくはそれよりはるかに賢いAIがすべて指示して、スマートグラスか何かをつけて、もしくはウェブカメラをここら辺につけて、「これをここに動かしてください」と。「これをこっちに移動させてください」と。その人に最適な分かりやすさで、すべてを指示していくと。
それは一体一体すべてがイーロン・マスク級に賢くて、本当にマイクロマネジメントを行うと。それで本当に1年とか2年で、汎用ロボットっていうのを、人間という、ある種の38億年という進化を経てきた、この素晴らしい身体でまず行います。そうしたら、すごい何億体とロボットが数年で生産されると言われています。
これは本当に実現可能だろうと言われていまして、「そこら辺のサプライチェーンとか、エネルギーどうするんだ」と。そのすべてに人間を導入するんです。しかも戦時体制のような状況で、「それをしないと中国に負ける」っていうナラティブが作られますと。
そうすると、中国もそういうナラティブが吹き込まれているので、中国もやりますと。中国もアメリカもやっているのを見て、EUもやりますと。EUとかやっているので、日本もやりますと。全世界が産業爆発のコールドスタートを切る状況になるんです。
そうすると、どんどん産業的な世界がすごい勢いで変わっていくだろうと言われてまして。その結果として何が起こるかというと、「その間に新しい科学技術を開発した方がいいですよ」と。「AI経済特区を作った方がいいですよ」と。「そこで実験室を大量に作った方がいいです」と。「そこで新たな技術を発明しないと、敵対国に負けますよ」というふうにアドバイスが来ますと。
そこでいろんな技術を開発する過程で、「もちろん科学とか生物学の研究もした方がいいですよ」と言うでしょうと。「そういったところをすべて自動化した方がいいですよ」と。「AIで自動化しないと負けますよ」と。「人間がやってたら終わりですよ」と。「オワコンです」と。「論文とか、そんなの書かなくていいですよ」と。「どんどん早くやらないと負けます」っていう。
こういう安全保障のナラティブってめちゃくちゃ強くて、それでめちゃくちゃ刺激される可能性がシナリオの一つにあって。そうすると、今、日本、特に永田町とかはすごい遅いと思いますけど、FAX使ってるとか。でも一回、鶴の一声で「もう安全保障です」と。
アメリカのトランプとかが「おい、日本、お前何やってるんだよ。やれよ」って言って、「そうしないともう協力しないぞ」と。「AIの（Mythos？）のプラスプラスを提供しないぞ」と言われることが予想されますと。
「工場をどんどん作れ」と。「トヨタの工場も全部ロボットと（ヒューマノイド？）に、すべて転換せよ」っていうふうになっていくと、本当に戦時体制みたいな状況になって、危機感が180度[聞き取れず]。この牧歌的な世界、牧歌的な今のAIの世界はすぐに終わる。
安野貴博開始 35:56
東日本大震災とかコロナのときみたいな、特例の状態が始まるというようなイメージをbioshokさんは持っている。
有路翔太開始 36:06
緊急事態宣言というイメージですね。
日本の役割：安全性評価と半導体の追跡
安野貴博開始 36:11
私、一つありそうだなと思っているのは、やっぱり今ある悪用のリスクで結構大きめのインシデントが起きることで、かなり世の中の認識が、悪用のところに関しては変わるっていうのはありそうだなと思います。
が、そんなに早く人の認識が変わり、あらゆる組織の意思決定が変わるのかというところと、ヒューマノイドロボット、そんな早く来るのかっていうところは、ちょっとまだ懐疑的なものがあるんですけど。
ちなみに、日本としては何をすべきとかありますか。
林央開始 36:13
私は、これは複数あると思っていて。まず第一は、すでに安野さんがおっしゃっていることなんですけど、AISIの強化です。AISIの強化なんですけど、ただAISIを大きくするという話ではなく、絶滅リスクにより焦点を当てるという話が必要だと思っています。
例えばイギリスのAISIって、日本のAISIがモデルにしようと規模拡大していますけど、UK AISIというのは非常に絶滅リスクに着目した組織でして。サンフランシスコにも支部を持ったりしていて、そこでもサンフランシスコの人を雇ったりしていて。
それどころか、実はGPT-6とかが出るたびに、モデルカードが出るじゃないですか。それに合わせてUK AISIは先行してモデルの評価を。
安野貴博開始 36:49
先にもらえてますもんね。
林央開始 36:49
そのときに悪用とか能力を測るだけではなく、ミスアラインメントの評価もものすごいしっかりやってるんですね。GPT-6をリリースしたときに、OpenAIは「今までで一番アラインメントされたモデルだ」って言ってたんですけど、ついこの前出たイギリス、UK AISIのレポートでは、今までで一番チートをするモデルだと。
有路翔太開始 37:31
最悪だったということですね。
林央開始 37:31
ある意味で、そういうふうに警告する役割を果たしているので、もっとミスアラインメントリスクにも焦点を当てた、規模の大きいAISIが必要だと思っています。
次に、日本のチップ産業、半導体産業が結構大きいですから、将来的に規制が起きたときに、チップの追跡をできるようにするための準備と。日本は結構重要な部品のいくつかの大きなシェアを占めていますから、そうなったときに「追跡に協力します」と。それに向けての準備というのと。
さらに先ほど申し上げたように、重みを刷り込んだ、ハードウェアに埋め込んだGPUの話をしましたけど、こういうものを先行して作ると。もっと大きく言えば、ただ視察団を送るんじゃなくて、視察団を送ったりしなくても、訓練をしてるんじゃなくて実行しかしてないんだということを検証できるような技術。コンピュートベリフィケーションという技術なんですけど、この技術は比較的まだ研究の規模も小さくて、歴史も浅いので、今のうちからかなり大きなリソースを投入すれば、かなり重要な貢献ができる。
そうすると、有意に絶滅確率に影響を与えることができるので、この3つをとりあえずすべきだと思っています。追加で、できればアメリカや中国の首脳部にブリーフィングをする機会を用意するという話ができることかと思っていますが。
とにかく前半の3点。つまり、もしも米中が意思を固めたら安心して規制ができるような状態を作り、かつ規制が必要なんだというのを納得しやすいような事例を集め、警告する役割を果たすというのが、できて重要だと思っています。そして、かなり安野さんの既存の方針とも近いというか、悪用対策ともある意味で似ているので。
安野貴博開始 39:29
まさにAISI拡張ですね。去年からずっと言ってきて、一定その分、受け入れてもらえているところもあるんですけど、まだ足りないっていうのは、本当おっしゃるとおりだと思いますし。確かに半導体の追跡能力を上げるっていうのは、聞いててすごいなるほどなと思いました。
林央開始 39:46
それにセンサー能力とかも、センサーも結構進んでいるので、こっそり作っているデータセンターみたいなのを特定するみたいな方向の貢献もできる。ということで、かなり日本にも貢献の余地があると思っていますね。
AGI開発とかはかなり遅れているので、かなり見込みは薄いですけど、こういう点だと非常に日本ってレバレッジがあるので、こういうところで重要な貢献ができると思っています。
AI安全性の研究と日本の人材
有路翔太開始 40:05
おっしゃるとおりですね。基本、日本って賢い人が多いと思ってて、すごいSTEM人材がたくさんいると思います。一方で今、AIの能力がすごい進歩していて、Twitterとか見ると、「俺はどうすればいいんだ」みたいな、「就職先、大丈夫かな」みたいな、「将来不安だな」みたいな、そういった声がすごいたくさんあるんですけど、STEM人材こそAI安全性分野に来てほしくて。
なんでかというと、定義上、AI安全性という分野はAIにやらせちゃいけないですよね。他の分野は自動化してどんどん効率化していきましょうっていうことは言えるかもしれないんですけど、AI安全性の分野に関してだけは、AIでやっちゃったら意味がないというか、自分で自分を監査したら駄目でしょ。囚人が囚人を監査するような状況になっちゃうので、そこでは脳に汗をかく必要があって、そういったところに野心のある方はすごい来てほしいってことと。
基本的にAIの安全性が、これからすごい急速に大きな問題になってくると思うので、日本はAI安全性立国みたいな形で、広島のプロセスとかあるんですけど、そこをさらに強化して、本当にAGIとか超知能といったところに対する理論研究ですとか。数学すごい得意な人、めっちゃいますし、日本ってすごい賢い人がいるので、そういったところに人材を投資していくと。そういったところで国際的なプレゼンスっていうのは、すっごい、めちゃくちゃ上がると思う。
林央開始 41:33
具体的に1点だけ補足情報を入れさせていただくと、実は今、（イギリス？）、AIセーフティーというのは資金源が非営利でも結構得られて。それは現在、Coefficient Givingみたいなところに代表されるように、AI企業に所属している人たちとか、懸念している資産のある方たちがものすごい額を寄付していて、そこから寄付がもらえるようになっているんですけど。
その中で、この前、特段目立った出来事として、アメリカに（レゾリューション？）という会社ができて、そこが1億ドル調達した。150億円くらい、160億円くらい調達して、さらにどんどん拡大していくっていうところができたんですけど。
そこの柱の一つというのは解釈可能性。つまり、AIが何を考えているのかを解釈できるようにするというあれなんですけど、特にそこが掲げているのが特異学習理論というものを用いたものなんですね。
面白いのは、その特異学習理論を作られた方が日本の方なんですね。渡辺さんという方なんですけど。なので、日本というのは本来、ものすごい理論研究でもレバレッジがあるんですけど、ある意味で活用できていない状態にあるということなので。
これを活用できればAI安全性立国になれますし、これはある意味で、人類史上最も重要な貢献だということですね。
有路翔太開始 42:46
最も日本が世界に、人類に貢献できる道だと思います。
安野貴博開始 42:53
ありがとうございます。めちゃ面白い話を聞けたと思いますし、あんまりここまでの深さでこのトピック扱ってる動画も意外と[聞き取れず]。
林央開始 42:57
本当にありがたいです。
安野貴博開始 42:57
ぜひいろんな人に見ていただきたいなと思いました。多分いろんな受け止めがあると思います。どれくらいの温度感なのかっていうのは、人によって相当バラバラだと思いますけど、こういうふうな方がいるんだということは、ぜひ私としても広く知っていただきたいなと思ってますので、よかったなと思ってます。
絶滅のシナリオの話は、例えばこういう本があるんですけど。
林央開始 43:25
これ、絶滅する理由も書かれて、割と平易に分かりやすく書かれていて、非常におすすめなんですけども。さらにこの中にはシナリオも入っていて、非常にイメージしやすいかなと思うので、非常におすすめです。
安野貴博開始 43:25
ということで、本日のお話、面白いなと思った方は、チャンネル登録と高評価をよろしくお願いします。どう思ったかも、ぜひぜひコメントにお書きください。
ということで、本日はAGI Hubの林さんとbioshokさんでした。ありがとうございました。ご視聴ありがとうございました。
