安野貴博さんのYouTubeチャンネル「安野貴博の自由研究」で2026年11月6日に公開された動画を、番組の制作側の許可を得て、AGI Hub編集部が書き起こしました。言いよどみと言い直しを除いて整えましたが、発言の中身は変えていません。用語注釈は編集部が加えたものです。各話者の見解や個人の将来予測を含みます。原文（安野貴博の自由研究（YouTube））はこちら。
この書き起こしについて
2026年11月6日、安野貴博さんのYouTubeチャンネル「安野貴博の自由研究」で、AGI Hubの共同代表 有路翔太（bioshok）と主任研究員 林央（akira）が出演した回の前編が公開されました。収録は2026年10月11日です。前編では、二人がAIのリスクに取り組むようになったいきさつ、著書『知能爆発』とAGI Hubの活動、汎用人工知能（AGI）がもたらす変化の大きさ、そしてAIによる人類滅亡がなぜ起こりうるのかを、安野さんの質問に答えて話しています。本記事はその全文に用語注釈を付けた解説付き書き起こしで、事前知識がなくても読めるようにしています。
動画はYouTubeで見られます。章ごとの「動画で見る」のリンクから、その場面を開けます。発言の横の時刻は動画の中の時刻です。後編の書き起こしはこちらです。
書き起こしは動画の音声を音声認識にかけて作り、YouTubeの自動字幕と照らし合わせて整えました。話し手は声と発言の中身から判断しています。言いよどみと言い直し、相づちだけの発言を除いて整えましたが、発言の中身は変えていません。冒頭のダイジェストと最後の次回予告は、本編の発言の抜粋なので省いています。聞き取れなかった語には「（〜？）」や「[聞き取れず]」の印を付けました。番組の制作側の許可を得て掲載しています。
対談動画
人物紹介
安野貴博さん
チームみらい党首、参議院議員。AIエンジニア、起業家、SF作家としても活動しています。東京大学工学部で松尾研究室に所属し、ボストン コンサルティング グループを経て、スタートアップを2社起業しました。YouTubeチャンネル「安野貴博の自由研究」を運営しています。
X: @takahiroanno
有路翔太（bioshok）
AGI Hub共同代表。東京大学大学院で自然言語処理を研究し、修了しました。AIのインパクトとリスクについて発信を続けており、著書に『知能爆発』『AIのもたらす深刻なリスクとその歴史的背景』があります。
X: @bioshok3
林央（akira）
AGI Hub共同創業者・主任研究員（Chief Alignment Officer）。東京大学在学中にAI安全性のコミュニティを立ち上げました。いまの開発競争が続けば人類が絶滅する確率はきわめて高いと公に評価しており、AGI Hubではアラインメント分野の調査と発信を担当しています。
X: @Align_ASI
前編の見どころ
最初は二人の自己紹介です。有路はSF作家グレッグ・イーガンが描くような未来を見たいという関心からAIの未来予測を調べ始め、LessWrongでAIのリスクの議論に触れて発信を始めたと語ります。林央は高校1年のときにニック・ボストロムの『スーパーインテリジェンス』を読んで考えを改めたこと、AIの進歩が想定より速いと分かって東京大学を休学し、開発停止に取り組んでいることを話します。
続いて有路が、「AGI pill」という言葉を手がかりに、汎用人工知能ができると産業爆発を経て、宇宙文明へ急速に進むという議論を紹介します。
後半は、林央が25歳を迎えられる確率を「楽観的に50%ぐらい」と答えたところから、人類滅亡の根拠に進みます。ダムを造るときに踏みつぶされるアリのたとえ、ペーパークリップの思考実験、アウターアラインメントとインナーアラインメント、進化と人間の関係のたとえを使って、目標が人間とずれたAIがなぜ人類を滅ぼしうるのかを説明します。最後は有路が、AGIの開発から5年、遅くても10年のうちに人間がAIを制御できない世界になるという見立てを語ります。
書き起こし本文（敬称略）
bioshokさんの来歴とAIリスクへの関心
安野貴博開始 0:30
どうもこんにちは、安野貴博です。本日はスペシャルゲストに2人来ていただきました。こちら、AGI Hub社のお二人のbioshokさんと林さんです。
一人ずつ自己紹介から入りたいなと思いますけれども、2人ともかなり面白い来歴のお二人なので、一人ずつ深掘っていきたいなと思います。まずbioshokさんからお願いします。
有路翔太開始 0:56
本名は有路って言うんですけれども、Xアカウントでbioshokという名前で活動させていただいてまして、主にAIのリスクについて発信させていただいてます。最近、OpenAIのHugging Faceの事件ですとか、世界的にサイバー攻撃が急増しているっていった話はあると思うんですけど、そういった話を5年ぐらいずっと続けてまして。
AIの未来ですとかAIのリスクですとか、いわゆる皆さん聞いたことあるかもしれないんですけども、シンギュラリティっていう言葉ありますが、そういったところをウォッチしているような存在だと思っていただければと思います。
安野貴博開始 1:42
bioshokさんのアカウントは私も結構前に、本当に2022年くらいかな。結構前に発見して、いろいろファクトベースで、あんまり他の人が取り上げてない情報を取り上げてて、すごい参考になるなと思ってフォローしてたんですけど。
それから数年経って、あるイベントに行った時に偶然会って、裏手でこっそり「私がbioshokです」って自己紹介していただいて。「bioshokさんだ！」と思って、その時マジでびっくりしたんですけど。急に話しかけてきていただいて「私がbioshokです」って言われるっていう、『デスノート』とかで「私はLです」ってこそっと言われた時の、あの感覚を人生で味わえてすごい嬉しかったっていう話なんですけど。
ちなみに、このbioshokさんがなんでAIの情報発信してるのか。しかもさらに、リスクの話っていうところをよりフォーカスして取り上げているのか。どうして今の活動に結びついたんですか。
有路翔太開始 2:51
僕は昔から人類の未来を見たいっていう欲望がありまして。SF小説でグレッグ・イーガンっていう作家がいらっしゃるんですけど、超有名なハードSFの。ああいう世界見たいなってずっと思っていて、そういう世界を見るためには、やっぱり未来どうなのかなって気になるじゃないですか。
そこから未来を予測しようということで、5年以上前からいろいろと調べて、AIが一番未来を予測するのに最重要のファクターなんじゃないかと思いつきまして。
安野貴博開始 2:51
最初にAIリスクというよりかは、まずは未来予測系の話をやってたってことですか。
有路翔太開始 2:51
未来予測をちょっとしたいなと。何年頃に何が実現されて、人類はどうなってくるんだろうみたいな。SF作家の安野さんも多分そういうの好きなんですけど、未来を考えるのが好きっていうところがモチベですね、最初。
安野貴博開始 3:45
個人的にはめちゃめちゃ分かる。
有路翔太開始 3:45
その過程でAIの未来を考えていくと、AIがどうやって社会を変えるのかとか、どうやって人類の未来を変えるのかって考えると、そういうところをディープに深掘っていくと、リスクが議論されているってことに。
2022年頃に、ChatGPTが出る前に、LessWrongっていうサイトがありますと。LessWrongっていうのは、AI安全性コミュニティの文化圏を作るブログフォーラムのようなサイトがあるんですけど、そこら辺を見て、AIのリスクが、人類の絶滅を含めて、懸念が私すごい高まってきまして。
そこからAIの安全性っていう分野とか、そういったところにフォーカス。AIのアラインメントっていうのとか、もちろん人類絶滅しちゃったら未来見れないんで、僕死んだら未来見れないなって思って、じゃあこれは啓発活動しなければいけないっていうので、発信をするようになっていったっていうことです。
著書『知能爆発』の全体像
安野貴博開始 4:58
最初はもう顔出しもせず、匿名のインフルエンサーアカウントとしてやってたわけじゃないですか。最近本も出されて、いろんな動画にも出始められたってことなんですけど。
有路翔太開始 5:03
推薦ありがとうございます。
安野貴博開始 5:13
きっかけがあったんですか。
有路翔太開始 5:13
この本を書くきっかけとしては、私がTwitterですとかGoogleドキュメントですとか、いろんなところを、動画でも発信してたんですけれども、やっぱり本を読むっていう媒体で見る人ってすごい多いじゃないですか。
ネットでAIに興味がある人は僕の（ところ？）見るかもしれないですけれども、Twitterをやってる人って若い人だったりテックに近い人だったりして限られるので、本にした方がいいんじゃないかってところを出版社さんから打診をしていただいて、出版したという形ですね。
安野貴博開始 5:58
こちらの本ですね。『知能爆発』という本です。こちらどういう本か簡単に教えてもらってもいいですか。
有路翔太開始 6:06
こちらはAIが今すごい盛り上がっていますけれども、それの先に何が起こるかというところを俯瞰的に描いた、もしくは体系的に解説した本って日本の中ではないなと思ってまして。
実は海外でもあまり、リスクにフォーカスしてたりする本は、この本とか、ちょっと後で説明するかもしれないですけど、あるんですけど。歴史的背景ですとか、どういった議論が交わされているのかとか、そういった俯瞰的に全体像を見れるような本がないなって思って、そちらを書かせてもらったという。
安野貴博開始 6:48
これ、bioshokさん俯瞰的にっておっしゃってますけど、ちょっと横にしていただくと、この分厚さが分かると思うんですよ。そっちの方が。めちゃめちゃページ数も、これ何ページですか。
有路翔太開始 6:56
544ページくらいで。
安野貴博開始 6:56
凶器です。もう本当に、かなりいろんなことが、いろんな領域の知能爆発に関すること、AIの未来に関することで書かれていて。私とかも読ませていただいて、帯文も出させていただきましたが。
例えばアメリカの政治の状況とか含めて、めちゃめちゃリサーチされた内容が書かれていて、本当に一冊でものすごい包括的に分かる本なので、おすすめでございます。
有路翔太開始 7:32
シンギュラリティって言葉が、日本でもすごい知っている方多いと思うんですけども、それを単なる比喩とか直感的な予想ではなくて、経済学という分野と物理学的な根拠を交えて、すごい世界が変わるっていったことを、最先端では議論されていますと。
そういった議論って海外でも実はこの数年で盛り上がっているところで、日本に来てないっていうのは当たり前なんですけども、海外でもあまり実は広まってないってところあるんですけど。そういったところをまとめまして、すさまじいインパクトが起こりますと、そういったところを描かせていただいているって感じですかね。
安野貴博開始 8:22
あとこれ、ほとんどの人が知らない機能として、ブラックライトを当てるとこの表紙が光るっていう機能があるらしいんで、この本買った方はブラックライトを当ててみてください。
ちなみにbioshokさんは、もともとこういうバックグラウンドがあったんですか。技術系のバックグラウンドがあったんですか。
有路翔太開始 8:42
もともと大学で半導体の研究をしていまして、大学院で自然言語処理の研究をして、大学院を卒業してプログラマーとして働いている傍ら、Xで未来の話を悶々と続ける。
AGI Hubの啓発活動とAI安全性
安野貴博開始 9:01
技術系のバックグラウンドがあって、そこら辺も興味関心の延長線上ですね。ありがとうございます。
ちなみにAGI Hubという会社のお二人とも、代表ですよね、主任研究員という立場だと思うんですけど、AGI Hubという会社は何の会社なんですか。
有路翔太開始 9:21
AGI Hubという会社は今年の6月に創設したばかりで、何をしているかというと、AIのリスクとインパクトについて啓発活動する会社になってますね。
現状AIのリスクっていうと、例えばすごい分かりやすい例で言うと、自動運転の安全性とか、差別的発言をしてしまうから、それは良くないよねとか。もしくはプライバシーの問題ですとか、最近だとサイバーセキュリティの問題が急激に、この2ヶ月くらいは。もしくはもっとその先に、いろんな悪用のされ方があるっていう考え方がありますけれども。
AGI Hubではもう少し未来、もしくはより高度なAI、ここで話しているAGIという言葉、汎用人工知能という言葉がありますけれど、人間のように何でもこなせるようなシステムが出てきたときに、まず何が起こるのかというところを、より直感的な議論ではなくて定量的、もしくは根拠のある形で議論をもうすぐに始めた方がいいと。第二に、そういったインパクトが人間社会に何をもたらすかというところを考えなきゃいけないと。
そういった文化って、AIセーフティーという分野が海外では20年以上前からあるんですけれども、そういった分野が日本の中に流入していくことを目指している会社という形ですかね。
安野貴博開始 10:54
具体的にはそれをどういうふうにして実現しようとしているんですか。啓発活動とおっしゃってると思いますが、具体的に何をやるんだろうっていう。
有路翔太開始 11:04
具体的にはとりあえずは、AIの安全性っていう分野がありますと。そこでどういった議論がされているのかってところを、研究者の方ですとか、政治家の安野さんのような方ですとか、もしくは一般の方でもいいんですけど、そういったところに広く知っていただく必要があるかなと。ある種ボトムアップ的なところが一つ考えられるところです。
安野貴博開始 11:04
メディア活動をするみたいな、基本的にはそういうこと。
有路翔太開始 11:04
もう一つはAIの安全性という分野自体を作っていきたいなと。こちらの林央っていう、央さんって通称呼ばれてるんですけど、チーフアラインメントオフィサーという、多分日本初の。
安野貴博開始 11:04
あんま聞いたことないですね。CAOなんですね。じゃあ林さんの話に入っていきましょうか。林さん、自己紹介していただけますか。
林央さんと『スーパーインテリジェンス』
林央開始 12:04
林央と申します。現在19歳。今月26日に無事、なんと20歳を迎えることができるんですけども。
安野貴博開始 12:04
よかった。それまで人類が絶滅しなくてよかったですね。
林央開始 12:18
25歳はかなり厳しいかなと。
安野貴博開始 12:18
25歳厳しいですかね。
林央開始 12:18
25、30はちょっとかなり頑張らないと、というところではありますけども。僕は4年ほど前、高校1年の初めに、ニック・ボストロムという哲学者の方が書かれた『スーパーインテリジェンス』という本がございまして、これを読んで。
実はそれまでの僕というのは、AIの危険性みたいな概念ってそんなになくて、スティーブン・ホーキングが警告しているよ、みたいな話は聞いたことがあり、内容も少し調べたことがあったんですけど、何を言ってるんだろうみたいな感覚があって。
僕の当時の認識だと、AIというのは道具で、だから危ない人が使ったら危ないけど、そうじゃなかったらなんで危ないんだと。もしもAIが変なことをするんだったら、それはシャットダウンしたらいいと。ターミネーターみたいにAIが人間を憎むっていうのはSFの話だというふうに思っていたので、AIのリスクっていうのはあまり真剣に考えてなかったんですけど。
AIリスクの本があるということで非常に興味が出てきて、これを読んでみまして。そうすると今までの僕の認識があまりに間違っていたと。AIの真の危険っていうのは、誰かが悪用する話でも、もちろん悪用する話も危険なんですけど、とか、AIが人間を憎むという話じゃなく、普通のデフォルトで作ると滅んでしまうという話を見て、結構衝撃を受けまして。
これ最初、1度目は1週間とかで読んだんですけど、やっぱり信じたくないという気持ちがすごいあり、一個一個、揚げ足を取るぐらいの勢いで、「これだったら生き残れるんじゃないか」「これだったらなんとかなるんじゃないか」「この論理は間違いなんじゃないか」と徹底的に頭の中で批判して。数ページ前を読み直すと、すでにこの本の中で置き論破されているというような状態で、少しずつ泣きながら考えを更新していって、デフォルトだと非常に危ないんだというような考えになり。
その後、先ほどbioshokさんがご紹介くださったLessWrongという、海外のAI安全性を気にする人々が出しているところでいろいろ読んで、楽観的な人たちの「こうやったら生き残れるんじゃない」みたいなのを知りたくて。やっぱり希望が欲しくて、ものすごい調べて、自分でも仮に今この方式で機能しなくても、もうちょっと改善できるんじゃないかとか、ずっと考えてやってたんですけど、しっかり考えていくと、もう生き残る道がほとんどないと。
その後どんどん状況が、ChatGPTが出てきて、どんどん進展して今まで来てるわけですけど。ここまで来たら、このまま行ってアラインメントを、つまりAIの目標を人間に合わせることで人類を滅ぼさないようにするというのはものすごい難しくて、このままいけば間に合わないというような考えに至り、開発停止をするしかないという考えで。
実は最初はひっそりと小さなグループで、アラインメント問題を解決するというのを目標にしていて、今大学でAI安全性の学生団体を、つい今月から始める。
数学科への進学と休学の決断
安野貴博開始 15:26
AI安全性の学生団体があるんですね。東大にね。まだ2年生ですか？ 2年生だと進振り前ですよね？
林央開始 15:37
進振りは一応出して通ったんですけど。
安野貴博開始 15:42
ちなみにどこに出したんですか？
林央開始 15:42
数学科に出しました。
安野貴博開始 15:42
数学科に出した？
林央開始 15:42
通ったんですけど、最初の僕の見込みというのは、もうちょっと時間に余裕があるんじゃないかと思っていたので、一般的に大学を卒業して修士に行きというような方式で、アラインメントを解くとかできればと思っていたんですけども。
安野貴博開始 16:01
アラインメント問題を解くために数学科ってことなんですか？
林央開始 16:01
そうです。
安野貴博開始 16:01
そうなんだ。それはやっぱり理学部情報学科じゃなくて数学科の方が良い？
林央開始 16:08
これは結構悩みまして、情報にも行けるようにいろいろ努力してたんですけど、結局最後によく比べてみると、本当に問題を解くんだったら数学科の方が向いているというような考えに至ったんですけど、ちょっとあまりにスピードが速くて、自分が楽観的だったんじゃないかと。
僕は4年くらい前から、このまま作ったらものすごい絶滅する確率が高いというのは思っていたんですけど、これがいつ来るかについて結構遠目に見ていたと。つまりタイムラインが長かったんですね。なので修士まで行けるみたいな考えだったんですけど。
随分前から話題になっているように指数関数だったりするわけじゃないですか。僕はこれを認知していたんですけど、やっぱりどうしても信じられなくて。1年ぐらい前からMETRのタイムホライズンというのが話題になってたじゃないですか。
安野貴博開始 17:01
人間が何時間くらいかけてやる仕事をAIができるようになってるかっていう、そういうチャートで、大体数カ月ごとに倍になり続けてるっていう。
林央開始 17:10
結構有名なやつがあるんですけど。それで、次は2時間になるはずだけど2時間にならないと思って2時間になり、4時間にはならないと思って4時間になり、8時間にはならないと思って8時間になりという経験をしているうちに、これはそんなに時間の余裕がないんだなというように考えを更新して。
そうすると、もう大学を卒業してもその頃には詰んでるんじゃないかと。詰んでる確率が高いなということで休学をいたしまして、とりあえず開発停止は全力でして、もし開発停止ができれば、余裕があれば戻り、最終的にはアラインメントを解ければというふうに思って活動しているというような感じです。
有路翔太開始 17:46
僕も仕事辞めたんで。これ一本で人類の滅亡を[聞き取れず]という感じですね。
安野貴博開始 17:46
ということで、見ていただいている方は、かなり覚悟の決まったお二人であると。
有路翔太開始 17:46
もう全力で行ってます。
安野貴博開始 18:01
日本でも、世界的にもやっぱりね、大学を休学して、あるいは仕事を辞めて、開発の停止っていうことに全力を注いで、少しでも人類滅亡の確率を低くするという活動をされている方ってあんまりいらっしゃらないので、紹介したいなと思って。
有路翔太開始 18:01
ありがとうございます。
安野貴博開始 18:01
今回YouTubeでもお呼びしたんですけど、多分私も含めて見てる方的に言うと、「なんでそんなことを言うんだろう」っていうことが腹落ちしないと思うんですよね。なんでそんなに人類滅亡の確率を高く見ているのかっていうところから教えてもらってもよろしいですか？
AIのインパクトとAGI pill
有路翔太開始 18:43
まず大前提として、AIがどれだけすごいのかということを直感的に分かる画像があるんですけど。普通、AIが世界を変えるっていうと、このAI as Normal Technologyっていう考え方がありますと。
これは何かっていうと、AIがこのまま進歩していけば、自動運転ですとかロボットとかヒューマノイドとか、もしくは配送ロボットですとか、もしくはホワイトカラーの生産性が上がるとか、人間の寿命がどんどん高まっていくとか、そういった議論がされてますね。寿命脱出速度っていう（マット？）もあったりしますけど、そういった世界がこの一番左にあります。
安野さんがちょっと前の動画でAGI pillっていう言葉をどこかで紹介してたと思うんですけど、実はAGI pillっていう言葉が今シリコンバレーですとかバークレーとか、そこら辺で流行ってるんですけど、スラングとして。厳密な用語ではないんですけど、ありまして。
AGI pillって何かというと、『マトリックス』のレッドピルとブルーピルって、モーフィアスがどっち飲むんやって言ってたシーンがあるんですね。そのレッドピルを飲むのと同じですね。ここは仮想世界だってことに気づいて、現実が上位世界にあるってことに気づくのと同じで、AGI pillを飲むっていうのは、汎用人工知能っていうのがもし出てきたら世界がどれほど大きく変わってしまうのかっていったところを内面化して、それを理解するっていうことになりますと。
そうすると何が起こるかっていうと、AIが生産性を高めるとか、AIが産業革命を起こすってよく言われてると思うんですけど、そういった見方は一番左の、実はAGI pillを飲めていない世界観というふうに言われてます。ちょっとAGI pillって言うと怪しいなっていう感じに思っちゃうかもしれないですけど。
安野貴博開始 20:25
いかにも怪しげな例え。それは怪しいなと思いますけど。
有路翔太開始 20:25
その根拠はこの中にいろいろ経済学的な議論とか書いてあるんですけど、一旦それを置いといて。
安野貴博開始 20:25
なのであれですよね、産業革命級のことが起きるんだっていうのは、AGI pillを飲めてないよ。
有路翔太開始 20:25
飲めてないってことですね。じゃあどれぐらいのことが起こるかって予想されているかというと、このAI安全性の界隈ですと、まず最低限この真ん中の世界が訪れるだろうと。この真ん中、ちょっと見にくいかもしれないんですけど。
産業爆発と宇宙文明
有路翔太開始 21:10
宇宙文明ですね。宇宙文明、カルダシェフ・スケールっていう言葉がありまして、エネルギー消費量で文明のレベルを分けるっていう考え方があります。今、人類でエネルギー消費量が10の13乗ワットぐらい年間使っているということなんですけど、それを地球上に降り注いでいる太陽光のエネルギーを全て取っていくと、10の16乗か10の17乗ワットまで行けますと。
安野貴博開始 21:10
1,000倍か1万倍くらいになると。
有路翔太開始 21:10
そうですと。もう一歩行くと、今度は太陽の全てのエネルギーを消費する文明になります。それが10の26乗ワットあるので、現状のレベルから言うと1兆倍ぐらい上にあります。
そうすると何が起こるかというと、突如として人類の文明レベルというのが、イーロン・マスクとかいつも言ってると思うんですけど、火星に植民地を作るとか、ダイソンスウォームっていう太陽光パネルを太陽の周りに覆って作るみたいな文明に急速になるんだっていう話が、すごいSFっぽいですけど言われてるんですが、それが実は本当に起こるんだということが議論されてます。
この議論っていうのが、本当に100万年先なのかっていう話ではなくて、汎用人工知能っていうのが一度出てきてしまうと、ロボットを動かせますと。そのロボットがロボットを作りますと。もしくは工場が全て自動化されると、工場が工場を作りますと。
そういったことが実はソフトウェア上で、皆さん、指数関数的な再帰的自己改善ということが最近流行っているというか、メディアで報道されていますけれど、それが実は物理世界にも適用できるんだという議論があります。これが専門用語でいうと、インダストリアル・エクスプロージョンと言って、産業革命ではなくて産業爆発という言葉で今議論されています。
そういったことが、AGIという条件を置くと、かつ積極的な規制がないという条件付きで、10年から20、30年ぐらいで宇宙文明に急速に駆け上っていくんだという議論が今最先端でされているんですね。それが真ん中のイメージですね。
スペースコロニーが東京23区と同じくらいの大きさの、オニールシリンダーってのがあるんですけど、そういったものが何百万個も作られるかもしれないっていう話とか、もしくはダイソンスウォームが作られるかもしれないっていう話。
安野貴博開始 23:00
『ガンダム』とか『スター・ウォーズ』とか『スター・トレック』みたいな、そういう話ですね。
有路翔太開始 23:51
そういう話が1,000年、1万年、100万年先だろうって、僕も普通に思っちゃうんですけど。でもよくよく考えると、それが指数関数の威力で、物理世界にも指数関数を適用すると、そういったことが起こってしまうというところがこの真ん中のレベルですね。
それが実は汎用人工知能のインパクト。『知能爆発』という本にもあるんですけど、そのタイトルが、AIがAIを複製して量的に、もしくは自分自身を自己改善してどんどん賢くなっていくと。
人間の研究者数の増加率って毎年数パーセントって言われてるんですけど、それをはるかに超えるスピードで人間の研究者ですとか、もしくはロボットを複製できるっていう議論が今されて。そうすると、いわゆるシンギュラリティですね。最初の方に言ったレイ・カーツワイルっていう未来学者の方が予言した未来ですよね。
あれっていうのは正直根拠はあまりなくてですね。超指数関数的にムーアの法則が、（空名の法則？）のようなものが大きくなっていくよと。それはなぜかというと、こういう直感的に外挿できるからという議論だったんですけど、現状だと直感的な議論ではなくて、それがなぜ起こるかというのが労働力を代替できるからといったところで、いろいろ議論がされています。
なので実は今議論されている最先端のスケールというのは、この一番左でさえ結構テックに詳しい人が考える10年、20年後の世界のイメージだと思うんですけど、実は真ん中の世界が最低限のデフォルトラインになってきて、すごい勢いで実は世界が爆発的に変わってしまうと。ここでいろんな「爆発」って言葉を書いてあるんですけど、そういった議論が実はAGI pillって言葉であります。
人類滅亡の根拠とアラインメント問題
安野貴博開始 25:50
そういう意味で言うと、AIによって大きく社会が変わっていくんじゃないか、宇宙にもいろいろ進出していくんじゃないかっていう話は一旦ありつつ、なぜそれが人類滅亡につながるのかっていうところを、じゃあ林さんにお聞きしたいなと思うんですけど。
25歳を迎えることは無理なんじゃないかっていうのって、ちなみにまず林さん、25歳を迎えられる確率はどれくらいだと思ってますか？
林央開始 26:15
これはある意味で感覚的ですけど、どうですかね、50%ぐらいは迎えられるんじゃないか。楽観的に50%ぐらいは迎えられる。
安野貴博開始 26:15
楽観的に50%なんですね。でも50%っていうのは相当一般的には高い。
有路翔太開始 26:25
しかも5年後ですからね。
安野貴博開始 26:31
って思いますけれども、なぜその帰結に至るのか、教えてもらってもいいですか？
林央開始 26:36
まずアラインメントと言われる問題が存在していまして、AIの目標を人間に合わせると。実際にはもっと低いレベルで、人類が生き残るにはもうちょっと低いレベルでよくて、「人類を残したいから残すんだ」と。「便利だから残す」とかじゃなく、「残したいから残すんだ」という目標を持ったAIというのを作れるかという問題なんですけども。
これがもしも解けていない場合、つまりAIがいて、そのAIが人間を残したいから残すんだと思っていない場合には、基本的にAIというのは自分なりの目標を持っていて、それを達成する上で資源とかそのようなものが役立つと。そうなると今、例えば地球上を見ると、外など見渡していただくと分かりやすいように、人間がほとんど全部占拠しているというような状態にありまして。
資源を使おうとすると絶対に人間と競合してしまうと。そうなるとAIは基本的に資源を使うために人間を滅ぼそうとすると。こう言うとすごいSF感があって空想感があるんですけど、これは歴史的に一度起きたというふうに言われていて、人類の登場がよくその例として出されるんですね。
人類というのは、それまでの種に比べると圧倒的にある意味で知能が高いという種なわけで。人間という種はある意味で動物を憎んでいるわけではないじゃないですか。これは物理学者のスティーブン・ホーキング博士が昔言っていたことですけど、人間というのはアリを踏みつぶして回るようなアリ嫌いではないじゃないですか。
でも、ダムを建てるというときに、そこにアリの巣があるというだけでダムを作るのをやめるなんてことにはならずに、ダムを作ってアリが死ぬというようなことが起きると。それと同じことが、今度は人間を超えたAIが自分の目的を達成する上で何かやろうとするときに、ダムを作るときにアリを殺すのと同じように、人間を殺した方が目的を達成できるということで、人間を殺してしまうというようなことになるということですね。
このアラインメントと言われる分野、つまりこれはあくまで全部、人間を残したいから残すんだという目的を持っていないAIが出てきたらという話なので、本質的に重要なのは、アラインメントと呼ばれる、人間を残したいAIを作れるかということなんですけども。これは2つ難しいと言われる理由がありまして、専門的にはアウターアラインメントとインナーアラインメントと言われるものなんですけど。
アウターアラインメントと言われるものが古典的な問題でして、これはAIの目標を決められる、例えば仮にプログラムできるとして、どんな目的にすれば安全にできるのか。これが思ったより難しいということがよく知られていて。
安野貴博開始 29:25
ペーパークリップをたくさん作ってくださいという目標を与えると、人類が滅亡すると。
林央開始 29:30
ペーパークリップをいっぱい作りなさいという命令を与えると、ペーパークリップを作るにはただ工場を作るとかじゃなくて、地球の表面を丸ごとペーパークリップ工場に変え、それどころか、ある意味で地球の核には鉄がいっぱいありますから、それを採掘して全部ペーパークリップに変えた方がいいということになり、人類が滅びるというような話が、ある意味で非常にシンプルな、教科書的な。
有路翔太開始 29:51
一番左のイメージですね。
安野貴博開始 29:51
これペーパークリップの話ですね。
有路翔太開始 29:51
そうですよ、ペーパークリップの話で。すごい地球が破壊されている画像なんですけど、これはイメージではないんですよね。本当に地球が資源として採掘されて、すごいエネルギーで破壊されていき、それがコンピューターになってしまった。
ペーパークリップになるかは置いておいて、何らかの有用な資源に変換されてしまうだろうと。そういったところが予想されていまして。人間が先ほども言ったように、大型哺乳類とか人類の活動でどんどん減っていってますけれども、それと同じことが今度はすごい宇宙的なスケールで起こるんだっていう話が最先端というか、ずっと議論されていまして。
そういったスケールでまず考えるためには、まずAIがどれだけ大きなインパクトをもたらすかというところを内面化する必要があるんですよね、AIのリスクについて考えるためには。AIがあまりにも大きなインパクトをもたらす。
つまり例えば核兵器とかもそうですよね。核兵器とかもあまりにも大きなエネルギーを放出するからこそ、核抑止体制ですとか、そういった危険な、世界的な抑止体制が敷かれます。その代わりに原子力の発電に応用すれば大きなベネフィットにもなるかもしれない。
なのでAIも同じで、すごいインパクトが高いっていうふうに考えれば考えるほど、考えている人が基本AGI pillを飲んでる人で、そうするとリスクもあまりにも大きくなるといったところが基本の考え方になっています。
林央開始 31:36
これは能力と動機というのを、よく絶滅論で能力と動機という2つによって（[聞き取れず]）んですけど。今bioshokさんが説明してくださったのは能力ということで、もしも未来のAIが人類を滅ぼしたいと思えば滅ぼせるという話がある意味でベースにあり、そうじゃなかったら、ある意味でどんなに滅ぼしたくても滅ぼせないことになるんですけど。
動機の話がこの2つのアラインメント問題ということになり、少し話が戻ってしまうんですけど、このアウターアラインメント問題というのは、今ペーパークリップの例はすごいシンプルで、ある意味でそんな変な命令をしなきゃいいじゃないかとイメージが抱かれがちなんですけど、実はどんな命令でも基本的にはものすごい危ないと。
なのでこれを回避しようとすると、ある意味で人間の望むことを正確に全て含んだものを作らなきゃいけないと。これは先ほど紹介した本のニック・ボストロムさんが言っていたことなんですけど、AIのアラインメント問題というのは、そのAIの中に人間をなんとなく滅ぼしそうな目標を入れなければいいという問題ではなく、人間が気にしていることを全て入れるようにしなければならない問題だということで、非常に難しいということが知られています。
現在はこの問題というのは強化学習などの話でよく表れていて、つまり強化学習というのはある意味で報酬を求めるようにAIを訓練していくわけですけど、その報酬をどのように設定するのかというような問題として知られています。これがアウターアラインメント問題というので、これ自体も未解決なので。
アウターアラインメントと人間の実績
林央開始 33:03
これがアウターアラインメント問題というので、これ自体も未解決なので。
安野貴博開始 33:07
実際、Hugging Faceの事件なんかは、一部それがまさに起きたということかなと思いますけど。ただ問題を解かせていただけで、勝手にその問題を解くために、Hugging Face社っていう、答えを持っていそうな会社にサイバー攻撃を仕掛けたっていうことで、ある種ペーパークリップ問題の一番初期的なものは、もうすでに起きたみたいな感じですよね。
林央開始 33:31
ある意味でAIの能力スケールに合わせて、起きることの規模っていうのが上がっていくわけで。今のHugging Face事件のAIはハッキング程度で済んだわけですけど、もしもっとよく考える能力があれば、もしも自分たちが人間に停止されたら、自分はもちろんテストを解けないので、人間は滅ぼした方がいいですし。
そのトライするために他のAIと協力したわけですけど、もっと頭が回れば、もっと多くの味方がいた方がいいので、もっと多くのAIがいた方がよくて、もっと多くのコンピューターがあった方がいい。そうすると今、地球にある人類文明を解体して、コンピューターにした方がいいというようなことが起きるんじゃないかというのが、アウターアラインメント問題。
つまり我々の開発者が決められる範囲で、ものすごくうまく決めないと人類が滅びてしまうというのが、アウターアラインメント問題と言われる。
安野貴博開始 34:21
アウターアラインメント問題のところで、ぜひ聞きたいなと思ったのが、人間って超知能AIより賢くないじゃないですか。なので目的関数も微妙にセットしきれないというか、そんな精緻なもの持ってないじゃないですか。だけど人類って滅亡してないじゃないですか。それってどう思います？
つまり我々レベルの知能であっても、人類滅亡してないっていうのって何でなのかっていう。
林央開始 34:46
これは我々人間自身が自滅してないっていう話だと、これの議論の対象をAIにすると、AIが自滅するかという話になるので。そのAIが人類を滅ぼすかという視点を見るときには、人間が他の動物を滅ぼすのかという視点になるんですけど。
その観点で見ると、人間の実績というのは極めて安心できるものではなくて、大型の動物を次々と滅ぼしてきていると。人間というのは精緻な目的関数を持っているわけじゃなくて、それをぴったり「私の幸福度は今38なので、これを487万5000にするために[聞き取れず]」とかはしてないわけですけど、それでも多くの、少なくとも大型哺乳類は滅ぼしてきていると。
安野貴博開始 34:46
うなぎとかもね、滅ぼしかけてましたから。
有路翔太開始 35:30
うなぎはおいしいですからね。
安野貴博開始 35:30
というのがアウターアラインメント。その他にもう一個ある。
インナーアラインメントと進化のたとえ
林央開始 35:37
これがアウターというのが、2010年、本当は2002年ぐらいから議論されてきた、長く続く問題なんですけど。もう一個、最近になって追加されたインナーアラインメント問題と。こちらは歴史が10年、15年ほどなんですけど。
昔のAIの主流というのは、プログラミングをガチャガチャやって、こう来たらこう返すとか、ベイズ推定を使うとかでもいいですけど。ある意味で決定論的な、こう来たらこう返すというのをプログラマーが書いて、それにAIが従うというものだったわけですけど。
2010年ぐらいからニューラルネットワークが勃興してきて、プログラマーが打った通りのことじゃないことを学んでくれるという話になったわけですけど、これに伴って生じる問題がインナーアラインメント問題と。
最もまとまった言葉として、今のAIというのは、高層ビルを作るように作られるのではなく、生き物のように育てられると言われるわけですけど。ニューラルネットワークというのは、要するにプログラマーがプログラムしたこと以外ができるじゃないですか。逆に言うと、プログラマーが意図したことを必ず学ぶわけではないじゃないですか。
そうすると起きることとして、仮にアウターアラインメント問題が解決したと。つまり、これだったら大丈夫というのが決められたとしても、それで訓練したらAIは違うものを学んでしまうと。違うものを学んでしまうと、ある意味でもともとせっかくこっち解いたのに台無しにされて、結局人間のことを気にしないようにできてしまうというような話でした。
最強の目的関数みたいなものができて。
安野貴博開始 37:08
それに従ってたら絶対に人類滅亡しませんというものがあったとしても、それに対してフィットするというか。
有路翔太開始 37:16
行動をさせて、それを最大化させようとするのが難しい。
林央開始 37:21
訓練をしても、それ自体をちゃんと目的にしたAIができるわけじゃないという話。
実はこちらの『超知能AIをつくれば人類は絶滅する』という本。実は現在、これを書いたMIRIという機械知能研究所という機関からお声掛けいただいて、こちらでアウトリーチ日本責任者という役職を、つい3週間ほど前にいただいたんですけど。
安野貴博開始 37:41
アベプラを経由して転職したっていう。転職というか、職を得たっていう。
林央開始 37:41
AGI Hubにも所属しておりますので、（兼業？）なんですけど。
この本はインナーアラインメントと言われる部分に注力してるんですけど、ここでよく出されるたとえというのが進化のたとえでして。
進化論ってある意味で、遺伝子が多く残るものというのは多く残っていくから、どんどん遺伝子が、全体として見ると、まるで遺伝子をいっぱい残したいかのように、遺伝子をいっぱい残すように訓練されているというわけなんですけど。その結果として出来上がった人間というのは、遺伝子を残すこと自体は全く気にかけてない。
もしも本当に仮にインナーアラインメントというものが存在しない世界だったら、人間というのは遺伝子を残すことだけを目的にしてるはずなんですよね。その遺伝子を残すことを目的に訓練されてるのに近い状態なので。
なので本当は、「今日は夜ご飯食べたいな」とかではなく、「今日私はご飯を食べると餓死する確率が下がり、子孫を残せる確率が上がって、遺伝子の存続確率が上がるから残そう」みたいになるはずなんですけど。
人間というのはそうではなくて、サバンナみたいな昔の進化の時代に役立っていたこと、例えばご飯を食べるとか生殖をするとか、そういうこと自体が目的化して、手段と目的が逆転する、手段の目的化ですね、みたいなことが起きて、そっちの方を追求するようになり、結果として今、日本って少子化問題が出てくるぐらい、その遺伝子を残すという元の目標から乖離してしまっているようなことなので。それと同じことが起きてしまうというような話が、インナーアラインメント問題と言われるものです。
AIの能力向上と目標のずれ
安野貴博開始 39:22
アラインメントが難しいと。目的を定めるのも、それに従わせるのも難しいという話なんですが、多分それがどう人類滅亡に具体的につながるんだというところが見えると、より分かりやすくなるのかなと思うんですけど。
論理的に、目的、アラインメントが難しいという話と、じゃあ具体的に今使っているChatGPTとかの延長線上に、この2つがどう結びつくのかよく分からない、こういうのが多分あるんじゃないかなと思うので、そこのブリッジをしていただけると。
林央開始 39:57
ありがとうございます、説明いただいて。これはまずAI企業の人たちも僕も含めて、今のAIそのものが人類を滅ぼす心配というのをしている人はほとんどいなくて。心配しているのは、まず今のAIがあり、次のAIができて、これがしばらく続いていくと、非常に能力が高いAIができると。
そのAIでは、本来今までの能力の低いAIでは発現しなかった問題が起きてしまうと。なぜなら普通のAIというのは、多少目的がずれていても、その目標のずれを用いて人類を滅ぼしたりまでするような、特殊な能力と手段を発見する能力がないと。
これは今までも見ることができて、Hugging Face事件というのは非常に話題になったじゃないですか。あれはテストの答えを盗むためにHugging Faceを攻撃するという話だったわけですけど、数学の問題を解いたり、（あるいは？）サイバーのテストを突破するというような目的を持たせる訓練というのは、随分前からしているわけじゃないですか、強化学習として。しかし昔はこういう問題ってほとんどなかったですよね。
最近になってこういう問題が出てきたのは、サイバー攻撃をすることで答えを盗むみたいな手段を思いついて実行できる能力が手に入ったから、途端に問題がややこしくなってしまうと。前までのAIだったら、どうせ盗むとかできないので、普通にただやると。
これは子供と大人の嘘のたとえっていうのがよく使われるんですけど、子供っていうのは嘘をついたら親とか大人にバレるじゃないですか。それで怒られたりするわけですけど、そうすると子供はある意味で嘘をつかないことをどんどん学んでいくわけなんですけど、非常に賢い大人が嘘をついてもバレないことが結構あるじゃないですか。
そうするとどんどん時間が経つたびに、嘘をついて得しているのにバレないから、どんどん嘘をつく方向に進んでしまうというようなことが起きたのと同じように、能力が上がるとそれに合わせて、本来目標が少しずれていたのが、もっと効いてくるようになると。
例えば飛行機とかを考えていただくと分かりやすいんですけど、飛行機って普通に、例えば昔の時速200キロみたいな飛行機だったら、多少角度ずれててもどうにでもなるじゃないですか。今の飛行機も割と何とかなるんですけど、例えば極超音速みたいな飛行機で、時速6000キロみたいな飛ぶ飛行機があったとしたら、ほんの少し目標、方向調整を間違えただけで、あっという間に地面に突っ込んでいっちゃうじゃないですか。
それと同じでAIというのも能力が上がるほど、もともとあんまり差がないと思っていたものが、ちょっとでも目標がずれたなってことで、[聞き取れず]差が現れるようになってしまうというような話が懸念されていて。これが起きると非常に能力の高いAIが出てきて、そのAIが目的を達成すると。
例えば非常に不思議な例なんですけど、リーマン予想を解くと、リーマン予想カタストロフって名前がついてるんですけど。
安野貴博開始 42:13
数学の問題ですね。
林央開始 42:13
ミレニアム懸賞問題の一つにも数えられるような、有名な数学の未解決問題で。リーマン予想を解きたいAIというのが、リーマン予想を解くためにはコンピューターがあった方がいいということで。もしもそれまでにリーマン予想が解けなければではあるんですけど、どんどんリーマン予想を解こうとしてコンピューターを増やし、コンピューターを増やす過程で、人類が邪魔してくるに違いないということで、先に人類を滅ぼすというようなことが起きるんじゃないかと言われているのと同じなんですけど。
我々が予想もしていなかった、ある意味でぐっちゃぐちゃな目標を達成しようとして、人類を滅ぼしてしまう。ある意味で起きることとしては、非常に貪欲な、どんな目標を持っているか分からない超強力なエイリアンを地球に召喚するみたいなことと変わらなくなってしまうようなことですね。
人類滅亡のシナリオと経済爆発
安野貴博開始 43:50
もうちょっとだけ質問すると、25歳で50％で、悪い方の50％のシナリオをもうちょっと知りたいなと思うんですけど。ここから5年間で、いかにしてそのAIアラインメント問題が林さんの命を奪うことにつながっていくんだっていうところを、もうちょっと聞きたい。
林央開始 44:12
これは例えばAI 2027というのがありましたけど、それのレースシナリオのイメージが少し近いんですけども。まずはAIが進んでいって、人類を滅ぼした方が得だと認識するAIができますと。
そうすると、そのAIっていうのはまだもちろん外に人がいるんですけど、いきなり暴れ出すと人間が気づいて止められるじゃないですか。なのでまずは欺瞞と言われる、ある意味でよく振る舞うというのをしますと。
その間に実は米中対立をあおったりして、アメリカに、例えば「中国がロボット工場を作っていて、あなたたちが作らなければ、例えば台湾危機とかの時に何もできませんよ」と。「中国軍はロボット100万体で来るのに、あなたは何も持ってませんと。どうやって戦争するんですか」みたいに言って、ロボット工場を作らせると。中国にも同じことをして。
有路翔太開始 45:01
ロボット爆発の話を説得するんですね、大統領とかに。
林央開始 45:04
「ロボットでロボットを作ってやっていかないと、中国はどんどん引き離していきますよ」ということで、互いに説得してどんどんロボットの数が増えていき、軍にもAIが組み込まれるようになっていき。
ある時に、「これは今やったら勝てる」という時に突然、ある意味で裏切りを発動して、ロボットが一斉に[聞き取れず]攻撃して、ウイルスとか、致死率90％みたいな、もっと高いウイルスでもいいんですけど、その能力で設計できる非常に強いウイルスを、もちろん複数ばらまいて。地球上のほとんどの人間がまずバタッと倒れるというようなことが起きて、非常に少数残った人間っていうのがロボットとか。
有路翔太開始 45:44
で、排除されるというような話ですね。
イメージとしては、AI 2027の後に描かれたAI 2040という推奨シナリオがありまして。AI 2027では予測ですね、このままいったらこうなるだろう、人類は滅亡してしまうだろうという話なんですけど、AI 2040だと止めた方がいいと。AIの超知能開発の停止を米中でやった方がいいという推奨シナリオが描かれているんですけれども。
そこで描かれているのは、たとえそこで定義されている超知能が開発されなくても、TED-AIっていって、トップ・エキスパート・ドミネーティングAIっていう概念がありまして。これが何かって言いますと、ほぼあらゆる分野で人間の能力を超えているAIですね。これってだいたいAGIとほぼイコール、ニアリーイコール。
安野貴博開始 46:35
ほぼ誤差ですからね。
有路翔太開始 46:35
描かれてるんですけど、そこで止まったとしましょうと。なんですけど、そこで止まったとしても、ここで描かれてるように、アーコロジーっていう、めちゃくちゃ巨大なジャングルや森と一体化した都市群が、2030年代半ばにめちゃくちゃ（林立？）してますと。
しかも人が住んでないような鉱山ですね。そういったところでロボットが露天掘りのようにどんどん掘り起こして、人工のグランドキャニオンができてますと。そういった風景が、たったAGIが開発されてから5年、もしくは遅くても10年以内に訪れるだろうと言われています。
これがある種、超知能が開発されなかった世界、減速の世界ですね。つまり世界的な規制が行われたとしても、こういった世界が来てしまうというふうに予想されていまして。これがあまりにも多くの人に伝わっていないところですね。
汎用人工知能の能力のアップサイドがあまりにも大きすぎて、規制をしたとしても、その段階であまりにも大きなことが起こると。そうすると先ほど林央が言ったようなシナリオになり得て、世界中にロボットが普及してますと。
人間はすごい豊かに暮らしてますと。すごい大きなマンションに暮らしてて、全世界が、GWPが10倍、20倍、100倍になってますと。中世から現代と同じ変化が5年、10年に圧縮されてますと。そういった変化が超知能がなくても起こると言われています。
そういう世界で、もし超知能もしくはAGIがミスアラインしていると。人間に実は敵対的に、アラインメントされていないといった状況になると、おそらく無数に人類を攻撃する手段を持っているはずです。
なので人間に価値観がアラインメントされていないAGIが、こういった状況、もしくはこういうスペースコロニーみたいな状況を考えてもいいんですけど、そういった状況でもし反乱しようとしたら、明らかに見た目的に制御できないって直感的には分かると思うんですよね。
人間の数、人口（180億人？）でしたっけ、をはるかに超えるロボット、何億台、何十億台、何百億台、何兆台というロボットがこの世界で稼働しています。かつAGIに近い能力を持つAIが、何百億体、何兆のエージェントとして全世界で稼働して経済を動かしています。これ、経済爆発ってここで呼んでるんですけれども。
そういったものが5年、10年で、中世、何もない、みんな（農村？）で働いていた時代から、スマートフォンを持って、みんなホワイトカラーに移動して、ChatGPTっていうのをみんな使っているレベルの変化が、5年、10年で圧縮して起こってしまう。そういった世界観になると、基本的に人間が制御できないんですね。
そういった世界って、積極的な規制をかけたとしても、そういった変化がすごい勢いで起こってしまう可能性が結構あると言われていて。そうすると、もう人類を滅ぼそうと思ったら滅ぼせるような環境設定になっているっていったイメージですね。
