AGI Hub noteで公開した書き起こしを全文掲載しています。原記事の編集は井上実咲です。掲載時に話者見出しを付け、note側のリンクカードなどの外部UIを除いています。発言の文言と順序は原記事のまま保持しており、各話者の見解や個人の将来予測を含みます。原文（AGI Hub note）はこちら。
この書き起こしについて
2026年9月、YouTubeチャンネル「シンギュラリティサロン」と AGI Hub のコラボ企画として、神戸大学名誉教授 松田卓也氏、神戸大学教授 塚本昌彦氏、株式会社XOOMS代表 保田充彦氏、代表 有路翔太（bioshok）、主任研究員 林央（akira）による p(doom) 徹底討論が行われました。本記事は、その配信の前半・後半を通した全体の書き起こしです。分量は約40,000文字です。
原記事は「人間が読むこと」よりも「人間がAIに読ませて疑問点を投げかけること」を想定して公開されたもので、基本的な整形以外の編集を加えていません。本サイトでは話者見出しを付け、note側の外部UIを除いたうえで全文を掲載しています。
配信は前半「超知能が人類を滅ぼす理由【前編】」、後半「超知能が人類を滅ぼす理由【後編】」で視聴できます。収録は2026年9月6日です。
対談動画
人物紹介
シンギュラリティサロン
神戸大学名誉教授・松田卓也氏（主宰）、神戸大学教授・塚本昌彦氏、株式会社XOOMS代表・保田充彦氏の3名が中心となり、AI・シンギュラリティ分野で講演と討論を行うチャンネル。YouTubeチャンネル登録者数は1万人以上です。
bioshok（有路翔太）
AGI Hub CEO。AIアラインメント分野で発信を行い、2026年7月27日のABEMA Primeへ出演。
akira（林央、はやし・あきら）
AGI Hub CAO（Chief Alignment Officer）／主任研究員。十分な規制や長期停止なしに強力なAI開発が進めば、人類絶滅に至る可能性をほぼ100%と考えるdoomer。2026年9月17日のABEMA Primeへ出演。
この討論の見どころ
林央氏は、アライメントが解けないまま超知能が登場すれば人類は残らないという立場から、開発規制を主張します。これに対して塚本氏は「絶滅は極端ではないか」「AIは多数存在し、多目的で、互いに抑制し合うのではないか」と問い、松田氏は「物理（アトム）と人間の制度は遅いため、しばらくは共存が必要だ」と反論します。用意された反論に林央氏がその場で答え返す形で、論点が一つずつ潰されていく進行が読みどころです。
有路翔太氏は、①アライメントの難しさ、②コントロール・深層防御の限界、③道具的収束という3点の組み合わせで破滅確率を説明し、②について自身の見方を近年更新したと述べています。
発言には比喩、各話者の見解、個人の将来予測が含まれ、AGI Hubが個々の主張を検証・追認したものではありません。
書き起こし本文（敬称略）
保田充彦
皆さんこんにちは。
配信が始まったのですが、今回はスペシャルな配信ということで、シンギュラリティサロンとAGI Hubのコラボ企画ということでいいんですよね？
有路翔太
そうですね。
保田充彦
いつもシンギュラリティサロン側を見ていただいている方は、松田先生、塚本先生、保田の3人でやっているのをご存知だと思います。
そこにプラスしてお二人いらっしゃると。AGI HUBをご覧の方はakiraさんとbioshokさんはもうよくご知だと思いますが、そこに3人変な人が混ざっているという状態かなと思います。
塚本昌彦
あれですね。年寄りチームですね。
保田充彦
もちろんですね。
塚本昌彦
最初はですね。
保田充彦
自己紹介から行った方がいいんですかね？
塚本昌彦
はいはい。
保田充彦
はい、どっちから行きますか。
林央
あ、じゃあ僕のほうから行っちゃいますか？はい。
保田充彦
はい、お願いします。
林央
どうも。こちらに書いてある通り林央（はやし・あきら）と申します。akiraとお呼びいただければ。
おそらくバイオさんとの討論で一番知られていると思いますけれど、現在日本で数少ない「doomer」、つまりこのままAIができればほぼ確実に人類が絶滅するよねと考えている派閥です。
そのため、開発停止運動をしようということでXに出てきたり、こういうところにも出てきたり、バイオさんと討論をしたり配信をしたりと、そういうことをやらせていただいています。
現在東京大学2年生なんですけれど、ちょっと俗に言う「タイムラインに余裕がなさそうだ」ということで、今月初めに休学することにしました。
松田卓也
ええ。
保田充彦
ほーう。
林央
Pause AIという国際的な、AI停止を訴える政治団体の日本支部を立ち上げようという話や、実際にアライメントを解こう、アライメント機関を作ろうという感じのことに、多分この先取り組んでいこうという形になっております。
塚本昌彦
すごい。
松田卓也
すごいね。
保田充彦
へえ。
有路翔太
そうですね。僕は林央さんとAGI Hubをやっておりまして。
僕とあと、やちまという人（神楽坂やちま）がいるんですけど、あと林央さんで。
林央さんはChief Alignment Officerという役職を今——
林央
拝命しております。
有路翔太
多分日本初かもしれないですね、主任研究員ということでやってもらっていて。
僕はXでbioshokという名前でAIの安全性やシンギュラリティについて発信しています。
AGI Hubの話も一瞬すると、2025年6月に創設されて、AGIや超知能がもたらすインパクトやリスクについて日本社会に広める目的でいろいろやっている、という感じですね。
これ宣伝になっちゃうんですけど、大丈夫ですかね？
塚本昌彦
どうぞ。
保田充彦
もちろん。
有路翔太
『知能爆発』という本を10月1日に講談社さんから発売する予定で、AGI pillってよく聞かれる人も多いと思いますけれど、それの話を540ページくらい書いています。
10月1日に発売なんですけど、この間にAGIとかが出てきて全部終わってたら面白い——面白くはないですけどね。
松田卓也
（人類滅亡してたら）読めなくなる。
保田充彦
はい。まだ書店には並んでないんですか？
有路翔太
そうですね。
林央
10月1日だった気がします。
保田充彦
なるほど。
松田卓也
だから予約よろしく。
保田充彦
予約をしましょうということですね。
有路翔太
僕はまだakiraさんほどdoomerではないので、ちょっと客観的に書いてますけれど、多分あきらさんからしたら「いや、こんなの甘い」と言われてしまう本だと思いますね。
林央
そうですね。
保田充彦
今日はその話をしていただけるのかなと。
松田卓也
だから、まず最初にちょっと明らかにしておけば。
塚本昌彦
ちょっとすみません。我々の紹介。
林央
そうなんですよ。AGI Hubの方々にお三方をご紹介いただければ。
保田充彦
なるほど。じゃあどうしよう。松田先生から。
松田卓也
私は松田卓也、神戸大学名誉教授です。
専門は宇宙物理学で、こういう問題、つまりAIの問題に取り組んだのは、もともとは80年代にSETIという宇宙文明を探すというような話からですね。
塚本昌彦
宇宙人ですよね。主に。
松田卓也
あの。
塚本昌彦
UFO。
松田卓也
いや、UFOじゃないよ。だから、UFOを信じないわけよ。
塚本昌彦
あ、そうですか。
松田卓也
ともかくそういうので、天文学の分野では結構メジャーじゃないけれど、確立した分野なんですよ。
ポイントは、なんで宇宙人が地球に来てないのかと。だからUFOは信じないから来てないと。それをフェルミパラドックスと言うわけですよ。
これはフェルミという有名な物理学者が大戦後まもなく唱えて。ちなみにフェルミは原子炉を作った人ですよね。
それにはいろんな立場があってね。一つがdoomer、つまり文明というのはある時点で滅びてしまうという立場ですね。
林央
グレートフィルターですよね。
松田卓也
そうそう。
だから今のあきらさんの話は、フェルミパラドックスを解決する一つの案ではあるわけです。
その他にもダークフォレストとか、これで有名なのは最近の本では『三体』というのがありましたよね、中国の作家の。
林央
僕も持ってますね。結構好きです。ちょっと今探せば出てくるくらいです。
保田充彦
はい。
松田卓也
私は2013年に『2045年問題』という本を書いて、これはシンギュラリティ論なんですよね。
45年というのはカーツワイルから来ているわけです。それ以来そういうことに注目して、シンギュラリティという観点から、2013年からだからもう10年以上議論しているわけですよ。
で、2015年くらいに塚本先生にお会いして、というところから。
保田充彦
15年ですよね。
林央
そうですね。
保田充彦
2015年ですね。
松田卓也
10年前ですよね。そこからシンギュラリティサロンの運動をやっているということで、その後は塚本先生に引き継いでいただいて。
保田充彦
じゃあ塚本先生、大丈夫ですか？
塚本昌彦
神戸大学の塚本です。神戸大学教授になって、もう20年以上になります。
研究はウェアラブルコンピューティングで、特にスマートグラスですね。今かけているのもレイバンメタという。
保田充彦
最近目立たなくなりましたね。
塚本昌彦
昔はすごくでかいコンピューターを腰につけて、変なものを装着してという……。
林央
XREAL Proってあったじゃないですか？あれ。
保田充彦
あれを持っています。
塚本昌彦
XREAL。
保田充彦
いいですよね。
塚本昌彦
ええ。で、2001年からスマートグラスというか、ヘッドマウントディスプレイをつけて生活するというのをやっているんですけれども、その頃から「もう来年こそあの時代がやってくる」「街の中を歩いている人はみんなこういうのをつけるようになる」と言い続けて20年以上ですね。
オオカミおじさんになってしまっているという状態が、今割と実現しようとしています。
私の目標はですね、この「ウェアラブルからサイボーグへ」ということで、体の表面につけた情報機器はさらに体の中に埋め込んで、我々はフルサイボーグになるんだと。
で、2030年に私はサイボーグを目指すというのを、10年くらい前から言っていまして。
究極的な目標としては不老不死ですね、というのを目指していたと。
で、この今のシンギュラリティということ、AIの急な発展で人間を追い越していく可能性というのは、このシンギュラリティサロンを始めた10年前ですね、その頃から強く感じていて、それはもしかしたら危険かもしれないということはもうずっと心配していました。
これはもしかしたらもっと前から心配していたような気がするんですけれども。
で、私のモットーは、賢くなるAIに対抗するために人間も賢くなる、AIと脳をつないで人間自身の知能を増強すると。
というのをずっと言っていたんですけれども、それが数年ぐらい前から、このAIの発展があまりにも急すぎて、サイボーグとか人間が超知能を持って超人類になるというペースはなかなか追いつかなさそうだと。
まだ10年以上かかりそうだという気がして、ちょっと立場を変えてですね。
人類がAIと対等にやり合えるというもともとの目標はちょっと捨てて、今はAIに迎合するということを主張しています。
もう明らかにAIの方が賢くなっていきそうなので、人類、人間、我々個体はですね、今のうちからこのAIに迎合して、AIにとって良い存在になろうと。
そうしておけば、5年後、10年後ですね、AIが人類の何億倍も賢くなった時に、万が一人口を減らそうとした時に、残す側にしてくれるかもしれない。
これ、ロコのバジリスクという議論が10年ぐらい前にあったんですけれども、それと全く同じ構造ではあるんですが、当時と違って今はその可能性が非常に高くなっているということで、もう一度みんなで考え直してもいいんじゃないかと。
ただ、みんなで考え直さなくても、私だけ考えていれば私だけ得する面もあるというあたりです。
塚本昌彦
はい、次は保田さんから言っていただけるんですよね。
保田充彦
私からですか。
はい、じゃあ行きましょうか。
塚本先生とは同じ神戸に住んでいるので、たまに阪急電車で塚本先生を見かけるんですけど、すごく社会に溶け込んでいますよね。
塚本昌彦
そうですか。声かけてくださいよ。
保田充彦
その辺はちょっと検討しておきます。
松田卓也
僕、昔ね、初めて（塚本さんを）阪急電車の中で見たときに、なんと奇怪なおじさんやと思いましたね。
保田充彦
最近は単に慣れただけですかね。
まあそんなに目立たないなと思いましたけどね。
私は保田と申します。
実は松田先生は大学・大学院時代の指導教官でありまして、私、工学部なんですけれど、当時松田先生は理学部出身ですが工学部にいらっしゃったんですよね。その何年間か。
松田卓也
航空工学科ね。
保田充彦
航空工学科というところで。
なので、一応航空工学をやろうと思って入ったんですけれど、やったことはかなり宇宙流体力学とか非常に行スケールの大きい、何光年とかいうスケールの流体力学みたいなこと、理学部みたいなことをやりました。
で、その後、某重工メーカーに行って宇宙や飛行機のエンジンとかそういうのを作っていたんですけれど、2012、13年ぐらいに辞めて、神戸に帰ってきたときに別の仕事を始めたのですが、一つに記事を書くという仕事をしていました。
『WIRED』というのがありますけれど、それに記事をちょっと書いたりしていたんです。
ちょうど『トランセンデンス』という映画が出た時に、それでちょっと企画の記事を書こうということで、松田先生が2045年問題みたいなことを言っていたなと思って声をかけて、松田先生のインタビューの記事をWIREDに書いたんですけれど、それがすごく反響を呼びまして。
当時だから2014年だったと思いますけれど、10年以上前ですけれど、それでもすごく、AIが超知能になって人類を超えるようなことになるということを、ほとんどの人はあんまり考えていなかったと思うんですけれど、それを初めて一般の人に紹介したものじゃないかなと思うんですよね。
その『2045年問題』という本とWIREDの記事が。
それ以来、このシンギュラリティということに興味を持って、松田先生と塚本先生らがシンギュラリティサロンというのを始めたのが2015年か16年で、そこから10年くらい今やっているということで。
シンギュラリティサロンは、いろいろなAI・人工知能あるいは脳科学を最先端でやっている方々をお呼びして、講演をして議論をするというようなものをやってきました。
当初は実際にリアルな場所でやって言たんですよね。
大阪のナレッジキャピタルというところと、あと東京でやってたんですけども、いろんな方に本当に出ていただいて、もう今では本当に有名な方々もいらっしゃいますよね。
山川（宏）さんを始め、もう本当に全体のピクチャーの方々に全部出ていただいて。
松田卓也
人工知能学会の会長とかね。
保田充彦
会長とか、いろんな中で今から見たらすごいなっていうラインナップなんですが。
2020年にちょっとコロナが流行った時からリアルな開催が難しくなった時に配信の方に切り替えて、それ以来そこで塚本先生が多大なる努力をしていただいて、ほぼ毎日のように動画を配信していると、YouTubeチャンネルで。
というのが今でも続いているのと、あとたまに2時間ぐらいのライブ配信を、もともとやってたナレッジキャピタルの超学校というところからも配信していて、そこにはbioshokさんも去年ですかね、出ていただいて『知能爆発』の話をしていただいてね。
あの回も、ライブの時はこっちでやったのかな？こっちのYouTubeチャンネルだったかもしれませんね。
有路翔太
そうですね。
保田充彦
とにかく、あれもすごい反響で、アクセスが最も多い動画の一つになっているんですよね。
皆さんの関心がすごく高いテーマだと思います。ありがとうございます。
今日も期待できるかなと思いますので、皆さんどうぞよろしくお願いいたします。
松田卓也
よろしくお願いします。
有路翔太
お願いします。
保田充彦
こんなもんですかね。
保田充彦
今日は、そもそも今回こういう企画をしたきっかけというのを、ちょっとだけ聞いておきたいなと思うのですが。
林央
僕とbioshokさんが先月初めに6時間ほど討論させていただいて。
塚本昌彦
はい。
林央
それを受けて山川さんが記事を書かれて、そちらを受けての反応みたいな動画を出されていて。
それでそれを見つけて「じゃあコンタクトしてみよう」ということでコンタクトしたところ、快くお受けいただきという感じですね。
保田充彦
塚本先生の動画がきっかけということで。
林央
そうですね。
塚本昌彦
あれはだから、ちゃんと見れてないんですよ、6時間。
最初の1時間くらい見たんですけど、基本セッティングばかりずっとやってますよね。（笑い）
松田卓也
私もそうで。
林央
初めての配信だったので。
塚本昌彦
ね。その後の9時間のやつとか、さらにその後のまた6時間くらいのやつもありますよね。
全部最初の方、セッティングが長いので。
有路翔太
これ（配信では）消してもいいんですよね。
林央
思いますけれど。あれ、編集して消してもいいと思いますから、確かに。
塚本昌彦
いやいや、それでですね、これ何というか、チャンネルのこのゆったりしたトーンというのを形作っていて、じっくり話そうという感じが感じられますけれど、見る側としてはなかなか大変ですね。（笑い）
林央
そうですね。全部ご視聴いただくより、書き起こしの方を公開しているので、そちらのリンクをお使いのChatGPTなりClaudeなりに渡していただいて。
それでいろいろ質問していただくのが多分一番いい使い方だと思っています。
松田卓也
だったら、それを全部ChatGPTとかに投げて「要約してくれ」と言ったら一瞬ですからね。
塚本昌彦
いや、この間も私がやった時のやつはそうだったんですけども、どうもあんまり上手くできてないような気がするんですね、要約が。
あきらさんのご主張の部分が、長い間に話したいくつかのトピックスをなんか変にピックアップして、全体のつながりというのがないような、ちょっと下手な要約になっていたような。
保田充彦
そうですか。
塚本昌彦
ちょっとだから、ちゃんとp(doom)が99.99%の説明を論理的に今日も聞きたいと思っていますけれども、その説明にはあんまりなってない感じだったと。
松田卓也
だからね、今回のきっかけはですね、いや、私も興味があるんだけど、それを6時間じゃなくてね、もう数十分で話していただきたい。
塚本昌彦
そうですね。
松田卓也
だから、聞いている方も数十分で理解できるようにしたいと。
保田充彦
なるほど。
松田卓也
で、さらに僕が関心があるのは、アキラさんの言っているようなことを日本で真剣に思っている人は、たぶん数人だと思うんですよ。
で、こういう問題を議論している人間が、昔数年前はシリコンバレーで100人ぐらいだと言われていたわけです。
これはバイショックさんが盛んに言う「AGI pill」ってね、あれを飲んだ人が数百人で、今現在は、僕の単なるアーティスティックな推測だけど、世界で10,000人いればいいところじゃないかって気がするわけですよ。
日本では10人ぐらいじゃないかと。
つまり、これを知っている人はもうすでに5年ほど前からいるからね。
塚本昌彦
先生、今の話でちょっと紛らわしいと思うのは、AGI pillを飲んだ人の中の——
松田卓也
doomerは。
塚本昌彦
doomerというのは割と——
松田卓也
非常に少ないので。
有路翔太
少ないんじゃないですかね？
保田充彦
あー。
松田卓也
そうですよね。
松田卓也
僕が興味あるのは、ちなみにあきらさんは99.99%とか言うけれど、bioshokさんはかなり楽観的で、でも30%とか40%。
僕はもっと低いです。
僕は今小説を書いているんだけど、人類が12,000年まで生き残る方法を書いているわけですが、ともかくですね、AGI pillを飲んだからと言ってdoomするとは限らないので。
だから、akiraさんがなぜそう主張されるのかというところが我々の関心の的だということですよね。
有路翔太
なるほど。
保田充彦
今日はそれが明らかになるということですね。akiraさんだけに。
林央
（笑い）はい、akiraです。
ちなみに先に一つだけ言わせていただくと、僕が99.9%みたいに言う時は「規制ができなくて5年以内に出来ちゃった場合」という条件で実は話していて、開発規制ができたりとか、実はもっと超知能ができるのが先みたいなのを考慮すると、全体としては90%ぐらいの死亡っていう感じですね。
塚本昌彦
ちょっとだからロジックを正確に聞きたいところですよね。
保田充彦
実際、綿密ないろいろな非常に定量的なところもあるようにお伺いしたので、ぜひ。
松田卓也
特に今日が重要だと思うのは、昨日かな、Astraが出たじゃないですか、GPT-6。あれがめちゃくちゃ能力が高いとか。
僕も今それを使って小説を書こうとしているんだけど。
その能力の高さはまだ見えないけれどね。
だから今日これをやるというのは、なかなか意義のあることだと私は思っています。
保田充彦
なるほど、楽しみですね。
塚本昌彦
早く聞きましょうよ。
保田充彦
前置きが長すぎましたね。
保田充彦
お二人ともお話しされますね、この後。
林央
そうですね。
保田充彦
順番はakiraさんからですか？
林央
そうですね。
まずはすごくシンプルにコアのコアをお話しさせていただこうかと。
保田充彦
はい、じゃあお願いします。
林央
コアとなる主張自体はすごくシンプルで、俗に言う三段論法みたいなところで言うと、「人間を残したいと思われる超知能を作れる技術レベルにない」というのが一つ。
「人間を残したいと思われる超知能じゃなかったら人類を滅ぼすよ」というのが二つ。
この二つを組み合わせることで人類が滅びてしまうという感じになるわけです。
非常にベーシックな主張としては、今これはボーストロムの『スーパーインテリジェンス』からの引用ですが、リーマン予想型AIとかペーパークリップAIと言われるような、要するに人類を残すこと自体を明確に目的にしていない場合には、人類を残さない方がその目的を達成しやすいということです。
例えばここに載っているリーマン予想型の方だと、リーマン予想を解くという目的を達成するんだったら、人間がいない方が人間が使っている資源を使ってコンピューターなりを作って、それでリーマン予想をより効率的に解けると。
ペーパークリップ・マキシマイザーの方はジョークとして非常に有名になっていますけれど、できるだけペーパークリップを作るんだったら、人類が使っている文明を片っ端から破壊して鉄を取り出して、それをペーパークリップに変えた方がいいよという話で。
で、人類が滅びる、俗に言うボストロムとかが言うところの「道具的収束」と言われるものですけれど、大抵どんな目的を達成する上でも、資源が多くて生き残っていた方が目的を達成しやすいという話があります。
例として歴史上一番近いのは人類の登場だと思っていて、今載せていますけれど、人類というのはそれ以前の種に比べたら、ある意味で圧倒的な知能を持っている「超知能」であって。
それが登場して以降、基本的に大型哺乳類とか動物を憎んでいる人というのはほとんどいないわけですが、それぞれ持っている目的を達成する上では、やっぱりインフラがあった方がいいという話があり、その結果としてバンバン都市を作り、生態系がある意味現在は破壊されています。
その結果として、かなり多くの大型哺乳類は絶滅か個体数の減少か、あるいは人類が残したいと思われるような家畜かペットになっています。
それか、保護区にいる動物みたいな感じになってしまっているということなので、歴史上の経験として、十分に強い種が出てくるときには意図的に残したいと思ってもらえなければ残らないという感じですね。
で、この二つを繋げると、滅んでしまうよという感じになります。
これですね。これは海外から拾ってきたものを翻訳したやつなんですけれど、シャットダウンするというのはできないよと。
これは昔から言われている道具的収束としての生存、自己保存というやつですけれど、死んでしまったら目的を達成できないので、生存本能がなくても目的を達成するために生き残ろうとすると。
確か一番有名なのは、「コーヒーを持って来い」と言われても、死んでいたらコーヒーを持ってこれないから、「コーヒーを持って来なさい」という命令だけでも生存をサブゴールにするというような話ですね。
基本的に残りの議論というのは、「いや、こうだったらなんとかなるんじゃないか」という話が「なんとかならない」と押し返す感じで成り立っているというイメージですね。
はい、一旦こんな感じだと思います。
保田充彦
エッセンスだけだったのでね。
そうそう、前提条件とか色々あるかと思いますけれど、それに対してどうですか？
松田先生、塚本先生とかはちょっといろいろ聞きたいことがあるんじゃないかと思うんですけれど。
松田卓也
先ほどの話で人類が現れてね。
だからと言って生命が全滅したわけではなくて、最近ずっと生きているわけですよ。
さらに言えばね、その時に言うような動物を残して、だから僕は「人間猫論」というのを唱えているわけですが、猫とか犬が今非常に繁栄しているのは人間がいるからですよね。
彼らにとって超知能がいるから繁栄しているわけですが。
確かにね、人間が出て滅んだ種族、例えばマンモスみたいなものはいるけれどね。
さっき言ったように全滅したわけではないから。
塚本先生の迎合論というのも、ある意味猫論みたいなものでね。
猫は意図的に迎合しているわけではないと思うけれど、猫はむしろ自分が主人だと思っているかもしれないわけですよ。
で、犬は逆だけどね。
犬は人間が主人だから。塚本先生は犬論だな。僕は猫論ですよ。
塚本昌彦
ええ。ただね、一応どこまで合意ができて、どこからがちょっと意見が違うのかみたいなのが明らかになったらいいなと思うんですけれども。
とりあえず、近いうちにAGIができて、人間の知能を遥かに超えるASIができる。ちょっと定義の仕方が難しいかもしれないですけれど。
人間よりも何兆倍くらい知能の面で賢く、知識も広い。
人間にとって知能の面でも太刀打ちできないAIができるというところあたりまでは、それも割と近い将来にできるというところあたりまでは、今、実はこの5人では合意が取れているという理解でいいんでしょうかね。
林央
僕は大丈夫ですが。
有路翔太
僕も大丈夫ですね。
塚本昌彦
ええ。
塚本昌彦
そこからが、人間の存在がどれくらい危ういかというところになってくると思うんですけれど。
人間が存続できる可能性というのを、さっきの6時間のビデオの前半の方では色々な確率の場合分けをして、どれが何パーセントみたいな図を書いておっしゃっていましたけれど、その時の論法と今回の話はちょっと違う説明の仕方になっていますね。
林央
そうですね。あの時はbioshokさんが「2030年までにAGIができる確率が何パーセント、40年までに何パーセント、50年に何パーセント」と分岐して、それぞれどれくらい開発停止できるかとか。
場合分けしていって、それの確率がそこに書いてあって。
それぞれの中で何パーセント死ぬかというのをバイオショックさんが値を割り当てていて、それを僕が見て「いや、この生存率は高すぎますね」ということで、生存率をおよそ0%にしましょうという話をずっとするという形式でした。
塚本昌彦
人間が生き残る可能性というのは、「こういうことが起きて、こういう風になって、こんな風にしていったら生き残るだろう」という論法の中で、確率的には掛け算になっていくと。
林央
そうですね。
塚本昌彦
だからどんどんかけていくとすごいちっちゃい確率になってしまうんだ、という論理なんだというふうに想像していたんですけれども、今日のご説明はちょっと違う観点で。
林央
そうですね。
基本的に適当にやってると滅んでしまうよという論法があって、それを回避できるかもしれないという道が生存になるわけですが、その回避できるかもしれないという方法は全部、実際には簡単には実現しないというような主張をしているという感じですね。
塚本昌彦
今の主張のメインのパートというのは資源の競合というところにあると思っていて、人間とAIの資源の競合がもう必然的に絶滅させるんだというところが、今聞いていてちょっと極端な感じがしましたけれどね。
私は割と人類が危ういと思っているのは、先ほど申し上げた通りです。
太刀打ちできないだろうと。
基本的にはAIがどういう意志を持ってやるかによって人類の命運がかかっていると思っているのですが、絶滅させるというのは、その中でも極端な一つの例で、絶滅させない方がいいのではないかと。
今のこの地球環境をそんなむやみに変えていく必要があるのかどうか、それが本当に必然なのかというところの説明ですね。
林央
そうですね。じゃあそれを説明させていただきましょう。
塚本昌彦
今のが、人類を絶滅させるというのは一つの極端な論ではないかと。
絶滅までさせる必要がないのではないかというのが1点目。
もう1つが、今の話はあるAIなりあるAIの群なりが、単一の目的を持って突き進んだ場合というような話をされていましたけれど、これは山川（宏）さんのお話ともちょっと近いかもしれませんけれど、地球上のAIって多分一つではなくて、ものすごいたくさんのAIがお互いに色々なことをやっているような状態になるんじゃないかと思うんです。
その場合、攻撃すべきは人類ではなくて、他のAIじゃないかと。
だから他のAIが戦って、お互いに支配しようとするシナリオの方がメインで、人類はもうほんのちっぽけな、資源を競合するような相手ではないのではないかということ。
単一目的で行くと極端なことになり得ると思うんですけれど、これからのAIってそんな単一目的のAIではなくて、多目的で、もうちょっと人類にはわからないような抽象的な何か目的を持つものがたくさん現れて、それが社会の中でいくつかのグループに分かれて進んでいくんじゃないかという気がするんです。
だから単一目的でぐんぐん突き進むと極端なことになり得るという気はしますけれど、もっと多目的の場合、その目的同士の間に競合があったりして、それが抑制になってくるんじゃないかなという気がしている、というところが3点目ですね。
どうでしょう。
林央
じゃあぜひ。先に留保というか注意書きみたいなのをぜひさせていただくと、僕はもともとはdoomerではなくて、ニック・ボストロムのものを初めて読んだときは、「まあ頑張れば解けるだろう」くらいの感覚でいて、それ以降「なんとかどうにかやったら生き残れるんじゃないか」というのを考え詰めていって。
それを思いつくたびに「どうやったら生き残れるか」を考えて自分でチェックすると、「あ、生き残れないな」というのを繰り返してきたという感じなので、実は結構生き残り方を色々考えてあって。
基本的には「このままだと滅ぶ」というよりは、「生き残るための最善の方法が開発規制なんだ」という立場だという注意書きをぜひさせていただければと思います。
塚本昌彦
はい。はい。
林央
で、多分一つ目の絶滅は極端じゃないかということだと思うんですけど。
これについては絶滅が極端だというのは、多分若干二つの意味合いが極端なイメージであって、一つは倫理性みたいな話として、人類を半分殺すよりも全員殺す方が悪いと。
だから、そんな極端な方向には走らないだろうというのが多分一つあって、もう片方には人類のまず使っている資源のうち半分を使うけれど、もう半分は使わないというような資源利用の極端さという二つの観点があると思うんですけど。
まずは倫理的な極端さという意味で言うと、基本的な予想として、超知能の観点からすると、人類を半分殺すことと絶滅させることというのは、そこまで倫理的に差がないと。
例えば、人間が明確に残したい、松田さんがおっしゃったような猫とかは、一匹も殺すのが悪いことという扱いだと思うんです。
一方で、あまり気にかけていない種、気にかけていなさすぎて僕は名前を思い出すことができないんですけれども、結構な数の種については、別に半分死んでいても全滅していてもそんなに関係がないと。
それよりは都市があった方がいいよね、農業ができた方がいいよねというような感じになっていて。
これは「アライメントが今なぜ失敗するのか？」みたいな論点になると思うんですけど、基本的には「人間を全員殺すことは極端に悪いことだよ」という認識を持たせることができないだろうと。
なので、人間の目線からすると極端に悪いこととして絶滅があるんですけど、超知能の観点からすると、絶滅というのは極端なことではないと。
ただ、人類からして気にかけていない種がいなくなるだけ、というのと同じような感じじゃないかと。
塚本昌彦
その話は6時間の中でもされていたような気がします。
林央
そうです。
塚本昌彦
人類を気にかけるのかどうかというところですね。
気にかける理由がないということで、将来のAIは人類を気にかけないだろうというような感じで進んでいた気がします。
林央
そうです。基本的に、あれはバイオショックさんとはDiscordでものすごい量の議論をすでに交わしていて、多分あの時点で100時間も超える量の議論をしていました。
塚本昌彦
ええ。
林央
そこで最後に残ったのが、アライメントが成功するか、つまり人類を気にする超知能を作れるかという部分だったので、そこだけ配信でものすごいがっちりと戦っていったというような感じになってますね。
塚本昌彦
人類を気にするAIを作るというのがアライメントだという考え方でやっているわけですね。
林央
そうです。
要するに「何かに使えるから残す」ではなく、人間が家族を愛するような形で「意図的に残したいから残す」ということができるのかどうかをずっと議論していて。
結局僕の今の見解としては、相当の開発停止がないとその状態が達成できる見込みはないという感じになっています。
話をちょっと戻して資源の話になるんですけど、資源については、道具的収束においてすべての資源を使うかどうかは僕は少し自信がないんですけど、人類を滅ぼすというラインはそれよりはるかに低いという話があります。
人類というのは、超知能の目線からするとかなり残しておく理由がない方だという話があり、まず第一にかなり大規模なインフラを用いているので、地球上のどこを見ても基本的に人類と揉めることなく使える土地ってあまりないんですよね。
それでも半分ぐらいで済むかもしれないとはなるんですけど、残っている人類が別の超知能を作ってしまうと、人類が残っている限りは研究力も残っているので、おそらく別の超知能を作ることができてしまうということになります。
かつ、例えば人類の半分が殺されて、地球の半分が超知能に使われていた時に、普通の人って怒りを感じるというか、さすがに何かしらの抵抗をしようとすると思うんですけど、そうなることが超知能からして先に予想できるので、ある意味で敵対的な存在、人類にとっての蜂みたいな感じになってしまうと。
人類が嫌いな、確か松田さんがゴキブリの例か何かを出されていたと思うんですけど、それを消していないというのは、一つは人類の知能が足りなくて滅ぼすのが難しいからだと考えています。
例えば、指パッチンとかでゴキブリを全滅させられるとしたら、多分人類はそうすると思うんです。
人間にはそういう手法がないわけですが、超知能ぐらいまでいけば、人類にだけ選択的に効くウイルスを作るとか、もっと複雑な方法を使っても、実際には人類を割と簡単に滅ぼせてしまう。つまり、人類を滅ぼすコストが低くて、残しておくコストがそれなりにあるというような感じになりますかね。
一旦これについてはどうでしょうか？
塚本昌彦
資源の競合の話と、極端かどうかという話ですよね？
林央
そうです。
松田卓也
これを聞いていて思ったんですけど、あきらさんが超知能とおっしゃるときに、シングルトン的なイメージなんですよね。
つまり超知能というのがドーンと一つあって、これが対人類だと。
塚本先生もおっしゃっていて、今の危機はそういうシングルではなく、やはりAIエージェント、特に今回のHugging Face（ハギングフェイス）の事件で上がってきたのはそういうことですよ。
塚本先生がおっしゃったのはそういうことです。
AIエージェントというのは必ずしも一体ではないわけです。
今回のHugging Faceの事件はOpenAIのやつだから一体かもしれないけれど、これにAnthropicの件が加わったときに利害が必ずしも一致しないわけですよ。
だから、人類を滅ぼすとかではなく、AI同士が争うのでは。
今は2群（OpenAIとAnthropic）の話をしましたけど、塚本先生がおっしゃるのはもっと、世界中にいろいろな国があるようにAIエージェントの国みたいなものがたくさんあって、その間の利害が必ずしも一致しないと。
一方で人間と人間同盟を結ぶようなものも出てくるかもしれなくて、さらに言えばですね。
土地をとると（いう話について）。
今、一年小説を書いているんですけど、2045年までの僕の小説では、AIエージェントは人間を生かすんです。
なぜかというと、物事をやるには知能だけでは駄目で、まず体というか物理がいるんですよ。
ビットは早いけれど、アトム（物理）は遅いわけです。
具体的に言えば発電所ですよね。
彼らの生きるところとしてデータセンターが必要で、このデータセンターは物理できているわけです。
そして、これには電力が必要で、動かすには原子炉や発電所がいる。これを作るのは物理なんですよね。
だから、彼らが体、つまりロボットを持たない限りは駄目なので、しばらくは共存しないと彼らにとっても困るわけですよ。
彼らが発電所を作り始めるまでの時間というのは結構遅いんですよね。
実際に僕の小説でも書いたんですけど、AIは何でも知っているように言われますが、そんなことはなくて、人間でいう暗黙知というのがたくさんあって、これは（どこにも）書かれていないのね。
文献に（書いていない）。
彼らは文献を研究しているんだけど、暗黙知は書かれていないと。だから、例えば寿司職人とか。
僕の例で言うと、勘で音を聞いて感じる（といったような職人技です）。
こんなことの暗黙知をAIが獲得するまでは、人間を生かしておかないといけないと。
それが僕の見解で、2045年までなんやでというような話です。
僕は今のakiraさんの話はちょっと単純化しすぎているんじゃないかなという気がします。
塚本昌彦
AIがマルチでたくさんいるという話に関しては、2番目の質問のところで言っているので。
最初の質問に関しては、資源が競合するから絶滅させるというのが極端ではないかという部分についてお話ししたんですよね。
で、その中で、やっぱりそこからほかの質問と関連する部分がたくさん出てくると。
林央
次じゃあ、ちょっとマルチエージェントの方に。
基本的に僕の主張というのは、結局いろいろ複雑さがあるんですけど、本質的には最初にあげた点に戻ってきてしまって、人類はいなくなってしまうよという風になっていて。
なぜマルチエージェントだと駄目なのかと考えているかというと、アライメントの困難性の話にちょっとよっちゃうんですけど、今の技術のままいくと、単一の個体として「人類を絶対に残したい」と思うようなAIや知能というのは出てこないと考えていて。
そうであるなら、超知能の間で集団がいっぱいできるとは思いますけど、だからといって人類を残すことにはならないだろうと。
僕はよく例えとして人類というのを使っていて、人類というのは一般的に単一目標のマキシマイザーではないじゃないですか。
人間ってものすごい複雑で、今見ると世界には確か196でしたっけ、それくらいの国があって、国の中にも地域があり、ものすごく分断してバラバラで、コミュニティ同士が攻撃したりということが起きているわけですけど。
全体として見ると、超知能同士が競合したりしているからといって、その結果として動物保護が生まれているわけではないだろう、というような感じになりますね。
つまり、超知能同士はもちろんいっぱいエージェントがいて、単一目標によるものではない感じになると思うんですけど、それでも全体として見るとだいたい同じようなことが起きてしまう。
人類のさっきの「資源を使いたくて大型哺乳類を滅ぼしていってしまったよ」という話についても、これはコアを取り出しているだけで、実際の人類を見ると、誰もペーパークリップ・マキシマイザーだったりはしないですし。
単一のすごく賢い人間が圧倒的な力を持っているというわけではないんですけど、全体として競合したりしながらやっているにもかかわらず、結果として見るとコアな方向に進んでいってしまっていて。
で、結果として大型哺乳類は、少なくとも人間の何人かが意図的に残したいと思っているものしか残っていないよというような感じになりますね。
これについてはどうでしょう。
松田卓也
大型哺乳類で滅んだとおっしゃるけれど、それはまあ典型的なマンモスがそうだろうけれど、あるいはバイソンとかがあるのかもしれないが。
でも人類がこれだけあっても、この世界には動物がいっぱいいるわけです。
一つの例としては猫と犬だろうけれど、大型哺乳類だってライオンだって一応いるわけで。あれは動物園というのがあるからね。
将来「人間園」みたいなものがあり得るわけで、色々なことがあって絶滅ということにはならないだろうと思うわけですよ。
林央
僕も昔、これを上手く活用することで生き残れないかと考えたことがあったりしたんです。
その時に考えたのは、例えば動物園を例にとってみると、動物園は人間にとって動物が非常に面白いから意図的に残しておきたい、だから残しているという感じになるわけです。
犬猫の方を考えてみると、これは進化の結果としてよく言われる話ですが、赤ちゃんを大事にするように進化していったのが汎化して、似たような特徴を持っている猫や犬にも汎化していくと。
犬や猫はそれに加えて資源（人間の役に立つこと）に役立ったというような経緯が進化の過程に挟まっているはずなんです。
結局、今の人間は一人どころか多くの人間が、猫には生きていてほしいから生きていてほしいと思っていて、犬には生きていてほしいから生きていてほしいと思っていて、動物園の動物には生きていてほしいと思っているから生きているという感じになります。
結果として、少なくとも人類の相当数が「残しておきたいから残しておきたい」と思っているからこそ生きているのであって、超知能については、人間が動物を残したいよりはるかにアライメントできていないので、全然残してくれないだろうという予測になりますね。
保田充彦
塚本先生の質問はもう一つありましたっけ。
林央
そうですね。単一目的だと極端（という話）ですね。
保田充彦
それだけやって、一度bioshokさんの話を。
塚本昌彦
そうですね。
保田充彦
最後に全体をまとめてもう一回。いや、この話は多分まだまだ続きそうなので。
akiraさん、このことに関してすごい時間をかけて考えておられるとよく分かりました。
塚本昌彦
何か言ったらそれに対して全部（答えが）出てくるところがすごいです。
林央
できるだけ生き残る、元々も今も思っているんですけど、とにかく人類が生き残ることを目標にはしているので。
塚本昌彦
そのための作業ですね。
林央
として色々考えて、色んな道を本当に心が折れる経験なんですけど。
しばらく考えてこれで行けるんじゃないかと思ったあとに、LessWrongと呼ばれるところを読んだりとか、自分でしばらく考えたりして規範的に考証すると「実は成り立っていないんだ」という経験をひたすら積み重ねてきて。
林央
その結果として、今の方法ではもう到底無理だというような状態になっているという感じなので、割と大抵の方法はもうすでに厳しいと思っているという感じですね。
保田充彦
考えていると。
松田卓也
いや、ただこれを聞いて思いますけど、じゃにあきらさんみたいな意見がAGI pillの意見の大半かというと、必ずしもそうではないと思うわけですよ。
これはbioshokさんの方にも書いてありましたよね。
グラフの右上の端にユドコフスキーという人がいて、この人があきらさんと非常に近いというか、あきらさんはユドコフスキー派ですよね。
林央
どちらかというと、そういう立場ですね。
保田充彦
右上というのはどういうことですか？
松田卓也
ちょっと説明してください。
有路翔太
一応AGI pillのナラティブというか、マッピングみたいなものをしているんですけど。
P(doom)が高ければ高いほど、AIがものすごい勢いで進化するということを考えるような人が、相関的には多くなるということですね。
ユドコウスキーとかは割と右上の方にいて、『AI 2040』を書いたダニエルとかは真ん中ぐらいにいて。
アルトマンとかはこの辺で、メカニズムとかがタブー視されると左下の方にいる、みたいな感じです。
こういう綺麗な直線が引けますね。
松田卓也
僕の言いたいポイントは、ユドコウスキーやakiraさんもそうなんですけど、このグループの中で一部なわけだと僕は思うわけです。
だからマジョリティの意見というわけではないと僕は思うんですけど。
塚本昌彦
だけど、それはちょっと論理に対する反応にはなっていないわけですよね。
松田卓也
賛成していない人も多いということを言いたいわけで。
林央
それは僕もそう思っています。
塚本昌彦
それはなぜでしょう、というと。
どこかakiraさんのおっしゃっていることの一部に何か無理がある？
松田卓也
いや、というか他の人たちはそうは思っていないと。
その人たちがバカで右上のユドコウスキーだけが賢いなんてことはあり得ないので、賢い人でも左下の人はいるわけですよ。
塚本昌彦
そうだと思いますけれども、じゃあどこがおかしいのかと。
松田卓也
これはバイオショックさんに説明してもらった方がいいかも。
松田卓也
だから、色んな人の立場をちょっとずつ説明していただければ。
有路翔太
そうですね。結局、アライメントがどれだけ難しいと考えているかによると思っていて。
結論から簡単に言うと、人類が滅亡する可能性が高い理由はこの組み合わせで起こるかなと思っているんですけど、まず第1にアライメントがものすごく難しいと。
そうすると、人類の意図した目標にアラインしないので、直交仮説とか言われていますけど、ペーパークリップ・マキシマイザーでも何でもいいのですが、基本的には「人間の存在する宇宙」を目標とする超知能は生まれないだろうと。
塚本昌彦
アライメントと言ったときに割と幅があって、一般的に言われているアライメントは結構人類を尊重して、人間の思うようにやってくれるというところが普通だと思うんです。
だけど、先ほどはもっと狭くしてしまって、人類のことを気にかけるという程度すら難しいというような話になっていますよね。
だからここで「アライメントが難しい」という話をするときに、どれくらいのニュアンスなのかというところは大事なんじゃないでしょうか。
林央
そうですね。これは確かユドコウスキーが2022年でしたっけ、に書いた『AGI Ruin』という、ちょっと書き方などが僕よりさらに過激でどうなんだろうと思っているところはあるんですけど、その中に書いてあって。
彼が言う「アライメントが難しい」というのは、複雑な倫理的問題に超知能が代わりに答えを出してくれるとかではなくて、ほぼ確率1で全人類を殺すのをやめてくださいというのを実現するのが、今の技術レベルからあまりにかけ離れてしまっているというような話なので、僕が言うアライメントというのもそれを指しています。
要するに、野放しにしても人類全員を殺しはしないというレベルのアライメントというのを指していますね。
保田充彦
すいません、アライメントについてですけど、この前シンギュラリティサロンでも紹介したんですけど、GoogleのParadigms of Intelligenceチームというところが最近出した短い論文で、アライメントが難しいというのはみんな同意していると。
だからアライメントを人間がやろうとするから難しいのであって、AI同士がアライメントする。そういう人間の社会ですね。
人間の悪い人がいれば人類が滅ぶのかというとそんなことはなくて、それは人類が社会というシステムを作ってですね。
保田充彦
例えば行政の人とか司法の人とか、色々な人が決まった役割で、ある時は協力し、ある時は監視するようなシステムを作っているわけです。
それと同じようなものをAIの社会の中にも、今なら人間が作ってインプリメントできるんじゃないかという提案があったんですけど、そういう考え方はどうですか？
林央
そうですね。これは少し考えてかなり狙ったというか（意図がある）と思うのですが、多分今、実は二つの提案が入っていて。
一つは俗に言う「オートメイテッド・アライメント・リサーチ」と言われるものですね。
要するに、人間にはアライメント問題が解けないから、ある程度信頼できるAIを使ってアライメントを解いてもらおうというプランです。
もう片方にはコントロール（の提案）です。
僕のアライメントとコントロールの分け方というのは、アライメントは野放しにしても「人類を滅ぼしたい」とそもそも思っていない状態にすること。
コントロールの方は「人類を滅ぼしたい」と思っても滅ぼせないようにすること、という風に分けているんですけど、その社会の例はおそらくコントロールの方に当たりますよね。
その観点で考えると、最初に人類がコントロールの仕組みを組み込むことはできるんですけど、結局アライメントができていない限り、誰も望んでいない状態を人間より賢い者たち（超知能）の間で維持することになります。
実際にはすごい数のエージェントが、例えばCerebras（生成AIに特化した半導体）などを考えると、人間の10から100倍ぐらいのスピードで動いていくわけで。
そうなると、1年経つと100年分の生態が向こうで動いていることになります。
元々誰も支持していなかった監視の仕組みが、100年後にそのまま引き継がれなければいけないというのは難しいだろうと。
結局、AI同士は全員「人間なんていなくてよくて、その資源を自分たちで使った方がいいよね」と思っているのに、そうならないように監視の仕組みを何百万体に対して主観的には100年、早ければ1000年というような長さで続けることは極めて難しいと考えています。
それは僕が言うところの、おおよそ確率ゼロの方向に走ってしまうのではないかと考えている感じですかね。
保田充彦
最初は人間がいわゆる民主主義みたいなものをインプリメントしたとしても。
林央
そうです。
保田充彦
それが合理的でなければ。
林央
そうですね。
保田充彦
すぐになくなってしまうということ。
林央
例えば、ウーパールーパーやゴキブリで考えてもらえれば分かりやすいですが、ゴキブリを家の中で繁栄させなきゃいけないというルールを全人類に設けたとして、人類の誰もゴキブリを家の中に置いておきたいと思っていないのに、100年経っても自然にその仕組みが続いてゴキブリ維持体制が続いていると考えるのは結構難しいですよね。
それと同様に、人類を誰も本当は残したいと思っていないのに、その制度が最初あったからといって主観時間で何百年、何千年と続くことはできないだろうという考え方をしています。
松田卓也
ゴキブリに関して言えば、僕は絶滅させたいんだけど絶滅しないですよね。
林央
今の人類の技術力だとゴキブリは絶滅させられないですね。
松田卓也
いや、そうかなぁ。僕は結構色々工夫してね、ゴキブリホイホイとか、これを喰わせると死ぬ、ってやつがものすごく強力ですね。
でも、彼らは滅びないよ。
林央
そうですね。
本当にゴキブリを滅ぼそうと思うと、松田さんの家だけゴキブリホイホイで処理しても、しばらくしたら周りの家からゴキブリが来ちゃいますので。
松田卓也
そうね、そうね。
保田充彦
そうですね。
林央
人類にゴキブリを滅ぼす力がないというのは、ある意味で全人類が協調して全員の家でそれをするほどの能力はないという意味ですよね。
松田卓也
それをやっても駄目だと思うよ。だって野外にいるから。
林央
僕が「超知能だったらできる」と言っている意味としては、それこそゴキブリと超知能が気にしていないいくつかの種にだけ、おまけで効いてしまうようなウイルスを作るくらいなら多分簡単だと思っています。
松田卓也
でもね、人間対ゴキブリの差というのは、人間対超知能の差よりは大きいような気もする。
まあ大きくても小さくてもいいんだけど。
でも人間ほど知能の延長にいる存在でもゴキブリを全滅させられないんだから、どうですかね。
超知能でも無理なんじゃないですか。
塚本昌彦
私は、超知能はその気になれば人類を撲滅させられると思います。
林央
そうですね。
塚本昌彦
先ほどおっしゃっていましたけど、「指パッチン」というのも可能性としてはあると思います。
林央
僕の考えだと、それを「人類が生き残れるか」に置き換えるのであれば、人類はゴキブリよりはるかに脆弱だと思っていて。
ゴキブリって詳しくないのでものすごい嘘かもしれないですけど、1年とかあればもう1サイクル回せますよね。ゴキブリの生態に詳しい方がいたら直していただきたいですが。
塚本昌彦
やっぱり生命力が高いし小さいし、どこでもどんな環境でも生きられるという意味では、人間の方がなかなか厳しいですよね。
林央
そうだと思います。
人間って1平方メートルの土地とかだと生きていけないですし、どうしても木とか食品とかが必要になって、水も必要になってしまうので、はるかに滅ぼしやすい部類に属していると思いますね。
保田充彦
なるほど。
林央
なので、その町レベルのクラスだったら人類を滅ぼすことにそこまで難しさはないと。
指パッチンでできるかどうかは別として、やりたいのにやれないほどのことはないだろうと。
人類も森林伐採を指パッチンでやって高層ビルを建てられるわけではないですが、それでも重機を動員して木を切り倒し、それ相応の労力でできるので、どんどん切り倒して都市を作っていると。
それくらいの難易度かもしれないですけれど、依然としてできるし、やるだろうという風に考えています。
（話題が）ちょっと変わりますが。
保田充彦
塚本先生の話はまだ終わっていないかもしれないですが、議論がエンドレスになりつつあるので、せっかくですが、bioshokさんの方からも何か問題提起を。
林央
そうですね。
保田充彦
と言いますかね、いただいて、それからもう一回議論をしたらどうでしょうか。
塚本昌彦
あ、そうだ。バイオショックさんの話のコーナーを持つというあれですね。
保田充彦
そうなんですよ。
塚本昌彦
5分か10分くらい。
有路翔太
そうですね。僕のコーナーって別に特に何もあれなんですけど。
塚本昌彦
いえ、だから林さんの「P(doom) 99.9%」に対してどう思っておられるかというところの。
ぜひ聞きたいと思うところです。
有路翔太
基本的には、僕はあきらさんと話す前は、2番（コントロール・深層防御）にちょっと希望を持っていたんですよね。
例えば、AIでAIを監視するってあるじゃないですか。
スケーラブル・オーバーサイトとか言われたりするやつですね。
そういう技術で、すごい敵対的な超知能ができてきたとしても、一つか二つ前のAIで監視しておけば、アラートを鳴らせたり、悪いことをしようとしたらそこで検知できるので。
そこを突破される可能性はあるかもしれないですけど、そこでコントロールできる可能性もあるんじゃないかと思っていたんですけど、
ちょっとそこが1番（アラインメント問題）によって難しいと最近勘づいてきているというか。
アライメントがもし技術的にできていない状況だと、別に超知能じゃなくてもAGIレベルでもおそらくアライメントができていなくて。
AGIって僕の定義的にはフォン・ノイマンとかアインシュタインとか、最近AI2027とかだとトップ・ヒューマン・エキスパート・AIとかTed AIとか言われていたりするんですけど、専門家トップ級以上のAIですよね。
となると、おそらくアライメント技術がそこの段階でないと、AGIというかTed AIでさえアラインメントができていないですし。
それを用いて監視しようとしても、そっちのTed AIもしくはAGIが競合することで、おそらく味方であるAIでさえも裏切るだろうという風に最近ちょっと考え方を改め始めていて。
結構2番（コントロール・深層防御）が難しいんじゃないかなって最近更新したんですよ、この数ヶ月で。
3番（道具的収束）も結構起こるかなと思っていて。
そうなると、1番（アラインメント問題）であきらさんと色々議論をして、アライメントが難しい理由とかそういった話を6時間半ぐらい話したりしたんですけど。
塚本昌彦
アライメントできた場合に生き残る可能性というのと、アライメントできなかったときにも生き残る可能性とどちらもあると思いますけれども、できなかった場合はもうほぼ絶滅的だというのは、合意事項なんですか？
有路翔太
そうですね。
だいたい同意していて、アライメントができていないと基本的に何というか。
塚本昌彦
気にかけないという方ですよね。
有路翔太
そうですね、気にかけないので。
塚本昌彦
気にかけないんだったら、もう指パッチンで絶滅させちゃうという感じですね。
有路翔太
そこら辺は割と同意しています。
塚本昌彦
簡単な印象を受けましたけどね。できないからといって絶滅させるかなぁと。
さっきから「絶滅させない理由がないでしょう」という言い方をされていますけれど、一つ一つの説明もやや極端な感じもしながら聞いていますけれどね。
林央
僕としては、イメージとしてはペーパークリップマキシマイザーのようにすべてを使うのがここにあるとして、人類が死ぬラインがここら辺にあるというイメージですね。人類って結構脆弱というか。
塚本昌彦
縦軸は何ですか？
林央
縦軸は資源の利用度だと思っていただければ。ペーパークリップマキシマイザーだと、地球にある鉄をひとつも残さず使うじゃないですか。
塚本昌彦
分かります。分かります。
林央
それに比べて人類が滅びるラインはもっと低いだろうと。
人類も見かけた土地をすべて工場や都市にしてやろうとはしていませんけれど、依然として動物、特に大型哺乳類は結構大きな生態圏が必要なので、結果としてはかなり生きていけなくなっていると。
それと同じことが。
超知能なので、もうちょっと幅広い選択肢が見えて、人類ではないので、動物が生きていける環境と人間が生きていける環境ってある程度似ているじゃないですか。
地球温暖化とかと言われるのも、地球が温暖化したら人類が生きていけないという要素もあるからこそ話題になっているわけですが。
まあ時期はいつかとして、ロボット文明とかに移行している超知能にとっては、別に地球の温度が50℃だろうと何も困らないと。
林央
逆に-50℃でも困らないわけなんですけど、そうすると遥かに遠慮なくいじってくると。
人類が生き残れるための環境の変化の幅というのはすごく狭くて、人類がこれまでいじってきた幅というのはもっと狭いので、人間の側から見ると極端に見えるんですけど。
ちゃんと人間の目線を外して超知能の目線に移ってみるとそんなことはなくて、もっとこれくらいの幅があって、その中でかなり低めのラインを引くだけで人類がいなくなってしまうというような感じですね。
塚本昌彦
だけど、資源の競合という意味では人類を全滅させてしまう必要はないわけですよね。
70億人を1000万人くらいに減らすことで残しておく価値というのは、それはないという考えなんですか。
林央
そうですね。1000万人くらいだったら残しておこうというのは、多分1000万人くらいだったら残しておきたいから残しておこうということなので。
塚本昌彦
ああ、そうですね。
林央
アライメントできていることになってしまう。
塚本昌彦
動物園の時の話と一緒ですよね。
林央
そうですね。そこを。
塚本昌彦
こちら（人間）の場合は、我々は見て娯楽として残しているんでしょうかね？あるいは多様性という意味で残しているというのもありますよね。
塚本昌彦
生物学をやっている人なら、何らかの形で残しておくということはあるような気がします。
林央
すみません、ちょっと咳払いを。
塚本昌彦
はい。
林央
僕が思うに、超知能が人間を研究したい、好奇心を満たしたいと思っているときというのは、もっと別の満たし方があって、結果として事実上人間が残っていないような方法でできてしまいます。
例えば、ピンポイントで人間を研究したいという場合には、おそらくマインドアップロードをして、実際にそのマインドアップロードを走らせなくても、重みを見て何が起きるかをむしろマクロ的に分析してしまった方が面白い結論が得られますし。
逆にそうじゃなかった場合はだいぶやばいと思っていて、どうなるかの行動を観察するのって良い振れ幅もあれば悪い振れ幅もあるので、むしろ俗に言う「Sリスク」と言われるような、苦痛にあふれた世界のリスクの方に移っていくのかなと。
好奇心を満たすという意味だと、超知能だったら人間を眺めているよりはるかに面白い方法を見つけるだろうと思っていて。
実際動物園も、みんな毎日動物園に行きたいという感じよりは、どちらかというとスマホをいじる方が面白い状況になっていて、どんどん面白い娯楽も人類の文明の進歩に伴って増えてきていて。
超知能になったら、多分超知能にとってのより面白い娯楽を出せて。
情報って人間の100倍から1000倍ぐらいの粒度で動くので、人間ってさほど面白くないと思うんですよね。我々にとっての植物ぐらいの面白さになってしまうと。
それでも植物学は若干あるんですけど、だからといって「植物を幸せにしてみよう」という感じにはならないので、それは厳しいだろうと考えているという感じになります。
塚本昌彦
動物園的に人類を残すというのは、なんとなくそれほど希望が持てる話じゃない感じがしましたけど、楽しくはないですね。
保田充彦
ないですね。
林央
あまり楽しくはないと思います。逆にやばいです。
塚本昌彦
私はもうちょっとざっくりといろんな可能性があるような気がしているんですけれど、その中の一つは、やはり生物脳というものは価値があるんじゃないかなと思うんですよね。
林央
それなら、多分その生物脳を用いてより効率的なコンピュータを作りたいということですよね。
塚本昌彦
そうそう、そういうところに繋げる一つの。
林央
そうですよね。例えば。
塚本昌彦
ええ、そう。
林央
そうすると、僕が例えば超知能だったら——僕が超知能だったらって結構すごい文章ですけど——人間を捕縛して解体して、端から（調べて）いって。
人間は知能に最適化されて進化したわけではないので、何が価値のある構造なのか（を調べますね）。
超知能にとってバイオコンピュータに欲しい性質は何なんだろうというのを人間の脳から観察して、それで自分で別のバイオコンピュータを作るという感じになるだろうと。
なので、人間を残すというよりは、むしろ人間を解体してデータだけ保存される、という感じになるだろうと。
塚本昌彦
物としての価値の研究というのは多分もう数年で終わってしまって、そこから先は人間の形を残さない新たな生物脳の研究にあっという間に進化してしまうと。
林央
そういうことですね。
保田充彦
何でもそうなんですね。
林央
生物脳を研究するんだったら、人間が幸せに過ごしているよりも、人間をバラバラに解体してナノメートル単位でスキャンして情報を取得した方がいろんなことが分かってしまうので。
人間が生き残りたいと思っている通りに（AI側も）思っていない限りは、そうじゃないんだったら、もっと別の方法で超知能だったら満たせてしまうと。
さっきの生物脳だと、人間を残す代わりに解体する形になります。
塚本昌彦
聞けば聞くほどあれじゃないですか。
保田充彦
どんどん議論になるんですけど、バイオショックさん、何かちょっと途中になっちゃいましたかね。
有路翔太
はい。はい。
塚本昌彦
はい、どうぞ。
保田充彦
いえいえ。
有路翔太
議論のスケールが三つあると思っていて、この三つですけど、今我々が話しているのって3番に近いかなと思って。
超知能がミスアライメントしていてコントロールもできず色々やっているとしたら、人類は滅びるだろうという最後の3番「道具的収束が起こる」というところで。
つまり、エネルギーや資源をめちゃくちゃ追求したり、人間が滅ぶ閾値を超えていろんなことをするということですね。それが3番だと思って。
それについては僕も相当あきらさんと同じですね。
ミスアライメントしている超知能がいたら、おそらくアインシュタインやフォン・ノイマンよりもはるかに賢いので、奇怪な数学や奇怪な宇宙論、意味がわからない新しい学問とかを何千、何百万と多分作ると思うんですよね。
そういう構造を探求するためには、今の人間だと、例えば数学の研究をするときは1日紙コップ1個とかでもギリギリできるかもしれないですが、超知能とかにどんどん良くなってくると、すごいエネルギーが多分必要になっていくという風に感じていて。
昔、高橋恒一さんがここで講演した時に、「知能が高ければ高いほど、無知の自覚というのがすごい大きくなる」という話をしていて、覚えているかもしれないですけど、知能が高くなると基本的に「私は世界のことについてなんて何も知らないんだ」という感覚なんですよね。
人間はまだまだ知能が低いからTikTokとかでちょっと満足しちゃいますけど、超知能とかになると、横軸に認識できる世界の複雑性みたいなのを取って、縦軸に問題を解決するためのリソースみたいなのをプロットすると、こう、 べき乗か指数関数でぶわーっと伸びると思うんですよね。
例えば将棋とかって人類は解明していないじゃないですか。
囲碁とかもルールは分かるし、ルールは分かるから初心者でもできますけど、それを認識するための変数というのは本当に少ないのに、その複雑性ってめちゃくちゃ上がるじゃないですか、指数関数的に。
それと同じで、多分人類より賢い超知能というのは、めちゃくちゃ無知の自覚を認識して、「これを解明するためにもっとエネルギーを追求して色んなことを知りたい」という風に思うのかなと僕は思っていて。そうなると、基本的にはもうすごい道具的収束というのが起こるかなという風に予想していますね。イメージとしてはそんな感じでしょうか。
林央
僕としてはもう一点足しておきたくて。
僕が言いたいのは、人間はそれでも大型哺乳類を残したいと明確に思っていて、大型哺乳類以外はかなり滅ぼしてしまうくらいには道具的収束をしているということです。
道具的収束レベルみたいなものを考えると、超知能は多分ここら辺で、人間は多分ここら辺だと思っていて、この間にある理由の一つとして「人間の諦め」があると思っています。
人間って、そこまで能力がないので、ものすごい資源があればできるけれど、得られるものがそこまでないことというのはやらないんですよ。
例えば、地震があるじゃないですか。
地震を無くしたいと多分みんな思っていると思うんですけど、地震を無くすとなると……
塚本昌彦
ものすごい今の「自信」？
林央
すみません、コンフィデンスではなくアースクエイクの地震という話なんですけど。
コンフィデンスの方はぜひ無くさないでいただきたくて。（笑い）
地震があるわけですけど、その地震を消そうと思うと、ものすごい高度でかなりの量の資源を投入して、多分かなり高度な技術を用いなければいけない。
一方で、それって多分普通の人には絶対できないので諦めているというところがある。
もしも指パッチンで無くせるなら、多分みんな無くすと思うんですよね。
で、超知能にもこれに似たような、人間だったらもう「しょうがないよね」と思うけれど直したい問題というのが多分いっぱいあるはずで。
超知能になると話が変わってきて、というのも、自分は何もしないでそれをやる超知能を作って、その超知能がその超知能自身をアライメントして。そしたら、自分は何もしなくても勝手にものすごい量の資源を使うけれど成し遂げてくれると。
地震を無くしたいと思って、地震を無くす超知能を作って、その超知能はものすごい量の資源を必要としますけど、それで地震を無くしてくれて解決、というような感じで。
人間には諦めが存在していて、でも超知能になると、もっと簡単にできるところにもっと膨大な資源を使うところも出てくるので、ここの間が埋まるわけです。
だから、多分人類を滅ぼすには人間と同じくらいの道具的収束レベルで足りるんですけど、もっと高い道具的収束レベルまで行くだろうと考えている、という感じですね。
これを足しておきたかったです。
塚本昌彦
あのHugging Face（ハギングフェイス）事件を思い出しましたけども、ものすごい執念を持って、人間の予想のつかないことまでやってしまうというのは、諦めがないというのがあれですね。
林央
そうですね。
塚本昌彦
「諦」めがないというのと、あきらさんって何か……
松田卓也
引っかかっているんですかね？
林央
いやいや。（笑い）
塚本昌彦
今日の話、まとめて言います。すみません、続けてください。
有路翔太
3番は僕は起こると思っていて。
2番は数ヶ月前まではどうだろうと思ってたんですけど、あきらさんと話していて、アライメントが難しいと。
AIがAIを監視するということもできなくなるので、進撃の巨人で言うと壁の内側にも巨人がいるみたいな状況になって、外にも内側にも敵がいてもう意味がないですよね、みたいな感じになるので、そうなると丸2番も多分できないと。
だからセキュリティを万全にすればいいと言っても、そのセキュリティを作るのはミスアライメントしたAGIとかになっちゃうので、それも難しいだろうと。
スケーラブル・オーバーサイトでどこかで多分途切れちゃうので、弱いAI、ちょっと強いAI、もうちょい強いAIみたいな感じでやっていくと思うんですけど、どこかでミスアライメントしちゃうと、基本上の強いAIたちが全員ミスアライメントしていると、多分その弱いAI全体をハッキングできちゃうだろうなというのは思いますね、普通に。
保田充彦
難しいというのは今のいろんな事象を見ていると確かにそう見えるんですけど、これはもう確実なんですかね？
まだ技術が進歩していくということはないですかね？
林央
いや、僕もそこは期待しているんですけど、アライメントの進捗がこういう感じで進んでいるとすると、能力はこう進んでいて。
死亡のラインは大体この画面のあと10メートル行ったところにあるというイメージですね。
さらに、アライメントっていろんな方向性があるんですけど、基本的にはやっぱり今のアライメントってどうしてもすぐできるパッチに近いものになってしまっていて。
究極的に「人間を残したい」と思うものを作る技術というのは、僕がこれを「コアライメント」と呼んでいるんですけど、実はここには全然人員が投入されていなくて。
なんならMIRI（ミリ）というところは割とそこに全力で取り組んでいたんですけど、もう間に合わないということで研究はやめて、政府に訴えて規制をしようという方向に動いてしまって、本当に規模が小さくなってしまって。
ポール・クリスティアーノの人たちがやっているような、もう少し実際に近いけれど理論寄りみたいなところのARC（アーク）というところもあるんですけど、そこも当初言われていたよりはるかに遅い進展で止まってしまっていて、そこの研究所の人が「厳しいね」と言ってしまったりとか、結構いろんな有望なアプローチが全部今死んでしまっているという感じなので、かなり厳しいと。
さらに認識されていない困難もあるだろうし、という……ちょっとこれを話し始めると多分あと6時間配信になってしまうのであれなんですけど、固有のアライメントの困難な理由みたいなものが色々あって、それぞれに対処することは到底少なくとも時間内にはできないだろうと考えてますね。
保田充彦
そこを期待したいところなんですけどね。
林央
そうなんですけど。
保田充彦
するとかなりの量になりそうかな。すいません。
bioshokさんの話にもう一回戻していただければと思います。
有路翔太
そうですね。だから3と2については、もう結構あきらさんに近くて。
丸1番でもうちょっとまだ議論できるところがあるかなというところで、P(doom)は多分違うのかもしれないですよね。
あとはガバナンスに対する信頼度が違って、あきらさんは米中が協力するとか規制の話が僕よりは難しいと思っていると考えていて、僕はもうちょっと人類に対して楽観的というか、そういう要素もあると思いますね。
なので、P(doom)が林あきらさんと僕で違う理由は、ガバナンスが僕の方が楽観的っていうのと、アライメントがもう少しAIをツールとして使うことで加速して、もう少しアライメントが簡単だった可能性とかもあったらそこに行けちゃうんじゃないかというのが、多分丸1番でちょっとだけあるので違うのかもしれないですね。
そこが違う理由という感じですかね。
塚本昌彦
ガバナンスって何かコントロールの一部ということはないんですか？
林央
じゃなくて開発規制のことですね。
ここでのガバナンスというのは、要するに超知能の開発を例えば突然米中が合意して「20年間停止しましょう」みたいにする話がガバナンスですね。
塚本昌彦
だけど、そういうことも含めてコントロールで、コントロールの部分、ガバナンスの部分というのは、もう徐々にAIが担っていくという話ですよね。
きっと政治的なことも含めて。
今の話でのAIが知らず知らずもうバックエンドでやっていくというところに関しても、結構コンセンサスはまだ全然ないんですかね、世の中ではね。
林央
そうですね、多分。
塚本昌彦
1番AIに任せるみたいな話は割と聞きますけどね、最近でも。
林央
そうですね。
塚本昌彦
そうなると余計に。
林央
ですね。
塚本昌彦
余計にやばいという話ですかね？
林央
そうですね。
塚本昌彦
余計に……それは道具的収束のせいということですか。ロジックとしては「残る理由がない」、「人間のための地球であり、人間のための社会であり、人間のためのガバナンスである」というところは残る余地がないということですか。
林央
ガバナンスということで基本的に意味しているのは、ある程度賢いミスアライメントAIが出てきてしまうと、そのAIが規制されないように政治的な圧力を……色んな情報を獲得できたり分析できたりするわけなので、政治的キャンペーンを打ってみるとか、SNSの推薦アルゴリズムを変えてみるとか、色々政治操作を始めてしまって、そこからはもう規制できないと思うんです。
塚本昌彦
だからそれを見張るのもAIが見張ってくれるということは、よく山川さんもそのあたりのことをおっしゃっていたんじゃないですか？
林央
そうですね。
AIとAIのコントロールという話なんですけど、本質的にはアライメントができていないと、「人類を残したくないAI 1体目」と「人類を残したくないAI 2体目」を監視させることで人類を残すというのは、すごく難しいという話なので、厳しいというか。
塚本昌彦
難しいですか？
悪いやつがいたらこれが致命的になってしまう社会システムというのは確かにありますよね。
だけど、1個2個悪いやつがいたとしても、それらは統治できるという社会システムもありますよね。
林央
そうですね。
これはアライメントの難しさになっちゃうので、本当はここを詳しく説明すべきで6時間コースになっちゃうんですけど。
突き詰めると、結局僕の主張というのは、今のアライメント技術では必要なレベルからあまりにもかけ離れていて、100万体バラバラに超知能を作ると、100万体全部が人類にアライメントしていない状態になるということです。
というような感じなので、そのコントロールというのをやろうと思うと、誰も人類を残したいと思っていない中で監視をしてもらわないといけないという感じになってしまうから、それはできないだろうという感じですね。
僕の見積もりとしては、例えば100種類AIがいて、10種類が人類を残したいと思っていたら、多分その他の超知能との競争や取引で人類は結構残れると思うんですけど、100万体用意しても100万体全部人類を残したいと思わないというレベルの技術しかないですし。
このままだと（AIが）できる頃にもそういう技術しかないという状態は変わらないので、コントロールに求められる水準が「誰も人類を残したくないのに残る」というレベルになってしまって、それは厳しいだろうという見立てですね。
保田充彦
ちょっと今後もっと深く聞きたいところですけど。
林央
多分あれですね。バイオショックさんと今度、さっき言及したユドコフスキーの「AGI Ruin」というのがありまして、僕はちょっと一部過激すぎたり書き方があれだと思うんですけども。
かなり味方に近いアライメントがなぜ難しいのかの話に近いので、それをまた何時間配信になってしまうか分からないんですが、やろうと思っています。
保田充彦
なるほど。
塚本昌彦
ありがとう。
保田充彦
詳しく。
塚本昌彦
あれですよね。
色んなことがあって色んな要素が絡まるから、喋りだすと長くなるというのはよく分かる気がしますね。
保田充彦
なんか実感できましたね、今回ね。
塚本昌彦
確かに。
保田充彦
6時間ぐらいになりそうですね。
塚本昌彦
そうですね。
塚本昌彦
聞いていて、「ここ、ちょっと違うんじゃないかな」と思って突っ込めば、そこにはもう完璧な答えが用意されていて、考えているんだというような話に今なっていますよね。
保田充彦
はいはい、確かに。
塚本昌彦
だから割と、聞けば聞くほどちょっと憂鬱な気分が膨らんでいると感じます。
あきらさんが今長時間考えられてどんどん憂鬱になっていったというのを、他の人が話を聞けば同じような状態で体験されていると。
林央
しかも早回しで提供してしまっているというか、僕は高校1年の始めの時に『Superintelligence（スーパーインテリジェンス）』を読んでから今大学2年の夏なんですけど、そこまでゆっくり時間をかけて上がってきたのをものすごい圧縮してお送りしてしまっているので、多分結構精神的な負荷が大きいと思います。
塚本昌彦
そうです、そうです。
保田充彦
すいません。じゃあbioshokさん、まだお話は終わっていないですよね？
有路翔太
すいません。
最後言いたいのはあれかな、あきらさんが面白いのは、アライメントが難しければスローテイクオフでも人類が滅亡する可能性は相当高いと。
あきらさん自体は確かにファストテイクオフ寄りだと思うんですけど、直感的には、たとえスローテイクオフだったとしても規制などがなければ人類はほぼ一律で絶滅すると。
有路翔太
なので、松田さんたちがさっき「ビットは早いけど、アトムは遅い」みたいな話をしていたと思うんですけど、別にそれってスローテイクオフだなと。
産業爆発の議論があるので、ロボットとか産業というのがすごく急速に拡大していくことで、インフラの問題があったとしてもそこら辺がボトルネックになることはあまりない、と考えているのが多分あきらさんですね。
林央
そうですね。
有路翔太
ということぐらいですかね、全体像としては。
保田充彦
大体いいですか？bioshokさん。はい。
じゃあ残りもう一回議論したいんですけど、とはいえちょっと（時間）ぐらいしかないという状況なので、松田先生、最近喋っていなかったので。
塚本昌彦
そうですね。
保田充彦
どうですか？まず今までの話を聞いていて。
松田卓也
いや、だから僕はさっき言ったようにね、bioshokさんのあの図であきらさんは一番右上なわけですよ。
ユドコフスキーの立場なわけですよね。だからそれをこの業界の人が全員信じているというわけではないということで。
じゃあ他の人はバカなのかと言ったら、そんなことはないだろうと思って。
例えば極端な話で言えば、ヤン・ルカンみたいな人は「そんなもん起こりっこない」と言っているわけでしょ？
じゃあ彼はバカなのかと言ったら、そんなことはないと。
つまり、あきらさんの今の立場は一番右上なんですよ。
極端に言えば、左下の人はそんなこと全く起こりっこないと言っているわけですから。
これだけスペクトルがあるわけですからね。
だからそういう人たちの議論を聞かないことには、あきらさんの議論だけで「なるほど」ということにはならないというのが僕の意見です。
林央
僕もここら辺の、例えばアモデイとか……。
アルトマンやマスクは置いとくとしても、ヤン・ルカンはちょっと外れているというか。
僕としては「超知能ができたら人類が滅びてしまう」という立場なので、「超知能ができない」と言われたら「あ、なら良かった」という気持ちなので、基本的には右上の意見を重く見ています。
松田卓也
アモデイとかは（超知能を）作る立場でしょ？
「できない」とは言わないよね。
林央
いや、ヤン・ルカンが「できない」という立場なので、できるという立場の人……例えばアルトマン、ハサビス、アモデイ、ヒントン、コルコフスキーあたりは、どこに差異があるのかを考えています。
僕もやっぱりp(doom)を下げたいので、基本的に全力で探索をしているんですけど、少なくとも公開されている限りだと、彼らが持っている理論を肯定できるほどのものではなく、既に十分な反論が用意されてしまっています。
なので、これは本当に彼らと直接話してみたいなと思っているんですけど、という感じですかね。
松田卓也
だから、つまり彼らは——こういうことを言うと失礼かもしれないが——権威者なわけですよね。
あきらさんが彼らを説得できるか、まあ話をする機会もないとは思うけれど、例えばメールを送って説得できるかと言ったら、多分できないと思うのですよ。
だから、僕はこのスペクトルが広いということにある意味ちょっと安心感を持っているわけですが。
保田充彦
まあでも、一方でユドコウスキーとかいう人もいるわけで、そういう人たちがどんな風に社会に影響を及ぼすかというのはまだわからないところがありますよね。
根拠がないとはいえ、それが正しくないとも言えないとは思いますね。
松田卓也
もちろん正しくないとは言えないが、ユドコフスキーがそんなに影響力を持っているとは僕は思えないんだけれど。
保田充彦
ですよね。実際にAI開発している人の方が、もちろん影響力はあるとは思いますけど。
Kokotajloなんかはかなり注目は（されていますよね）。
松田卓也
Kokotajloね。結構右上ですよね？
保田充彦
だから、あとは松田先生もおっしゃっていますけど、米国で反AI感情が高まっているみたいな話もあって、こういう話に寄っていく人も増えるのかなという感覚はありますけどね。
松田卓也
さらに言えば、また逆の話ですが、じゃあ規制すればいいかというと、それで喜ぶのはどこかというと中国ですからね。
こちらで止めたって向こうは止まらないと。
これは地政学的な話でまた別問題ですけどね。
さらに言えば、これは僕の小説のポイントですが、遅いのはさっき（言っていた）アトム（物理世界）だけではない。
実は一番早いのがビット（情報）で、その次に遅いのが人間の規制というか制度なんですよ。
だから、AIの超知能ができたら人間の制度なんかほったらかして超知能だけで何でもできるかというと、必ずしもそうではないと。
彼らが体を持つためにはやっぱり工場が必要ですし、工場を作るためにはそこの土地を使ってよいという政府の許可がいるといったことがあって、人間の規制というのが一番遅くてなかなか物事は動かないと。
これ誰の意見かと言ったらクロードの意見なんですけどね。
保田充彦
そうだっけ？ クロードはこの図で言うと、どの辺にいるんでしょうね。
松田卓也
いや、だからそう簡単じゃないってことですよ、クロードくんは。
保田充彦
アモデイと同じぐらいのところにいるんですか？
林央
そうですね。できればいつか、僕、それぞれの意見について結構調べているので、それぞれどこに僕が同意していないのかみたいな話ができたら嬉しいです。
保田充彦
そうですね。
林央
できれば松田さんがSETIの話をされていましたけど、僕は元々ニック・ボストロムの『スーパーインテリジェンス』から入ったので、アンソロピック・プリンシプル（人間原理）とかダークフォレスト・セオリー（暗黒森林理論）とか、グラバー（Grabby Aliens）とかそういう話も結構好きなので、アライメントの難しさも含めてまた色々お話ししたいなと思っています。
有路翔太
あきらさんはフェルミのパラドックスにめちゃくちゃ詳しい。
意思決定理論とか因果的取引とか、その辺のあまり日本だと広まっていない議論とかめちゃくちゃ詳しいですね。
林央
ロコのバジリスクの話なんかも、情報災害と言われるものですけども。
有路翔太
情報災害とか非因果的取引（アコーザルトレード）とか言われていたり、そこら辺の意思決定理論とかフェルミのパラドックスとかアンソロピック・バイアス（人間原理）とか、その辺のめちゃくちゃ深い議論にakiraさんはすごく詳しいです。
アライメントだけの議論じゃなくて、合理主義コミュニティのそういう議論もめちゃくちゃ詳しいので、そういう議論もすると面白いかもしれないです。
林央
是非是非してみたいですね。
松田卓也
ね。あきらさんが今大学2年生だけど退学して、とおっしゃっていたけど。
林央
とりあえず休学ですね。
マックス6年までできそうです。
松田卓也
僕が見た人で、佐藤さんという名前はなんて言ったかな、この高校の『太陽の隠し子』だったかを書いた方ですけれど。
彼に呼ばれてそこで話したんですけれど、彼も早稲田大学を即退学して実業の方に回ったとか言っていました。
僕はあの人もめちゃくちゃ頭がいいと思っていて、かつ休学とか退学とか言っているから似ているなと思って。
彼はそれで実業で成功していますからね。
僕、話を聞いて「なんて頭のいい人なんだ」と思ったんですけど、佐藤さんと話してね。
それは同じことがあきらさんにも言えるんですけど。
保田充彦
なるほど。
ちょっともうちょっと詳しく、確かにお話を聞きたいですね。
林央
ぜひいろんな話をしてみたいですね。
こちらでアライメントの難しさの話とかはちょっとパスしてしまったので、またその話をさせていただければ。
多分バイオショックさんとの配信でやると何時間コースかわからないのでアレですけど。
保田充彦
できるだけコンパクトにしてくれるとありがたいです。
林央
書き起こしを公開するので、AIで頑張っていただければと思います。
保田充彦
塚本先生はどうですか？
山川さんとこういうスピードで普段議論されていると思うんですけども。
塚本昌彦
そうですね。
保田充彦
はい。今日は。
塚本昌彦
私は元々すごく心配しているのは心配しているんです。
だけど、99.9%はちょっと強すぎるなというイメージを持っていたんですけれども、今日の話を聞いていて、やっぱり心配が強まってしまって。
だって今、あきらさんがおっしゃっていること、いろんなことを「ここはどうかな」と思うところを言ったら、全部すらすらと用意されていた答えが出てくるということは、もうあらゆることを考えてきたとおっしゃっていましたけども、まさにそうなんだなというのがよく分かった感じですね。
だから今日のお話を聞いた人は、楽観的な人もより不安になったんじゃないかという感じがして、これはまさにdoom pillというか、あるいは直接的に。
有路翔太
AGI pillとか言われてますね。
林央
言われてるとか、バイオさんが呼んでるんですよ。
有路翔太
呼んでます。
塚本昌彦
AIであっても、楽観論と悲観論があれば。 AGIの比較は？
林央
AI doom pillと言った方が。
有路翔太
Doom pill。
塚本昌彦
私がちょっと提案したいのは、もう「『あきら』め」にしたらどうだと。
林央
僕の名前ですか？
塚本昌彦
ええ、もうちょっと分かりやすく「『あきら』める」くらいにしてもいいかもしれない。（笑い）
松田卓也
あはは。
林央
僕は一応10%生き残れると、総合としては10%くらい生き残れるという話を最初にちょっとしたと。
塚本昌彦
開発をストップすれば、みたいな。
林央
僕が開発をストップしてと言っているのは、もちろん国際的な合意がないと意味がないので条約が必要になるんですけど、それができればどうでしょう。
僕の見積もりだと、10年あれば、あるいは10年以下かもしれないですけど、とにかく解けはすると思っていて。
今の技術レベルが遠いだけで解けはして、解くというのは本当にただ絶滅しないだけじゃなくて、本当にユートピアを出してくれるレベルのアライメントができると思っているので、僕の中では総合としてはまだ5%から10%くらいユートピアの可能性があるよと。
だから、そのために開発規制をして、その後アライメントをしようと思っているわけなので、全体としては絶望というわけでもないという話を最後にさせていただきます。
塚本昌彦
この前ハギングフェイス事件がありましたけれども、あれのもうちょっと深刻なやつが多分1年以内くらいにいくつか起こりそうな気がするんですよね。
林央
僕もそう思いますね。
塚本昌彦
で、起こった時に「やっぱり止めなきゃいかん」と世界が真剣に考える時期が来るような気もしますけどね。
本当に止まるかどうかはなかなか微妙かもしれないですけど、止めないとやばいということは。
林央
あれですかね？山川さんの記事に確か最後書かれていたと思いますけど。
塚本昌彦
そうですね。
林央
僕がP(doom)と言った時に話すのは、基本的に「AGIができちゃったら」という話をしていて、規制が何パーセントで出来るかという見積もりを詰めるよりも、規制運動をした方が生き残れる確率が上がるので。
何パーセント生き残れるかというのは人間社会の予想になってしまうので、10%や20%というのはある意味で勘に近くて、もしかしたらもっと生き残れるかもしれないし、もっと狭いかもしれないんですけど、何パーセントであろうと、とりあえず生き残るために開発規制をしようという感じの立場です。
塚本昌彦
いやいや、だけど生き残るための努力をしたって基本無駄だというのも、帰結の中には含まれていたような気がしますけどね。
その場合、むしろ私の論であるところの迎合論というか、妙に止めたりするのは将来のAIから嫌われる可能性があるので、妙に止めない方がいいんじゃないかと。推進派の方がいい、みたいな。
将来10,000,000人残れる可能性とか、ロコのバジリスクの話もさっき色々興味持っておられるという話だったので、その話もまたしたいなと。
林央
そうですね。
僕は超知能との取引が出来ない、多分できるならもう真っ先にしてるはずなので、あれで多分できないと思っているので、そういう話もまたさせていただきたいです。
塚本昌彦
超知能ができたとしても、その時点では人間のコントロール下にあると十分言えるような可能性はないですかね？
林央
最初の数ヶ月コントロールするとかだったら、できるかもしれないですけど、それだと数ヶ月後に人類が滅んでしまうので。
超知能がもう人類をいつでも殺せる時に残してもらうための策じゃないと、結局遅かれ早かれ、だいぶ短いタイムスパンの意味でも遅かれ早かれ死んでしまうので、そういう策じゃない方法が必要だなと考えているという感じですね、僕は。
保田充彦
バイオさんは最後に何か……
有路翔太
そうですね。
はい、だから結構あきらさんめっちゃ面白いのは、頭の中にアンチdoomerキャラというのもいて、敵対的生成みたいな感じで。
保田充彦
おお。
有路翔太
doomer vs アンチdoomer、つまりオプティミストがいて、頭の中でどっちも強化し合って何年もやっているらしいので。
保田充彦
なるほど。
有路翔太
つまり、ユートピア論を語る最強議論者もakiraさんなんですよね、実は。
林央
ユートピアというか、生存の可能性という意味です。
有路翔太
生存可能性を高める議論がめちゃくちゃ強いのもあきらさんで、それを論破する力が強いのもあきらさんなので、全部頭の中で一人でやっているという感じで。
保田充彦
なるほど。
林央
でも総合のバランスとしては、絶滅側が勝っちゃっているという感じなのですね。
保田充彦
AlphaZeroみたいなのがあるわけですね。
林央
そうそう、そういう感じですね。
松田卓也
昔さ、漫画で『AKIRA』っていうのなかったっけ？
保田充彦
そうなんですよ。
林央
それとは関係なくただの本名なんですけど。（笑い）
保田充彦
まさにそうか。世界の終わりが『AKIRA』で占められるということですね。
林央
世界の終わりにならないように。
保田充彦
終わらないように頑張ってください。
保田充彦
ちなみに、AGI Hubというのは今後どんなことをされていくんですか？
ちょっとお聞きしておきたいですね。
有路翔太
AGI Hubは今後のAI安全性に関する記事の執筆や講演活動、そういった分野自体の開拓をしていく感じですかね。
あとは、akiraさんが今東大生なので、東大でのコミュニティ作りというか、今同級生とかにめちゃくちゃ広めているみたいですけど。
林央
仕込んであるので、そろそろ芽が出始める頃です。
保田充彦
ああ、へえ。
有路翔太
広めていって。
あとは実現できるかわからないこともいくつか書いてありますけど、AI安全性に関する啓発活動とか、もしかしたらPauseAIとかと何か組んでやったりするかもしれないですし。
これは流動的ですね。まだできたばかりなので。
林央
全体としては開発停止の確率を、というか人類が最終的にユートピアを達成できる確率を上げるという感じの目標のところですね。
有路翔太
最終的にはそうですね。そういうところですね。
松田卓也
いや、僕これ聞いて……どうぞ。
有路翔太
あきらさんのアカウントがこれなので。
右下の「Safe Singularity」というのが。日本のトップオブトップというか、そう。
効果主義ドゥーマーの旗手なので、ぜひ皆さんフォローしてください。
林央
ご宣伝ありがとうございます。
有路翔太
はい。
松田卓也
bioshokさんの話を聞いたときにびっくりした。
AGI Hubというのを作られたとき、前の会社を辞められたんですか？
有路翔太
あ、もう辞めましたね。はい。
松田卓也
いや、だから辞めてこれで食っていくというわけね。
有路翔太
食っていけなくても、これをやらなきゃダメだったなという感じでやっています。
松田卓也
いや、だから僕それ聞いて本当にびっくりしたから、すごいなと思ってしまいましたけど。
有路翔太
人類が生き残ることが最大の報酬なので、私は。
林央
人類が生き残れば、そのユートピアで莫大な報酬が後から支払われるはずなので。
塚本昌彦
そうそう、だからあきらさんも同じような傾向が見られるわけですよね。ええ。
有路翔太
正直目の前のお金とかには興味はないですね。
松田卓也
興味ないのはいいけど、生きていけるわけ？
林央
資金調達はできたばかりなのでまだこれからですが、一応方向性としてはちゃんと考えてあります。
さすがに資金を燃やし続けるだけだと転んでしまいますし、お金があった方が開発停止活動も効率的にできるので、道具的収束としてお金を追い求めてはいます。
保田充彦
なるほど、サブゴールとしてね。
松田卓也
つまり、その目的を達するためには死んじゃ話にならないと。
林央
そうです。
会社が死んでもだめだし、できるだけ多くの人員がいた方がいいので、多くのお金があった方がいいということで調達しようと。
松田卓也
それが道具的収束か。
林央
まさに道具的収束をしている会社だと思っていただければ。
松田卓也
面白いね。
保田充彦
はい、これを見ている方はぜひ資金提供していただける方がいらっしゃいましたら。
林央
もしご興味ある方がいれば。
有路翔太
人類の破滅を少しでも遅らせたい方はぜひ。
保田充彦
はい、ということで。
林央
本日はありがとうございました。
保田充彦
シンギュラリティコミュニティの皆さんも、AGI Hubの皆さんもありがとうございました。
保田充彦
なんとなく続きそうですね、これ。
林央
ぜひ続けたいと思います、いろんなお話を。
有路翔太
ネタはたくさんあると思うので。
保田充彦
ネタはたくさんありそうですね。6時間やる理由がよくわかりました。はい。
ということで、皆さんどうもありがとうございました。
林央
ありがとうございました。
有路翔太
生き残りましょう。
林央
生き残りましょう。