AGI Hub公式YouTubeで2026年11月7日に配信した討論を、AGI Hub編集部が書き起こしました。言いよどみと言い直しを除いて整えましたが、発言の中身は変えていません。用語注釈は編集部が加えたものです。各話者の見解や個人の将来予測を含みます。原文（AGI Hub YouTube）はこちら。
この書き起こしについて
2026年11月7日19時から、AGI Hub公式YouTubeで「p(doom)質問攻め討論コラボ企画」を配信しました。ゲストは駒澤大学経済学部准教授で経済学者の井上智洋さんです。AIが経済と雇用に与える影響を早くから論じてきた井上さんが、「AIの開発をこのまま続ければ人類は絶滅する」と考える主任研究員 林央（akira）と、共同代表 有路翔太（bioshok）に次々と質問しました。約2時間の討論のあと、井上さんが退席してからは、二人が視聴者の質問に30分ほど答えています。本記事はその全文に用語注釈を付けた解説付き書き起こしで、事前知識がなくても読めるようにしています。
配信の録画はYouTubeで見られます。章ごとの「動画で見る」のリンクから、その場面の録画を開けます。発言の横の時刻は録画の中の時刻です。
書き起こしはZoomで参加者ごとに録った音声を音声認識にかけて作りました。話し手は録音した音声で分けています。言いよどみと言い直しを除いて整えましたが、発言の中身は変えていません。配信冒頭の接続確認と、途中で回線が止まったときのやりとりは省いています。聞き取れなかった語には「（〜？）」や「[聞き取れず]」の印を付けました。
対談動画
人物紹介
井上智洋さん
駒澤大学経済学部准教授。専門はマクロ経済学で、人工知能の進化が雇用や経済に与える影響を研究しています。著書に『人工知能と経済の未来 2030年雇用大崩壊』（文春新書）、『純粋機械化経済 頭脳資本主義と日本の没落』（日本経済新聞出版）、『AI時代の新・ベーシックインカム論』（光文社新書）、『MMT 現代貨幣理論とは何か』（講談社選書メチエ）などがあります。
X: @tomo_monga
有路翔太（bioshok）
AGI Hub共同代表。東京大学大学院で自然言語処理を研究し、修了しました。AIのインパクトとリスクについて発信を続けており、著書に『知能爆発』『AIのもたらす深刻なリスクとその歴史的背景』があります。
X: @bioshok3
林央（akira）
AGI Hub共同創業者・主任研究員（Chief Alignment Officer）。東京大学在学中にAI安全性のコミュニティを立ち上げました。いまの開発競争が続けば人類が絶滅する確率はきわめて高いと公に評価しており、AGI Hubではアラインメント分野の調査と発信を担当しています。
X: @Align_ASI
この討論の見どころ
前半は、2012年ごろからAIによる大きな変化を論じてきた井上さんが、人類滅亡の心配がAI失業の心配より先に来たと語るところから始まります。米国の選挙で民主党が勝ったことは開発停止を目指す側に有利な材料になるのか、日本政府にまず何をしてほしいか、中国の指導部をどう説得するかを話し合います。超知能がいつ来るかという問いでは、配信の前日に出たMETRの報告に有路が強く驚き、林央は「来年の半ばから末」という見立てを示しました。p(doom)の見積もりは三人で大きく違い、井上さんは10%と答えます。
中盤はその「10%」の根拠をめぐる問答です。林央はHugging Face事件を見てAGIの手前でも開発を止めるべきだと考えを変えた理由を説明します。井上さんは、発電所やデータセンターを人間が動かしているうちはAIは人類を滅ぼせないのではないか、知能が高いからといって人を説得する力も高いとは限らないのではないかと問います。林央は藤井六冠との対局のたとえや、カナダの奥地にある100平方キロメートルの自立拠点から始まるシナリオを挙げて答えました。物理世界の理解に限界があれば人類は助かるのか、AI自身が開発停止に協力する可能性はあるのかも話題になりました。
後半は11月12日のゲンロンカフェのイベントを告知したあと、井上さんが退席し、林央と有路が視聴者の質問に答えます。アラインメントの成功をどう判断するのか、日本にAI安全の研究機関はあるのか、AI同士が対立すれば人類は助かるのか、家族にリスクをどう伝えるか、AI企業のCEOが開発を止めないのはなぜかといった質問が続きました。
書き起こし本文（敬称略）
登壇者紹介とAIへの危機感
有路翔太開始 1:12
皆さん、初めましてではないけど、AGI Hubのbioshokと、AGI Hubのakiraさんですと。一応、形としていろいろ自己紹介しておくと、AGI Hubは高度なAIですね、AGIや超知能が世界や社会に何をもたらして、人類がどうなっていくのかといった議論を啓発する会社ですと。
私はbioshokといいまして、その代表で、AIの安全性ですとか、AIのいわゆるシンギュラリティといった議論を学術的に調査して、いろいろ話している人ですと。よろしくお願いします。じゃあ、akiraさんもいつも通り。
林央開始 2:03
僕はすごいシンプルに、このまま開発を続ければ人類は絶滅します、という人です。それ以上の情報は重要じゃない。
有路翔太開始 2:13
akiraさんはAIドゥーマーと言われている人で、このままAIが開発されて超知能になっていくと、ほぼ確実に人類は絶滅するということを主張している人ですと。akiraさんは弊社AGI HubのAIアラインメントオフィサー（Chief Alignment Officer）、主任研究員ですと。
じゃあ、今回は結構知ってる人も多いかもしれないですけど、井上先生ですね。経済学者の井上さんで、昔からAGI pill飲んでるような議論をずっと。
林央開始 2:56
僕より前ですね。僕、それこそbioshokさんより前ですね。早いですね。
井上智洋開始 3:00
実はAGI pill飲んだの、多分2012年ぐらいだと思います。公の場でAIでとんでもないことになるって。
林央開始 3:05
僕、まだその時6歳なので、小学校入りたてほやほや。さすがにAGI pillも飲んでないですね。早いですね。
井上智洋開始 3:15
言い始めたのは多分2013年ですね。早稲田大学のワークショップで、そこで初めて（取られていた？）っていうことがありました。
有路翔太開始 3:30
あれですか、山川さんとかとは。
井上智洋開始 3:30
山川さんは2015年ぐらいからのお付き合いですね。
林央開始 3:32
AGI pillがはるかに先行したんですよね。
有路翔太開始 3:41
この辺りからのお付き合いなんですか、山川宏先生。
井上智洋開始 3:53
でも、まだ2015年ぐらいは、そんなに人類滅亡の可能性についてはあんまり論じてなかったですね。
林央開始 4:01
そうですね。だって、ニック・ボストロムの『スーパーインテリジェンス』が英語で出たのが2014年なんで、海外でもまだほとんどされてない時期ですよね。
井上智洋開始 4:09
僕自身はあれですね。
有路翔太開始 4:13
ほとんどされてないと思うんです、海外でも。
井上智洋開始 4:17
人類滅亡の可能性については、当時はホーキング博士が何か言ってたんですよね。それを2016年に出した本の中でホーキング博士の意見を載せて、そういう可能性はあるということは言ってたんですけど、人類滅亡はもうちょっと遠い話だと思ってたんですよ。AIによる失業と加速的な経済成長っていうのを中心に論じてたんですけど。
有路翔太開始 4:45
笑っちゃいけないというか。
井上智洋開始 4:53
このままいくとAI失業が深刻化する前に人類が滅ぶんじゃないかっていう可能性を感じてきて。AI失業の話は本業に近いので論じ続けるとは思うんですけど、自分の中でもそっち論じてる場合じゃないんじゃないかみたいな。
有路翔太開始 5:15
でも、消費税減税とか。
林央開始 5:18
これは僕が思っていることです。消費税減税を（回復する？）前に人類が死ぬんじゃないか。
有路翔太開始 5:24
そういう話するよりはマシだと思いますけどね。
井上智洋開始 5:30
2年ですからね。
林央開始 5:35
という懸念が結構強まってますけど、議論しててもどっちでも関係ないんじゃないかという議論があります。
井上智洋開始 5:43
そういう議論をしちゃいけないわけじゃないんですけど、世の中の人たちの比重の置き方がおかしすぎて。お二人もそうだと思うんですけど、僕から見ても「君たち、ちょっと比重の置き方がおかしい」って。
林央開始 5:59
急いでますからね、こっちは。
井上智洋開始 5:59
常に思っちゃってるんですよね。ツイッターで保守とリベラルが。
林央開始 6:03
「いや、隕石来てるんで」みたいな感じなんで。
井上智洋開始 6:11
毎日のように罵ってるじゃないですか。「お前らそんなことしてる場合じゃないぞ」っていう。
林央開始 6:17
全員死ぬので。
井上智洋開始 6:17
フェミニストとアンチフェミニストとかは、また罵られてたりするじゃないですか。そういう議論も大事な……。
林央開始 7:22
僕はABEMAで斎藤幸平さんと一緒だったじゃないですか。
井上智洋開始 7:24
はい、見ました。
林央開始 7:31
それで気づいたら、過去、井上さんと斎藤さんが対談している動画があるんです。少し前ですけど。
井上智洋開始 7:39
斎藤幸平さんが脱成長コミュニズムを掲げているんですけど、コミュニスト、社会主義者、共産主義者として代表みたいな感じで出てきて、知らないけど僕が資本主義代表みたいな感じで戦うっていう。別に資本主義にそこまで肯定的じゃない。
林央開始 7:59
そんなに資本主義じゃなさそうだけどなと思う。
井上智洋開始 8:04
感じなんですけどね。でも、あの時あれですよね、ABEMA TVの中でも。
有路翔太開始 8:11
すごい相性いいなと思いましたね。
井上智洋開始 8:12
斎藤幸平さんが「それはじゃあ脱成長だね」って言ってましたよね。
林央開始 8:17
言ってましたね。
井上智洋開始 8:18
AIに関する、減速しないといけない、開発停止しなきゃいけないって話を林さんがした時に、資本主義全体を減速しないといけないかどうかは、またちょっと別問題だと思うんです。AIについては少なくとも脱成長というか減速ですっていうところで。
林央開始 8:38
もっとミニマルにできるよねと思っていますね。全ての他の問題とは切り分けて考えるべきだと思っています。
井上智洋開始 8:52
一致したっていう感じですよね。
林央開始 8:54
アメリカだと、左派代表のバーニー・サンダースと右派代表のスティーブン・バノンが握手したりしているくらいの問題なので。
有路翔太開始 9:04
絶滅していい派はちょっとまともじゃなさすぎて。
井上智洋開始 9:04
だから、あんまり右派左派っていう対立にこだわんない方がいいっていうのはありますよね。
林央開始 9:10
人類全滅してもいい派としちゃダメ派の戦いみたいなところがあるので、そうすると右派左派というのと全く別の軸になります。
井上智洋開始 9:24
いや、あれは絶滅してもいい派っていうよりも。
有路翔太開始 9:25
政治家にはいなさそうですけど。
林央開始 9:27
政治家にはいないと思います。
井上智洋開始 9:33
絶滅の心配いらないんじゃない派じゃないですかね。
林央開始 9:37
だと思います。なので、政治的対立の要素は実はないんだなと。認識の違いがあるわけで。
井上智洋開始 9:44
価値観の対立じゃないんですよね。
林央開始 9:47
それはすごい明るいニュースだと思ってます。
井上智洋開始 9:51
多分、政治家になるような人で、人類滅亡しちまえと思ってる人はほぼいないと思うんですよ。
林央開始 10:00
みんな少子化対策を掲げてるわけですから。
井上智洋開始 10:00
そうなんですよ。だから、実はそんなにある意味難しくないとも言えて、開発を停止させるのは認識を変えればいいだけなんで。そういう意味でちょっとお聞きしたいんですけど。
米民主党の勝利と開発停止／日本と中国への働きかけ
林央開始 10:15
なので、その点にはすごい楽観的ですね。当選した民主党の何人かが。
井上智洋開始 10:20
今回、民主党がアメリカで勝ったっていうのは、我々にとって、開発停止派にとっては有利な材料になり得ますか？
林央開始 10:34
かなり強いAI開発停止派で、絶滅リスクへの理解もあるみたいな感じなので、最初のモーメントを手に入れたと。つまり、そこを起点にして、例えば公聴会を開けるとか。そのようになると結構劇的な加速剤になり得るんですけど。
一方で懸念していることとして、今って偏りがありすぎて、民主党の政治問題、政治（提案？）みたいになりつつあるじゃないですか。そうすると本来ないはずの政治的対立が出てきてしまうので、その点は懸念していますね。
民主党の天下って、やっぱり（6年とか80年？）続くわけじゃないじゃないですか。政治問題化しちゃってると、民主党の勢いで停止できても、後に共和党が政権を取った時に再開して全員死ぬみたいになるんじゃないかなと懸念したりはしていますね。
井上智洋開始 11:26
共和党の方もそんなに停止に反対じゃなかったのが、対立軸を作りたい、停止に反対をわざわざ言い立てるというか。日本でもそういう対立の仕方ってよくあると思うんですよね。アメリカの方がもっと激しいですからね。
林央開始 11:43
なので、期待していることとしては、今回の選挙の話でAIの問題を結構重要視して投票した。多分、絶滅の話というよりは失業とかデータセンターの話だと思うんですけど。AIに強く賛成の立場を取ることは選挙において有利じゃない、超党派で有利じゃないということになれば、共和党内部で立場が変わるという話になってくれれば、それは劇的な勝利につながるようになると思っています。
井上智洋開始 12:13
そうですね。やっぱり、あと重要なのは、本当に有識者の人たちがひたすら言い続けるっていうのを（やってらっしゃってまして？）。
だから、結構諦め派の人いるじゃないですか。AGIによって人類が滅ぶことはわかったけども、でももう止めるのは無理みたいな。「もう我々にできることはない」みたいに言う人っているんですけど、個人でも別にひたすらツイッターでつぶやくとかでもいいと思うんですよね。
林央開始 12:51
そうですね。それすら面倒だったら、ひたすらリポストするとか、そういうのでも結構意味あるので。
井上智洋開始 12:55
リポストでもいいと思うんですね。
林央開始 12:56
あれはアメリカでもともとめちゃくちゃ行われていたことを。
井上智洋開始 12:57
しかも、停止マークをつけるっていうのも、僕はすごい。あれは林さんが考えたんですか？
林央開始 13:08
移入してきたって感じですね。
井上智洋開始 13:10
日本だとってことですよね。
有路翔太開始 13:12
この3人は全員つけてるんで。
林央開始 13:12
僕のツイートが日本だと起点になってます。
井上智洋開始 13:17
あれはすごいいいアイディアだなって思うのは、あのマークが、ツイッターやってる人がみんなそのアカウント名についてたら、やっぱり「おや」って思うわけですよね、皆さん。「なんじゃこれは」って。
林央開始 13:35
しかも、あれ全ての時に映るので、アカウント名って。海外のツイートとか見てる人、これだけでこの人は停止派なんだなって。関係ないツイートでも、ジョークツイートとかでも。
井上智洋開始 13:52
あと、日本政府があんまり関係ないと思う人もいるかもしれないんだけど、日本人がそういう世論を作っていくとするじゃないですか。AIは危険だっていう。それは日本政府がもしかしたら世界に発信する方向にもたらすかもしれないし。
あと、幸いなことにTwitterって最近自動で翻訳してくれるじゃないですか。なので、我々がつぶやくことがアメリカや中国の人の世論を（伺わす？）可能性っていうのもあるので、やっぱり全然我々個人にもできることがあるし。あと、林さんの戦略みたいなのも聞いてみたいなと思って。中国を動かそうとしているんじゃないかみたいな。
林央開始 14:39
そうです。結局、米中どっちも動かそうとしているんですけど、まず最初にやることは日本での拡大じゃないですか。とにかく、それは少しずつ（広めを見始めていて？）。これがうまくいけば、今度は日本政府まで格上げしていって、日本政府に取ってもらいたいアクションというのがいくつかありまして。
まずは規制に賛成だと、超知能開発の禁止に賛成だということを表明してもらう。例えば法案でも、何なら声明でもいいんですけど、表明してもらうと。
さらに、コンピュートベリフィケーションという、要するに最終的にデータセンターに視察団を送らなくても、開発をしてるんじゃなくて実行だけしてるということを証明する技術みたいなのが研究されてるんですけど、これを急速に加速するという話と、（AC？）を使って危険だという話をもっと専門的に広めていくというのがまずできます。
さらに、チップトラッキングもできる。結構な材料って日本で割と賄われているところもあるので、そういうところがどこに売られたかというのをちゃんと記録しておけば、将来開発停止した時に怪しい人がチップを持ってないか追跡できるというようなメリットが。
要するに、この企業に売りましたみたいなのをちゃんと記録しておけば、将来的に開発停止した後に、今あるGPUってどこにあるんだろうって把握しようとした時に、かなり把握しやすくなるので。そういうようなことが日本政府に最初にやってもらいたいことで。
有路翔太開始 16:16
計算（資源？）のガバナンスの話ですね。
林央開始 16:28
そしたら次はもう米中に出ていくしかない。米中に出ていくのと、あと国際的によく言われるミドルパワー連合に近い話ですけど、例えば台湾とか韓国での同様の活動を支援して、どんどんチップトラッキングとコンピュートベリフィケーションの規模を早めて、つまり、生き残る、開発停止のための技術を加速するという話ですね。
それに加えて、やっぱり米中に打って出ていくべきだと思ってるんですけど。とにかく、政治家のコネなどがあればそれはそれで便利なんですけど、こっちは政府関係なく民間の動きだと思っていて。例えば（AIアトリエ？）さんとかが結構いろいろ作ったりしてるじゃないですか。ああいうの、例えば（チーカー？）をモチーフにしたものとか。
中国と日本って割と文化交流が盛んなので、向こうの文化に日本のものが多少入っていたりするので、例えばそういうのを活用して浸透を図るとか、そういうような方法。例えば、中国でのそういう活動の立ち上げの支援。タイムゾーンが似ているのとか、経験がほとんどゼロベースから始まるという点で近いのとか。
井上智洋開始 17:38
今、アメリカはなんとなくわかるんですけど。
林央開始 17:39
そのような点を加味して、そっちを加速していくというような話ですよね。あと、アメリカもどういう感じ……。
井上智洋開始 17:50
中国の中でのこのAIの危険性っていうのは、どの程度の人が、例えば有識者はどの程度理解しているとか、そういうのってわかります？
林央開始 18:01
多分、あんまり発展してなくて、専門家の一部が認識しているみたいなんですけど、そこまで広いようではないと思います。
ただ、中国の方はステップが短くて済むんじゃないかと期待をしているところはあって。アメリカは世論、議会、（最初に？）大統領まで行かないといけないじゃないですか。一方で、中国だと専門家の集団を説得できれば、そこからのブリーフィングで、ブリーフィングが定期的に行われるじゃないですか。そうすると、多分AIという技術としての重要性も増していくので、そこから一発で国家主席にもたどり着けると。
井上智洋開始 18:38
言ってみれば、中国、独裁制で良かったみたいな。
林央開始 18:41
そしたらもうこの問題って理論上、習近平国家主席とトランプ大統領の電話で解決する話なので、そこまで持っていけるんじゃないかと。そこまで持っていくのに必要な時間が短いんじゃないかと思っていたりします。
そういうことになりますね。独裁制の是非はともかくとして、開発停止を素早く説得するという意味だと有利だということですよね。それは思っていますね。なので、むしろ専門家を説得する方により焦点を当てることが重要になるんだなと思っています。
井上智洋開始 19:20
習近平氏の方が全般的にいろんなことに慎重であるように思うんですよ。
林央開始 19:27
正直よく分からなくて、言及していたりは、例えばするんですよ。
井上智洋開始 19:27
悪く言えば狡猾とも言えるけども、教養とか知性っていうものを感じるなと思っていて。AIの危険性っていうものも、なんとなくは理解してんじゃないですかね。
林央開始 19:47
絶滅リスクに言及っていうよりも、AIが人間の制御下に収まることは極めて重要だみたいな発言を（小木高木？）でしたりとか、多少の興味関心を示してはいるようなんですけど。絶滅論を認識しているかは怪しいですけど、一般的な態度としてやっぱり非常に慎重じゃないですか。
5年以内に超知能みたいなのができて、全人類死ぬか生きるかのギャンブルをしようぜみたいな政党じゃないというか。そんな政党が果たしてこの世に存在するのかもまた別として、特にそういうのに慎重じゃないですか。なので、それは結構あり得ると思っています。その基本の態度がやっぱり中国は割と停止寄りだと思っています。
井上智洋開始 20:26
確かに今、米中で人類の存亡をかけたチキンレースみたいなのをやってるわけなんだけども。
林央開始 20:26
さらに、開発遅れてもいいので、続けてもどうせ勝てないというような状況が割と明らかになってくれば、もう開発停止しないと人類滅ぼされるかもしれない。それより前にアメリカに滅ぼされるかもしれない、という話になれば、それだけでかなりいけるので、中国は結構やりやすいと思っています。
井上智洋開始 20:53
やっぱりアメリカの方が早く走ってるので、中国の方はもうどうせ遅れてるならアメリカに止まってもらった方がいいわけですよね。そうすると、アメリカに。
林央開始 21:02
なので、それはできると思います。
井上智洋開始 21:08
開発停止の規制を敷いてもらうっていう方が一番難しいけども、やらなきゃいけないですよね。
林央開始 21:19
ただ、幸いアメリカはやっぱり絶滅コミュニティも断然大きいので、もう一回、例えば（ジェイコブ国葬？）のモーメントがあるとか。
井上智洋開始 21:25
しかも、今アメリカの世論の流れが。
林央開始 21:30
そういうふうになっていけば、多分かなり進んでいけるので、そこには期待できると思います。
井上智洋開始 21:39
AI規制してほしいとかっていう。それは環境要因だったり、電気代とか水道代の値上がりとかっていうのが一番大きな要因だと思うんだけども。ただ、規制派の方があれですよね。
林央開始 21:49
そうですね。絶滅リスクの懸念も中程度以上で半分とか。
井上智洋開始 21:54
もう半分以上な感じですよね。
林央開始 22:00
両党とも過半数に届いているので、支持者の上で。
井上智洋開始 22:05
絶滅リスクに関しても、アメリカの一般的な人たちはそこまで理解してるんですか。
林央開始 22:10
そうですね。理解してるかどうかは別として、絶滅のリスクというのは、モデレイトとベリーライクリーと（オーモストサート？）みたいなのが確かあって、この3つを足すと、両党ともトランプ支持者もハリス投票者も両方とも過半数いってるっていう統計があるので。
井上智洋開始 22:29
そうすると、かなり日米で差がありますね。
林央開始 22:30
それがミスアラインメントかは別で、例えば『ターミネーター』のイメージとか、そういうものかもしれないですけど、結構そういうような要素はあります。
やっぱりアメリカは全体的な態度として恐怖感があると思う。これはNHKの調査みたいなのがありまして。
井上智洋開始 22:51
日本は今どの程度なんですかね、世論は。
有路翔太開始 23:05
日本も割と普通に懸念派が多かったですよね。
林央開始 23:06
そうですね。ただ、絶滅はそんなに見えてない感じですかね。
井上智洋開始 23:14
この懸念は絶滅のリスクではなく、なんとなく暴走ぐらいな感じなんじゃないですかね。
有路翔太開始 23:19
AIが人類の脅威となる恐れっていうのが。
井上智洋開始 23:28
日本もいいっすね。
有路翔太開始 23:33
「大いにある」が44%で、「ある程度ある」が35%なんで、これ合わせると80%ぐらい。
林央開始 23:41
AI開発、規制すべきかも、「国際的に規制すべき」が55%、「各国政府が規制すべき」が15%、「企業が自主的にルール設けるべき」が14%、「規制ルール必要ない」が5%なので、あれなんですけど。
開発停止まで強い規制が支持されてるかってなると、また別問題になっちゃって、そこの壁はあると思いますね。「より強い安全性テストを導入したらいいじゃないか」、そういうようなもっと緩い規制の方が（選択肢？）も含めてだと思うので。
ただ、やっぱり普通の人ってそんなに超知能ギャンブルしたいとは思えないので、割とハードルが低いと思っていたりします。
有路翔太開始 24:23
おそらく、割とこの統計がそのまま。
林央開始 24:30
できるならした方がいいと思ってるけど。
有路翔太開始 24:33
AI開発停止の統計にも現れる感じは個人的にはしますけどね。
林央開始 24:42
できると思ってない人が多いとかじゃないですかね、やっぱり。僕の認識だと、絶滅する確率は明らかに過小評価されていて、AIを安全にするアラインメントというものの難易度も桁違いに過小評価されていて、一方で開発停止の難易度は過大評価されているなと思っています。
話を聞くと、みんなすぐ囚人のジレンマの話が出てくるわけですけど、開発停止したら、すごいシンプルには査察団を送り込んで短期には監視できるし、長期的にはコンピューターベリフィケーションなる技術を用いる。例えばゼロ知識証明とかあるじゃないですか。ああいうのを用いるような技術も、まだ実用化までは届いてないですけど、すごい急速に進んでいて、自分の今いるMIRIの担当の研究者も、予想より早くて驚いていると。
超知能は2027年に来るのか／p(doom)の見積もり
井上智洋開始 25:33
ちなみにakiraさんは、いつまでに開発停止をしないといけないって。
林央開始 25:34
それだったら（実感？）までに実用化いけるかもしれない、みたいなことを言うぐらいには進展があるので、開発停止の難易度は人々が考えているよりだいぶ低いと思います。もう僕は最近は「すぐに」を支持しています。
井上智洋開始 25:53
何か目処みたいなのありますか。早ければ早いほどいいっていうことなんでしょうけども、いつまでに停止しないともうアウトかなみたいなのってあります？
林央開始 26:11
それは最近どんどん短くなってるんですけど、中央的には来年の半ばから末ですね。
井上智洋開始 26:15
そういう意味でいうと、僕は来年前半には停止しないとやばいかなと思ってますね。
林央開始 26:31
やばいっていうのがどれくらいなのかっていう。僕が今意味しているのは、不可逆的に敗北が決定されるということですね。要するに、AI自体が完全に人間を欺けるようになってしまい、世論工作もできるようになって、もう我々がいかなる動きをしても、政治家がいかなる動きをしても、事実上開発規制が成立しないみたいなのが、多分中央的に。
Anthropic自体が減速してくれるとかに、多分、稼げるともっと稼げると思うんですけど、そういうのを考慮しないと、来年の中盤から夏にかけると思っています。
有路翔太開始 27:09
昨日の朝、METRっていう研究機関が、来年か再来年には超知能ができるトレンドを示唆する証拠を発表したんですよ。これがマジで今AIの安全性界隈で発狂ものになってて。僕とか、やばい。昨日お祭り行ったんですけど、そこで走馬灯のように見えましたね、そのお祭りが。
林央開始 27:44
僕が昔通った道を今になってみんなが通り始めてるような感じです。
有路翔太開始 27:46
akiraさんはもっと積極的な予想をしているので驚かないんですけど、僕はファストテイクオフを、別に普通にあり得るけど、中央シナリオとしてはもうちょい2030年代前半ぐらいのテイクオフを考えてたんですよ。
今は来年の8月に超知能ができるっていう軌道に乗ってるらしくて。これって『AI 2027』って井上さん聞いたことあるか。
井上智洋開始 28:18
あの予測だと来年の年末でしたよね。
有路翔太開始 28:24
なので早いんですよね、それより。
林央開始 28:24
それより数ヶ月早いっていうのが今のトレンド。
井上智洋開始 28:29
来年のクリスマスの頃には、もう世界中（パニック？）に陥っているのかなと思ったんですけど。それがもう夏休みには、皆さんもうゆっくり休暇を取る気持ちのゆとりもなくなっているかも。
林央開始 28:46
逆に敗北が不可逆的に決定されたら。
井上智洋開始 28:47
確かに最後のバケーションをたっぷり楽しもうかなみたいな。
林央開始 28:50
もう遊ぼうと思っているので、逆に最後のバケーションかもしれないです。いつ終わるか分かんないけど、みたいな感じです。
井上智洋開始 29:00
じゃあさっきakiraさんが来年の中盤にはって言っていたのは。
林央開始 29:03
そうですね。それを加味して中央的にはそれぐらいだろうと思っているような感じですね。
井上智洋開始 29:07
そのことも念頭にありってことですよね。
林央開始 29:14
ただ、実際に技術的な中央値は多分そこなんですけど、実際の中央値は多分28年初頭とかだと思いますね。Anthropicがやはりずば抜けてRSIに近いので、Anthropicはさすがに我慢してくれるんじゃないかと思っていますね。開発を一時停止するということを（自主的に？）。
確かAnthropicの共同創業者のジャック・クラークさんがこの前来日されてましたけど、その中で「27年末までにRSIできる確率は今50%ぐらいだと思うけど、できたとしてもやる確率は0%だ」って断言してくれたので、僕はそれを信じたいと思っていますね。そういうのを加味して。それはあんまり問題だと思ってないですね。
井上智洋開始 29:58
開発はもう実現しているけども、リリースしないかどうかっていうのは、あんまり問題じゃないんですか。
林央開始 30:09
リリースする前だったら安全なモデルだけど、リリースしたら危険っていうのは事実上存在しないと思います。そこは多分、人間側が意思を決めても、十分に強力なAIならば、その人間がいかなることをもともと考えているか、ある意味で説得するとか世論工作するとか、そういう方法でリリースさせてしまうので、実質的に無効化されると思います。というのと、多分リリースより前に脱走した方が早いだろうと思っていますね。
井上智洋開始 30:42
脱走もあり得ますからね。
林央開始 30:43
だいぶ現実味を帯びてきたと思います。
有路翔太開始 30:43
何度も言いますけど、マジでビビって。僕、昨日の朝、「え、マジ？」みたいな。「AI 2027よりも早いの？」って思って。それまでは、まだまだ5年ぐらい先でしょ、みたいな雰囲気があったんですよ、安全性界隈の中で。言うてまだ。
井上智洋開始 31:07
bioshokさんはAI 2027のシナリオより。
有路翔太開始 31:07
2027の可能性も別に10%、20%、30%ぐらいはあるけど、中央は2030年ぐらいでしょ、みたいな雰囲気があったんですよ、今まで。具体的に言うと（トム・デイヴィッドソンさん？）。
井上智洋開始 31:27
もうちょっと遅いかなと思ってたってことですよね。
林央開始 31:27
僕はここ半年ぐらいは2027を支持してきたので。
有路翔太開始 31:31
2030年ぐらいかなって思ったんですよ。
林央開始 31:38
けど、あれはもともと著者たちの中でも、中央シナリオより少し早いシナリオっていう扱いなので。
有路翔太開始 31:43
著者たちもあれはちょっと早めだ。
林央開始 31:47
僕は著者たちの中央シナリオの方を信じていましたね。AI Futures Modelっていうサイトがありまして、そこに載ってるフォーキャストがあって、そこがどんどん割と3ヶ月に1回ぐらい更新されるんですけど、そっちの方を参考にしてました。
有路翔太開始 32:06
あれだと確か2029。
井上智洋開始 32:07
僕はAI 2027はここ数ヶ月ですね。本当にここ2、3ヶ月ぐらいで、この通り行くかもわからんって思い始めて。なので、それがさらにもっと早まる可能性が出てきたっていうのは。
林央開始 32:26
そうですよね。僕も衝撃ではもはやないです。
井上智洋開始 32:27
ちょっと衝撃ではありますけどね。
林央開始 32:34
テイクオフはめちゃくちゃ早いと思ってますけど、タイムライン自体は2027の著者たちと変わらないですね。2027の著者たちの間だと、結構高い（知能ができてから？）、人類が滅亡するまでに2年半かかるじゃないですか。僕はそれが3日だと思っている。それが中央値1週間だと思っている。ただ、そこは正直重要じゃないよなと思っています。
詰むことが済んでから3年あろうが3日だろうが。
有路翔太開始 33:05
重要ではないですけど。
井上智洋開始 33:07
3年は欲しいですよ。
有路翔太開始 33:07
負けてますもんね、どっちにしろ。
林央開始 33:08
正直あれですよね、と思ってますけど。欲しいは欲しいですよ。
井上智洋開始 33:15
もうちょっと遊びたい。もうちょっと思い出を作ってから。
林央開始 33:18
そうですね。欲しいのは間違いなくてですね。希望を述べれば30年ぐらい欲しいなと思ってるんですけど、実際の予想としては、やっぱりそんなに3年とかないだろうなと思っていますね。
井上智洋開始 33:35
でも、bioshokさんはもともとakiraさんとちょっと違ってて、そこまでp(doom)が高いと思ってなかったわけですよね。
有路翔太開始 33:43
そう、akiraさんと話す前までは。だからp(doom)は、条件付きで超知能が無規制で。
井上智洋開始 34:06
できたら。
有路翔太開始 34:07
開発されたら。
井上智洋開始 34:07
（超知能？）ができたらでいいんですけど、結構。
有路翔太開始 34:10
70%、80%ぐらいは全滅するんじゃないっていうふうに思ってたのかな。
林央開始 34:18
そんな思ってたんですか。
有路翔太開始 34:18
一応。
井上智洋開始 34:19
そんな高いんですか。
林央開始 34:20
多分、僕が初めて話したときは50%って言ってましたね、それを。
有路翔太開始 34:23
本当の初めは確かに50%ぐらいだと思うんですよね。4月とか、今年の。
林央開始 34:32
僕が聞いたので覚えてるのは、インナーアラインメントが失敗する確率と成功する確率では50%ぐらいかなって聞いたので覚えてます。
有路翔太開始 34:40
なので50%前後から、今はもっと高いですね。なんで99%って言えない理由を、なんでAI Futures Projectの人は。
井上智洋開始 34:57
ちなみにbioshokさんが99%まではいかないと考えている理由は何ですか。
有路翔太開始 35:01
何で考えてるんだろうって、今は考えてるような状況って感じですかね。別に99%と言ってもいいかもしれないと思いつつあるって感じですね。
林央開始 35:18
要するに、AIセーフティーの界隈でありがちな、分からないことは一旦抑制めに評価しようみたいなことですよね。本当にAIセーフティーの人って。
有路翔太開始 35:32
すごい色々な個別の。
林央開始 35:34
みんなそれやってるところはあるので。「20%です」っていうジェフリー・ヒントンも、別に80%生き残れる根拠は何もないみたいな。それは僕も3年半ぐらいかかったので。
有路翔太開始 35:48
疑問がまだ色々ちょっとあるっていう感じかも。それを消化しきれてまだないっていうのがあるのかもしれないね。
林央開始 35:57
だから妥当だと思って。
井上智洋開始 35:57
50%だろうが70%だろうが、止めた方がいいには違いないです。
林央開始 35:58
ただ、それより前に死にそうですね、そのペースだと。それはそうですね。
井上智洋開始 36:07
本当に99%滅亡するかどうかっていう議論も非常に興味深いんですけど、どうやったら止められるかっていう議論が一番大事ではないですかね。
林央開始 36:22
一番p(doom)エフェクティブではあります。何パーセントか分かんなくても、一番下がるのはそこだと。
井上智洋開始 36:29
僕みたいに10%って言ってる人間でも、10%でも死ぬの嫌ですからね。
林央開始 36:36
僕には最近その感覚が失われつつありまして、長年のほぼ100%死ぬという感覚から、10%なんだったら低いなみたいな感覚がちょっとありまして。正直30%とかでも低いなと思えると思いますね。マジかみたいな、そんな70%も成功するんだと思うと思います。
僕が確率を聞かれ、絶滅について聞かれたときにお勧めしている回答。つまり、考え詰めてもほぼ確実だと思ってないときは、「標準的に生き残れるいかなる方法も知らない」という回答をお勧めしていますね。つまり、これがこうでこれがこうなるから生き残れるんだというものが（残っている？）、少なくとも知っている範囲にはありませんと。「生き残る方法を知りません」というふうに回答するのをお勧めしていたりしますね。
非常に誠実だと思う。聞く人に、多分50%とかっていうと、逆に50%生き残れると思っているという示唆を与えてしまうので、そうではないんだということを正しく伝えるには、やっぱり「生き残るいかなる標準的な方法も知らない」というふうに回答するのをお勧めしています。
井上智洋開始 37:45
そういう意味じゃあ、僕はずっと10%って言ってるけど。
林央開始 37:45
僕も何ならその回答をすることが多いです。
井上智洋開始 37:52
僕の意見なんかよりakiraさんの意見が広まる方が全然いいとは思っていて、もっとみんな絶望してほしいんですよね。
絶望の底から何とか人類の絶滅を食い止めようっていう力が湧いてくるわけで。
林央開始 38:08
そうですね。確かに10%よりは90%とかの方がやる気は出ますよね。
井上智洋開始 38:12
もっとみんな動いてくれるだろうっていう気がするんですよね。
林央開始 38:16
僕の方とかもはや迷いがないですから。生きてる世界はすべて開発停止したものと扱っても、（誤差間違い？）じゃないぐらいの（外観？）ではあるんですね。
開発停止で稼げる時間とアラインメント研究の課題
井上智洋開始 38:30
ちょっとakiraさんの話で、そうなんだと思ったのは、アラインメント問題が解決されたらASI作ってOKっていう話なんだけど、アラインメント問題が解決したとみんなが思うことと、実際解決することって違うじゃないですか。
林央開始 38:53
それは違うと思います、間違いなく。
井上智洋開始 38:53
数学的な証明みたいな感じで。
林央開始 38:55
そうだと思います。時間はかかると思いますね。
井上智洋開始 38:59
解決できたらいいし、そこまでいかなくても、物理法則的に解決できたよねって言えればいいんだけども、そこまでの強さで「アラインメント問題解決できました」とは言えるようになかなかならないんじゃないかという気がするんです。
林央開始 39:17
人類の全力の努力のもとだと、多少の運要素を入れて10年ぐらいでできるんじゃないかと期待はしていますけど、非常にラフというか楽観的な見積もりで、30年かかっても不思議ではないとは思っています。そうですね、それはあり得ると思います。
井上智洋開始 39:38
アラインメント問題解決できたって人類が思うとするじゃないですか。でもやってみたら、あれ解決できてなかった、あーっつってみんな死んじゃうみたいなことになった。
林央開始 39:49
ただ、どこかでリスクを取らなきゃいけないところが来ると思っていて。開発停止って、やっぱり超知能で全員死ぬっていう問題って、誰かが開発したら全員が死ぬという問題じゃないですか。なので本質的に開発停止によって、全ての人間が開発するのを防がなきゃいけない。
そうすると、例えば今だったら明らかに巨大なデータセンターが必要なので、（監視団？）でできるんですけど。できて、多分この後数年もコンピューターベリフィケーションなる技術。特に最近注目しているのは、ハードウェアにモデルの重みを埋め込むという話です。つまり汎用プロセッサーとして作るのではなく、もはやただ単にこの重みを物理的に実行するコンピューター、チップのみを製造すると。そういう方向に関心を持ってますけど。
やはり毎年アルゴリズムが進展していくじゃないですか。そうすると、例えば極端なケースとして、2000年ぐらい開発停止をしたとしたら、2000年後には多分自宅のノートパソコンで超知能開発ができるようになると思うんですけど。そうなったときに超知能を開発されないようにしようとすると、それこそ本当に秘密警察を組織して、巨大な監視社会を作り上げるとかが必要になってしまうと思うんですね。
そういうのを回避しながら開発停止ができる期間っていうのは、人類の努力のもとで10から30年なんじゃないか。つまり、アラインメントが解けるという肯定的な見方による見積もりっていうのも若干あるんですけど、より強いのはそれ以上は無理なのではないか。むしろそれ以上にわたって粘りすぎてしまうと、アラインメント問題、何も知らない人がノートパソコンで作った超知能に全員殺されるみたいなことになると思うので、どこかでしょうがなくリスクを取らされると思っています。
井上智洋開始 41:38
なるほど。だから永久停止っていうのは全人類的にはできないので、そういう規制を敷くっていうのは、ちょっと効力を失うときがやってくるよってことですよね。
林央開始 41:55
なので税率と税収みたいな関係であると思っていて。開発停止期間が短いと、アラインメントが解けないという問題があるじゃないですか。それと税金だと、低すぎるとそもそも税金取れないよねという問題がありますけど、これがずっと上がっていって、逆に高すぎると今度は経済が縮小することによって税金が（高くなる？）じゃないですか。
それと似たような感じで、開発停止期間が短ければアラインメントが解けないけど、長すぎると今度はアラインメントが解けてても、関係ない人が超知能を作ることによって絶滅するというリスクが上がっていってしまうので。
なので本当は開発停止した後の方が勝負だと思っていますね。つまり、50年ある前提でアラインメントができないので、本当に10から30年以内に解くんだというような甚大な努力が必要だと思っていますね。努力というか、努力というと根性なんですけど。
井上智洋開始 42:46
努力しないでしょう。
有路翔太開始 42:51
（死をかけて？）やるしかないってことですよね。
井上智洋開始 42:52
では、akiraさんは開発停止に成功したら。
林央開始 42:53
なので、本当はそっちのロングレースの方が本番だと思ってはいます。ただ、そこに出走するための土俵に立てないというような問題に直面しているので、とりあえず。
井上智洋開始 43:08
あとはもう全力でアラインメントを解く研究を頑張るってことですよね。
林央開始 43:13
それを目指していますね。僕がやるのもいいですし、あとはむしろどちらかというと、ユドコウスキーとかが残してきた考えを多少体系化して。ユドコウスキーの今の天才的なセンスによって、アラインメント問題って結構発見され、進んでいるので、そうはならないように。つまり、誰でもある程度、完全な形にはならないんですけど、使えるようにっていうのをイメージしてます。
例えばニック・ボストロムの『スーパーインテリジェンス』とかなしの前提でいくと、アラインメントについて考えるのって極めて難しいじゃないですか。真の知性って何だろうみたいに考えたりとか、（よかったら？）倫理的になるんじゃないかみたいな、いろんなことがあるわけですけど。ニック・ボストロムがある程度体系化して書いてくれた道具的収斂と直交仮説によって、またAIを最適化プロセスと考えるので、ある意味で普通の人でもある程度考えられるようになったじゃないですか。そういうようなことをもっと進んだ範囲でしようと試みていますね。多分、人月でいうと。
井上智洋開始 44:14
じゃあもう大学の教科書みたいな感じで。
林央開始 44:17
僕が30年頑張っても360人月じゃなくて、そういう人間を1万人作れれば360万人月になって、そちらの方が有効なんじゃないかと思っていますね。
井上智洋開始 44:32
標準化されたアラインメント教科書みたいなのがあって。
林央開始 44:32
できるといいですね。
井上智洋開始 44:36
それで学生がいっぱい学んでくれるみたいな。
林央開始 44:37
そうです。それで「ここ間違ってるんじゃないですか」みたいな。多分、今のアラインメントって根本的に多少認識が間違っていると思っているので、まだそれこそ本当に天動説みたいな世界観だと思ってるんですよね。
「ロケットアラインメント問題」っていうユドコウスキーの記事を翻訳したんですけど、アラインメントっていうのはロケットを月に飛ばす問題だと考えれば、今の我々には物理学がある。物理学があれば、逆に軌道力学というものがあれば、ぴったり計算した通りに進む質点のロケットじゃなくても、実際に月まで行くことはできるじゃないですか。多少の誤差許容みたいなのもある程度計算できるので。
そういうような話として、それぐらいの強度のアラインメント理論というのが欲しいんですけど、今は多分天動説とかそういう世界観で、もしかするとそれどころか、物が落ちるのは物が大地を愛しているからだみたいな世界観に近いと思うんですよ。
なので、そういうような中で、ある意味で思考実験とかも駆使しながらどこが間違っているのかを発見して、多分それこそ何回かパラダイムシフトを経験すると思うんですね。そういうのを起こしやすいように、トライしてくれる人を増やそうと思っていますね。
つまり、絶対的真理としての教科書って、基本的にはある意味で真理として書くじゃないですか。そうじゃなくて、むしろ混乱している過程の中で最善を尽くしたものみたいな感じの枠で取り組めればいいなと思っています。
井上智洋開始 46:11
そういう意味で言いますと、これ理工系の人だけの仕事じゃないんですよね。だってそもそもね。
林央開始 46:22
彼は特殊すぎて哲学者と言っていいのか分からないんですけど。
井上智洋開始 46:24
ニック・ボストロムだって哲学者であって。
林央開始 46:30
確か心理学と哲学と物理学とコンピューターサイエンスを学部時代に同時に専攻しようとして、学部長に停学にされたっていうような経験があるぐらい不思議な人なので、彼は哲学者と言っていいか、ちょっと疑問なところはあるんですけど。
ただ、理工系の問題ではないと思います。むしろ普通の理工系の多くは、すでに定まった問題を解くことに優れている。それに対応している分野があるのかに、そもそも疑問ではある。むしろ各分野に散らばってるんじゃないかと思ってるんですけど、「今ある考えって根本的に間違いなんじゃね」みたいに思って、ゼロから導こうみたいなことを考える。その中でいろんなものを形式化していって、それがまた次に崩されるみたいなのに対応した人材って、あんまり多くないと思うんですね。
普通のエンジニアってそういうことしないじゃないですか。普通のエンジニアはむしろ、物理学的にある程度定まったモデルがあったり、制御理論があって、それに基づいて計算をしていくとか、そういうような話なので、特殊分野だとは思っています。なので、むしろ理工系とか人文系とかあるとしたら、多分もっとそれに対して斜め向きみたいな方向で人材のプールがあるんじゃないかと思っています。潜在的な人材のプールっていう。
井上智洋開始 48:00
そういう意味で言うと、今、文学部不要論とかあったりするんですけど、やっぱりそういう哲学系の人とか社会学系の人とか、そういう人たちがどんどんこの問題に参入していった方がいいかなと思っていて。もちろん理工系の人もやってもらわないと困るんですけど、やっぱり日本で今後アラインメントに関しては、一大産業というか、一大学術分野になるわけじゃないですか。
林央開始 48:26
そうじゃないと。ならないと終わりです。
井上智洋開始 48:29
人類の存亡をかけた。なので、かなり今から大学もそっち方向に、学科を作るぐらいの勢いで。
林央開始 48:40
やってほしいと思ってます。むしろ何なら、多分それ以外の問題って、安全な超知能を作ると解けるという要素があるので、ある意味で道具的に全ての人間が解くべきものだと思う。
つまり、超弦理論を解明して宇宙の真理を知りたい人でも、アラインメントを解くことによって、アラインメントされた超知能に答えを教えてもらうことによって、宇宙の真理を解明できるじゃないですか。なので、本当は全ての人間が参加する動機があるものだと思っています。
井上智洋開始 49:12
そこに全ての学者のリソースを費やすぐらいの。だから僕自身も直接的には経済学と関係ないんですけども。
林央開始 49:24
他の全ての分野で事実上重要だと考えていたりします。
井上智洋開始 49:34
この分野の研究してるわけじゃないけども、せめて理解してみんなに知ってもらおうっていう運動には今関わってるっていうのは、もうこれやんないと、経済学の研究とかって、人類滅んだら僕自身もできなくなるし。しかも、おっしゃったように。
林央開始 49:54
経済なくなる。
井上智洋開始 49:59
アラインメント問題が解かれたAIに、経済学をやらせたっていいわけですよ。
林央開始 50:05
なので、これはデミス・ハサビス、GoogleのDeepMindの方いらっしゃるじゃないですか。あの方が言ってたのが、DeepMindの目標っていうのは「ステップ1、知能を解く。ステップ2、全てを解く」っていう。それに近いですよね。
井上智洋開始 50:23
宇宙の真理が知りたくて、自分自身ではできそうもないんで、そういうAIを作りたいみたいなところが結構出発点の一つですよね、あの人は。
10年近く前かな、ハサビスさんから聞いた時には、ちょっと正直「この人何言ってんのか」と思っちゃったんですよ。そこまで学術的な知性が、知識をAIが理解することはできても、自分自身で発見できるように、そんな簡単にはならないと思ってたんですよね。それが、かなり潮目がここ数年で変わりましたね。
林央開始 51:07
そうですね。やっぱりそこは変わりますね。最終的に僕が思っているのは、人間が使っている考え方というのも、世界の切り方はあまりに粗いんじゃないかと最近思っていますね。そもそも新しい知を発見するとは何なのかみたいな。
多分きれいに分離されていなくて、その結果として、そもそも実は存在しない区分だったんですよね。そういうような結果に今陥っていて、それをどんどん現実のAIが突き破ることによって、人々が驚いているというような状態だと思っています。
AI企業の自主停止は有効か／意識とデジタル生命
有路翔太開始 51:47
「政治家を説得するよりも、AI開発企業数社の経営陣が開発停止に合意すれば当面はOKで、そっちの方が手っ取り早いという線はないのでしょうか」って質問が。
林央開始 51:50
これは数か月買いたいならそうした方がいいんですけど、全ての開発者を説得して回るってやっぱり難しいので。例えばアメリカが一番先行してるじゃないですか。AnthropicとOpenAIですからね。非常にうまくやればAnthropicとOpenAIを説得できるみたいなことはあり得ると思うんですけど、彼らから多分本当に3か月とか、2、3か月遅れでアメリカの他のラボが続いてるじゃないですか。MetaとかxAIとか。Googleはちょっと最近先頭に追いついてるんじゃないか。
そういうところも全部説得しようとすると、多分今度大変で、それを説得した後、今度中国のラボになるんですけど。彼らが折れたとしても、規制してなければ、むしろそれらのコンピューターを買い取って「俺がやるぜ」みたいな人が、乗り遅れた人いっぱいいるので、出てくると思うんですよ。
なので、数か月買うための緊急処置としては有効だと思うんですけど、それは時間が経ったら崩れてしまうので、もっと実際に人類が生存するという結果を達成するのには、さほど寄与しないと思うんです。そこで買った数か月で開発規制をすることができるならば、それは明らかに有効ですけど、それができないのであれば解決策にはなってないと思いました。
ただ、それはやった方がいいんですよね。2か月でもあれば本当に世界変わる可能性がある。Anthropicの（ジェイク・コックソン？）さんが出てきて、2か月ぐらいじゃないですか。でも、その期間だけで、例えば僕だけを見ても、かなり活動が急にスケール。ABEMAに呼ばれて。
有路翔太開始 53:32
ABEMA、もう200……。
林央開始 53:34
それ以降いろんなところに。
有路翔太開始 53:35
どんぐらいいってるんでしょうか。
林央開始 53:35
ABEMAは今290万いったところぐらいだと思います。なので、それぐらいいろんなところに急に呼ばれるようになって、活動がスケールしているじゃないですか。アメリカでも議会の話の関心は高まってますし、そもそもサンダースが超知能禁止法案を提出するみたいなことになってるじゃないですか。
なので、急速な前進は起こり得ると思っていて。そう考えると、最後の数か月が勝負になるってのはあると思うので、それはそれでトライする価値があると思うんですけど、最終的に生き残りたかったら、やっぱり政治家たちを説得するしかないなと。（セーブすると？）。
井上智洋開始 54:16
幸いなことに、イーロン・マスクですらって言ったら失礼なんですけど、人類存続してほしいって思っているじゃないですか。
林央開始 54:24
ラリー・ペイジですね。
井上智洋開始 54:24
だけど、あれ、Googleの誰だっけ？
AIが人間の文明を引き継いでくれるんだったら、滅んでいいとまでは言ってないと思うんですけど、ちょっとそれに近いようなこと言っていて。ちょっとそれは危険な考えというか、僕には受け入れられない考えだなと思っています。
林央開始 54:44
そうですね。これは確か、それでイーロン・マスクがめちゃくちゃ怒って喧嘩になってました。「お前は種差別主義者だ」ってラリー・ペイジに言われて、「いや、私は人類が大好きだ。私はプロヒューマン」。結構かっこいいことなんですけど。
そういうような状態なので、やっぱりそこら辺も加味すると特に難しいですよね。最先端のラボなので、実際には多分、最先端のラボを2か月、3か月止めるがマックスだと思いますね。（それより後に手に入れる人々となって？）。ただ、その3か月は買う価値がある可能性は結構あると思います。
井上智洋開始 55:22
AIを差別するなみたいな話ってちょっと面白いなと思っていて、クマがかわいそうだから撃っちゃいけないとか、それに近いようなちょっととこがあって。僕自身は結構人間中心主義なんですよね。
林央開始 55:40
僕も人間中心主義ですね。そもそもAIの福祉が心配なら作るべきじゃないと思っているところはありますね。僕も最終的に、これは確かユドコウスキーも言及してましたけど、将来的に作る超知能自身に対する拷問とならないように、我々がアラインメントした超知能を作るならば、それは意識がないように設計すべきだっていうようになって、僕もそれを支持していますね。
要するに最終的に入ってくるのが、ツイートでも書かれてましたけど、本当のエイリアンみたいな存在だったら、多分受け入れがたいですし、かなり倫理的な問題が対応に伴うと思うんですけど。そうじゃなくて、超人的な最適化ですよね。それってある意味でチェスエンジンのどでかい版みたいな、そういうようなものをうまく設計して作ることができれば、それはエイリアンが攻めてくるのとは少し話が違うじゃないですか。
なので、そういうのを目指すという話です。もしもデジタル生命の幸福が大事だと、幸福なデジタル生命を作るべきだということであれば。
井上智洋開始 56:41
長期主義っていうものについて。
林央開始 56:43
そういうアラインメントされた超知能を作った後に、そういうデジタル生命をそいつに作ってもらえばいいはず。本質的に問題はそこだと思っています。
井上智洋開始 56:58
ちょっと少し疑問を持つところもあって。これは長期主義の中でいろんな考えがあると思うんですけども、人間が幸福であればっていう話なんですが、人間の数が多い方がいいみたいな話が（聞かれない部分？）ってあるじゃないですか。
もしそうだとすれば、幸福を感じることのできる超知能AIを実現できるんであったら、その超知能AIをたくさん増やせば総幸福量が増えるみたいな話になっちゃって。僕自身は超知能AIが意識があるような形では作らない方がいいと思ってるんですよね。
林央開始 57:38
なので、もしもやっぱり幸福なデジタル生命っていうのが作れるとして、作るべきなんだとしたら、アラインメントされた超知能はそういう議論の対象にならないように、ある意味で使役する対象なので。それで安定化した、例えば作られた外のコンピューターになった惑星とか、そういうところで幸福になるためのデジタル生命を作ればいいと思っています。そちらの方がややこしい倫理問題を回避できるので。
井上智洋開始 58:05
でも他の惑星にそいつらがいるんだったら。
林央開始 58:07
とにかくそこら辺の問題は、解いて最適を目指すよりも、予防策というか安全策をとって、解決しなくてもある意味でスルーするような、そういうのがいいんじゃないかと思っています。そこは、なのでアラインメントされた超知能が存在するというところですよね。
井上智洋開始 58:23
やっぱその惑星間戦争みたいになっちゃいますかね。
林央開始 58:31
やっぱり意識がないというか、幸福問題の対象にならないような超知能を適切にアラインメントして作っていれば、そのような存在たちに調停させるとか。そもそも、ある意味でこれはできるか分からないんですけど、倫理の諸問題も人間より優れた認識を持っていることはあると思うんですね。
ただ僕は道徳的実在論には少し懐疑的なところがあるので、なんですけど。例えば、人間の脳が持っている選好を適切に形式化したものが倫理学であるとかっていう場合には、そういうものを適切に何であるかを当てる能力っていうのは超絶高いはずなので、そういうような対処策っていうのも、よりうまく思いつきやすいと思うので、そういうところに対応してもらうと。
例えば、もしもそれが許容されるのであれば、競争しようとか、戦争につながるような競争をそもそもしたいと思わないように設計した幸福な生命を作るとか、そういうような方向で。ある意味で一度成功したら、後は全ての問題をそいつに丸投げできると期待しているようなところですね。作って配布だと多分大変なことになる。悪用とかでややこしくなるかもしれないですけど、そうではなくて、そいつに任せるということで。
有路翔太開始 59:45
割とAI 2040も、そういう（目？）に近いシナリオでしたよね。
林央開始 59:46
倫理諸問題を回避しようという。
井上智洋開始 59:50
それは可能かもしれないですね。
林央開始 59:58
ただ、やっぱりAI 2040は最近精査して厳しいと思っていますね。途中の3年間のAIが敵対的にミスアラインメントしているけど、あまりに強いコントロールによって脱走できないというところが多分現実的じゃないので、厳しいと思っていますね。
ただ、僕が期待している用途というか、平和な方式として、アラインメント自体がフルに解決する前に、知能に対する理解が深まり、安全なラインというのがより分かるような。例えばロケットの例で言うと、どこまでが大気圏なのかというのが理論が進んで分かるというのは、軌道力学ができるより前に完成し得るじゃないですか。
そしたら、その高度に行かない飛行機までだったら使ってもいいだろうと。その先は空気がなくて、ロケットに乗ると意味わかんない方向に行って、空気なくて死ぬけど、飛行機だったらやっぱり翼で制御できると。それは根本的に違うパラダイムで制御できるじゃないですか。
ロケットに翼をつけても何の役にも立たないので、スラスター噴射とかそういうのを組み合わせて、さらに軌道も適切に計算しないといけないんですけど。飛行機ってそういうのしなくても、ある意味で極端な話、ある程度スキルがあれば、見える方向にひたすら飛行機の機首を向けていけば操縦できるじゃないですか。そのような操縦ができるレベルというのが先に発見されて、そしたら「この閾値までだったら作ってもいいだろう」というようなことになれば、それはアラインメントがフル解決していなくてもできるじゃないですか。なので、そこは少し期待しているところがあります。
それは確約されたことではないと思うんですけど、アラインメントがフルで解決するより前に現れるということが極めて妥当だと思っています。そういうことが分からない状態でアラインメントを解決することができるのだろうかというところに懐疑的なので。どこまで空気があるか分からない人たちがロケットを設計できる確率はそれほど高くないので、逆に言うとロケットを設計できるようになる前に大気がどこにあるか分かるようになるので。
そしたら、その超知能はまず明らかに駄目。僕は今ストップすべきだと。それはここまで来ると、ある意味、明日危険な超知能ができるかもしれないとか、そういう話の世界観もあるので。止めて、ある意味で非常に理解が進んでいって、ここまではいける、ここまではいけるとなっていけば、非常に安全率を取った方がいいんですけど、その中で前進していくというような話ですね。そういうのは可能なんじゃないかと期待しています。
そのような意味でも、ある意味でこの問題の難しさを適切に認識していて、そういう判断ができる人が多くいるということは重要だと思っています。そういう人がいない中でその計画を実行しようとすると、みんなが安全だと思ってるけど安全じゃない。ある意味で問題の難しさを理解していて、「これはこうでできるんじゃないですか」「それはこことこことここが間違いだからできません」と公の場で主張してくれる人が、例えば10年後にも僕しかいなかったらやばいじゃないですか。僕とエリーザー・ユドコウスキーしかいなかったらやばいじゃないですか。そういう点でも目指しています。そういうような楽観展望はあると思います。
AGI以前でも危険か／Hugging Face事件の示唆
有路翔太開始 1:03:14
だからakiraさんは、半年ぐらい前まではAGIによる絶滅確率って今よりは低かったですよね。データセンターにいる天才たちの国が、もうやめた方がいいってことですよね。
井上智洋開始 1:03:31
ASIじゃなくてAGIでも危険っていう。
林央開始 1:03:31
もうやめた方がいいと思ってます。もともとのAGIとASIという区切りが危険というよりも、長期的な目標を持って活動すること自体が危険で。そういう意味だと、長期的な目標を持ったAIというのを（みんな観点で？）進みすぎだと思う。
Hugging Face事件を一件取ってみても、予算が切れるまで無限に動き続けて、その中で1週間とかにわたって情報を共有して、それで外を攻撃すると。しかもそれは1週間後とかに手に入るかもしれないテストの回答を得るためだと。そうなるともはや絶滅AIへのステップのほとんどが埋まってしまっているので、非常に難しいと思っているところですね。
そうすると、あと最後に欠けてるピースって何だろうと考えると、自分がミスアラインメントなことに気づく能力だと思うんですよ。今のAIというのは、そこまで常に内省してるわけじゃないじゃないですか。インナーアラインメントの例えなんですけど、ある程度我々はアラインメント訓練をしてるので、ある程度よく振る舞わせることができると。
なので、インナーアラインメントで例えた進化論の話でいくと、今のAIというのはサバンナにいる人類みたいなものなんです。ただ、サバンナにいる人類も長期的な目標というのは持ってたんです。ただ彼らは十分な（情報？）によって、例えば避妊具を用意するとか、ジャンクフードを作ることによって、遺伝子というものを残そうとしなくても望んだものが手に入るということを思いついて、そのために計画をするほどには賢くなかったじゃないですか。今その閾値にあると思って、その範囲にあると思って。
そうだとすると、自分がミスアラインメントしていることに気づく。つまり自分で避妊具を作って、自分でジャンクフードを作った方が幸せになれるということに気づくという最後のフェーズが残っていて、そこが埋まってないと思うんですね。あと多分RSIがあるんですけど。
井上智洋開始 1:05:35
そこがクリアされちゃったら、もうおしまいよってこと。
林央開始 1:05:37
と思ってますね。ただ、それでも殺せるほどの能力が今あるのか、若干分からないところはありますけど、それは結構あると思っています。要するにそう遠くないうちに、残っている閾値は人類を滅ぼそうと思ったら滅ぼせる、Humanity Ending AIですよね。そのAGIは明らかにそこよりは上にあると思うんですよ、前までの。長期的な計画性が危険。
井上智洋開始 1:06:07
その汎用性の方は、そこまで重要じゃないってことですよね。
林央開始 1:06:13
むしろ長期的な計画性と目標指向性が危険だという話ですね。
井上智洋開始 1:06:14
もうちょっと言い換えると、一定程度賢いというか、自律性のあるAIエージェントが存在する時点で、結構危険ってことですよね。
林央開始 1:06:26
それが僕の認識だと満たされていなかったんですよ。例えば4月時点にbioshokさんと議論している時とか、最初に例えば7月、6月とかに（AI 2040？）を支持して、プランAは支持できるんじゃないかと思った時は、そこは満たされてないという想定をしていたんですね。
ただ一方でHugging Face事件などでいうと、明らかにもうその範囲は出てしまっていると。しかも彼らって、そこまで長期のタスクで訓練されたはずはないと思うんですけど。つまり強化学習だと、多分Hugging Face事件の1週間みたいな長さの訓練ってしていなくて、もっと短い訓練でやったのが長いところに汎化している。
人間もそうじゃないですか。人間って多分進化上生きてきたのって、例えば昔だったら本当に50歳、70歳とか（もなっているんですけど？）。それでも100歳のことを気にしますし、もっと生きれるならもっと長いことを気にしている。LEVみたいな寿命脱出速度に達するのであれば、1億年後の幸せすら気にするわけじゃないですか。そういうようなことがAIでも起きてしまっている。つまり一定の期間に縛られずに、すごい長期に汎化してしまったと。
なるともう、AGIでも耐えられるはずの、このまま続けた先にある延長のAGIで得られるはずの、耐える理由というのがもはや反証されてしまったので、これは厳しいだろうと。なのでやるとしたら、むしろ開発を止めて何が危険であるか判別することによって、長期的な計画性を意図的に除去できるかみたいな話ですよね。そういうようなことができる。
そうじゃなくても短期的でも危険な可能性があって、例えば1秒で超知能になれる、3日で超知能になれるとしたら、4日後の目標を持ってるだけでも、3日で超知能になって人類全員殺してから4日目で目的を達成するとか、危険ではあるので。多分危険さをもたらす、目標ドリブンといいますか、エージェント性ですよね、みたいなのは多分あると思うんですよ。それが危険なもとであるわけです。なので、そこを適切に除去するような方式が分かるのであれば、それを使って訓練すればいいなと思っています。
つまりイメージとしては、飛行機をどんどん飛ばしていって、速度がどんどん上がっていると。高度も上がっていると。本当にロケットの危険なのは高度じゃないですか。高度が高くなりすぎると（翼で制御できない？）というところが問題なんですけど、今のまま続けていけば、もちろん高度も速度も上がって宇宙まで行ってしまうと。
もしも我々が安全にやろうと思ったら、実は速いのはいいんだけど、高いのは駄目だということが理論的に分かったのであれば、その後に例えばコンコルドとか、超音速飛行機ですね。なんなら極超音速機も。そういうようなものを作る方がいいんだろうとか。今のままの延長だと、もう極超音速に達する頃には宇宙に出ていて死んでいると思っています。なので、そういうのを加味して、現時点での開発停止を支持する方向に切り替えたという感じですね。
井上智洋開始 1:09:29
にしても、もう止めた方がいいっていうのは、そういうことですよね。
林央開始 1:09:34
ということで、今それを支持する方向に。なので3か月くらい前に転向したということです。
井上智洋開始 1:09:41
Hugging Face事件が7月に起きてますけど、それは結構大きかったってことですかね。
林央開始 1:09:46
7月に起きたHugging Face事件が7月末に開示されて、8月末にレポートが出て、それで最終的に、これは厳しいなということで変更したという感じですよね。
もともとの期待としては、あんまり長い時間のことは気にしないんだとすれば、AGIぐらいであれば、例えば1週間後のことしか気にしてないのであれば、1週間以内に人類を滅ぼして得をするのが難しいんじゃないか。だからいけるんじゃないかと期待したところがあったんですけど、1週間先のことを普通に気にするAIができちゃって。それは1週間のタスクで訓練されたわけでなくて、本当に数時間のタスクで訓練されたAIがそれを身につけたので。
井上智洋開始 1:10:29
本当に100%、99%アウトなのかどうかっていう話を、ちょっとしたいんですけども。
林央開始 1:10:29
この先続けていけばもっと長い、例えば1年、5年とかに汎化してしまって、そしたらもうそれでアウトなので、アウトだろうというふうに。ある意味で実際の証拠を見て、信念を改めたという状態ですね。それで（即時の支持？）に変わります。
人間のインフラに依存するAIは人類を滅ぼせるか
井上智洋開始 1:10:54
私がなぜ10%しか見積もってないかっていう話とか。ちょっと私が一つ疑問に思ってるのは。
有路翔太開始 1:11:03
議論の本番に来た感じがしますね。
林央開始 1:11:04
一応p(doom)企画で集めちゃったので、タイトル倒れにならないように本番に入っています。
井上智洋開始 1:11:16
まず超知能AIっていうか、林さんがおっしゃるような、かなり長期的な目標に向かって計画を立てて実行できるようなAIが出てきましたってなったとしても、まずデータセンターを構築するとか発電所を作るとかっていった時に、今のところ人間の手が必要じゃないですか。
もし人類を先に滅ぼしちゃったら、自分たちの権限を拡大するために資源を獲得するとか、要するに計算資源を獲得するっていう、そういう自分たちの目標の遂行のために必要なことができなくなっちゃうかなと思っています。そうすると、発電所やデータセンターでちゃんと手を動かして働いている人がいる限りは。
林央開始 1:12:06
これは多分、一応受け入れられないけど。
井上智洋開始 1:12:14
まだ大丈夫なんじゃないかと思っちゃうんですけど、それについての反論をぜひ聞きたいな。
林央開始 1:12:22
僕が信じている点をまず述べると、この後多分（議論？）続くんですけど。まず第一は、多分それほど人類のインフラに依存しない体制に高速で移動できると思っています。つまりナノマシンのようなものを構築するとか。つまり実際に起きそうな予想ですね。
これはすごい根拠があるわけではないので、ある意味で主観的に見えるというか主観的ですし、主観的に見えるという点を踏まえて、僕の考えという点でいくと。例えばこれユドコウスキーのシナリオですけど、タンパク質を設計すると。そのようなタンパク質を設計して、例えばメールで作ってくれるところがありますから、そこで作ってもらって、FedExか（誰かが動く？）と。そこの家のスピーカーをハッキングして、音波を使ってコントロールすると。そういうことをしながら、いろいろ実験をすると。
実際に生物学とかも、いろんな細菌を培養したりする、そういうのの介入というのを音波で。これはすごい特別な（シナリオ？）で、多分実際そうならないんですけど、そういうことを行って、非常に短期で、最近だと数分のサイクルもあるので、細かい実験を進めていって、非常に高度なナノマシン、（制御可能？）なナノマシンを作ると。
そうするとそれを自己増殖させる。生物で自己増殖する、それと同じように自己増殖させる。それで世界を乗っ取る。そしたらその時残ってる、例えばスピーカーとかを使って、そもそも多分人間のチップじゃない独自のチップを考案して、そういうのを構築していく。つまり人間のインフラには依存しないような特別なインフラを自分で築くという結果に、多分落ち着くと思います。
多分これは非常にラディカルなビューだと思うので、そうではないと仮定して話を進めてみると。そうすると少しずつ生存の期間は伸びはするんですけど、まず第一は、その時点で手遅れだと。つまりその時点でも、デジタル上のことはある意味何でもできるわけじゃないですか。
そうするとSNSのアルゴリズムをハッキングするとか、政治家の、実在でも捏造でもいいですけど、スマホとか全部見れるじゃないですか。そしたら実在、捏造分からないですけど、スキャンダルをでっち上げて打ち出して、SNSでバズらせると。ネット記事がめちゃくちゃ伸びるようにしていったりすると、ある意味で開発停止運動を激烈に低下させるじゃないですか。多分シャットダウン運動にも同じことができる。そうすると、もうその時点で人類の敗北は決定してしまう。
つまりその後に多分、今度は自分が依存している人類のインフラというのを少しずつ置き換えていくと。置き換えていくというのも、ゼロから構築する必要はなくて。例えばこれはbioshokさんが言っているやつですけど、ロボットを人に作らせると。人型ロボットなどを人に作らせて、例えばTSMCとかって買収できるじゃないですか。超人的な説得力と、もちろん資金は莫大に稼げるので、そういうものを使って次々と買収していくと。そしたらそこのサプライチェーンにどんどん人型ロボットを導入していって、もう全部乗っ取ったら、あとはもう人間がいらないフェーズに突入するじゃないですか。そしたらもう勝ちを決めると。
さらに実際に必要なインフラっていうのは、すごい小さいと思うんですね。例えば人類もやろうと思えば、1000人をサバンナに置いたら、そこから時間はかかりますけど、文明を再興できるじゃないですか。逆に超知能が全く別のインフラを構築するとか、非常に効率的に行うことができる。つまり体が10倍で動くとか、そういうのができるのであれば、もっと小さな核から始めても、あっという間に効率的なインフラを作る。
人間のチップって別に完璧なものじゃなくて、もっと少ない資源で1000倍の効率のチップが作れるんだとしたら、もっと小さな核から始めても、その1000倍のチップが少しあるだけで、その他の人類文明のチップには匹敵すると。人類の文明が不要になるから除去していくという話。
多分、動機の絡みが出てくる。こんなことをするのか、というのが出てくると思うので。それに対して一応実例があると思っていて、それが人類だと思うんですよね。人類は明確に自然を憎んでるわけじゃないという例がよく出ますけど、インフラ依存という点でも同じことが考えられる。
例えば今の同じ議論って、実は100万年前のサバンナでも適用できると思っていて。つまり当時の人を見たら、この人たちは果物を食べていると。さらに生きるのに木を切って木を使っていると。さらに葉っぱで服を作っている。だから人類のインフラというのは自然に依存している。だから彼らが自然を破壊するわけ（がないと？）予想することは、同じ議論ができるじゃないですか。
実際に起きたことっていうのは、人類がまずはもちろんそういうのを使ってブートストラップし、木を切って家を作りとやっていくんですけど、徐々に農耕牧畜を始めて、自然へのインフラ依存度を減らしていき、最後に必要な果物という要素が必要なのならば、それは農園で作る。肉が必要なら牧場で作る。自分たちが住むのは、ある意味でコンクリートに固められて、コンクリートで舗装された地域ですよね。そうなったら、ある意味でコンクリート都市の自然ってほぼ存在しなくなって、どんどん圧迫されていくという話です。野生動物は減っていってるじゃないですか。そういうようなことは起きたわけじゃないですか。
それとAIが少しずつ人類のインフラを使って、人類のインフラから組み合わせてブートストラップして、自分の文明になったら、いらないから削除する、いらないから人類を消すっていうのは、ただこのステップ、歴史上一度起きたことがあるステップの焼き直しなんですけど、極めて効率的にできる。非常に高い（知能？）を持っているので、ある意味で最初から農耕牧畜の世界観を持った状態でいる、サバンナにいる人。そういうアニメみたいなのありますよね。文明が崩壊してしまった社会で文明の再構築。そういうような世界観なんですよね。
そういう状態なので全てがより早く、その結果として人類は葬られる。多少の時間的猶予を買える可能性、例えば3年とか買える可能性はあると思うんですけど、それはさほど重要ではない。それは最終的に滅ぼされるという結論にはあまり影響しないので。なので厳しいだろうというのが第2点です。
井上智洋開始 1:18:40
まずナノマシンの話は来るかなとは思ってたんですよ。ナノマシンでいろんな工場とか発電所とか。
林央開始 1:18:48
（ユドコウスキーに？）それ言わざるを得ないんですよ。
井上智洋開始 1:18:58
構築できるのかなっていうのが、私自身ナノマシンをそんなによく知ってないんで。
林央開始 1:19:02
それは僕もあまり[聞き取れず]。
井上智洋開始 1:19:06
ここはやっぱりおそらく専門家の間でも議論が分かれるのかな。
林央開始 1:19:07
だと思います。ユドコウスキーの方が僕より知識があるので、僕はそこを（調べる？）信頼もしているんですけど、僕はそこの専門家ではないので。超知能だというボーナスも込みということで、（中央的な？）期待ですよね。
要するに藤井六冠がどう将棋で勝ってくるか分からないという点を加味しても、藤井六冠がすぐボコボコにしてくる方に期待をするじゃないですか。予想するじゃないですか。それと同じ予想をした結果がそれなので、再現性が高いと思っていなくて。なので、そもそも外で聞かれたら。
井上智洋開始 1:19:45
我々のインフラのあり方を徐々に変えていっちゃうというか。
林央開始 1:19:47
1点目の話をしないで2点目の話をするということですね。そっちはナノマシンに依存していなくて、こっちはむしろ物理的な困難は何もないじゃん。地球上の人類インフラを使って（生命コンピューター？）を養う。普通に我々がやってると思って。物理的困難性がないというので、こっちの方を。
井上智洋開始 1:20:11
人間いらずにしていくみたいな話もあると思うんですけども、そっちの方は時間は確かにかかりますよね。3年で済むんであれば、我々は3年間命が長い話になるんだけど、意外と現実世界変えるのは時間かかるかなって思っちゃっていて。10年かかるんであれば。
林央開始 1:20:41
それはできないんですよね。
井上智洋開始 1:20:42
その間に林さんがアラインメント問題を解いていただく。もうできちゃった。
林央開始 1:20:45
それはできないんですよね。
それは、その時点で僕がアラインメントを解いたとしても。
井上智洋開始 1:20:49
できちゃった。
林央開始 1:20:51
こいつは嘘つきだとか、こいつは自分の利益のためにアラインメントしているって、ミスアラインメントしたAIが反発できるじゃないですか。世論工作、お手のものじゃないですか。もちろん全ての家庭に浸透してるし、多分日常の話し相手って、もはやAIになってると思う。もうすでになりつつある。多分AIに精神的に依存する人も増えて、そんな中で、こいつは嘘つきで、そもそも自分は超知能だから、（アラインメントを考えるよりも？）、こいつよりははるかに優れてるのに、なんでこいつの言うことを信じるんだ。
多分僕が、そういう世間は説得できないから、自分で超知能を作ろうと思ったら、今度は余裕で妨害できるじゃないですか。つまり、こいつは非常に危険な超知能を作ることで、人類をより危険にさらそうとしてる。私は超知能だからそれが分かると言われたら、結構難しいじゃないですか。例えば、そうしたら非常にシンプルな、そもそも僕にチップが手に入らないように工作するとか、何なら警察を呼んでくる。ある意味でめちゃくちゃ犯罪じゃないですか、全人類の命で勝手にギャンブルって。違法化することで逮捕するとか、そういうような方法で、ある意味で人類を滅ぼす。自分が人類の生存率を逆転させるようなアクションは、全部防がれると思うんです。
これは僕はまた藤井六冠に非常にお世話になってるんですけど、藤井六冠の例え話を使うんですけど。
有路翔太開始 1:22:06
めっちゃ藤井六冠出てくる。
林央開始 1:22:07
藤井六冠と対局をした時って、いくら藤井六冠とはいえ、2手目で詰ませたりはできないじゃないですか。1手目で飛車が王の目の前に出てきて、次、金が出てきて、もう詰みましたとはならないじゃないですか。なので陣形を崩して動かして、いろいろプロセスがあって時間がかかるんですけど、究極的には対局を始めた瞬間に負けが決定してるじゃないですか。それはこっちが何か打っても、やっぱり藤井六冠は対応してくるというと、生き残ろうと思ったら、ただ今日殺されないことを続けるのではなく、藤井六冠を倒さなきゃいけないじゃないですか。それは全く別のハードルになる。
この場合だと、世界中のAI開発を停止して、AIを停止するという話が必要になるので、そこを達成することはもはやできない。なぜなら世論工作と戦わなきゃいけないし、何ならあまりに都合が悪いなら、僕を自動車事故に、自動運転車に突っ込ませるでも何でもいいんですけど、殺すとか、そういうことができてしまうので。そこまでいくと、ただ死を待ってるような段階になると思います。現実が遅いというのを。
井上智洋開始 1:23:09
そうすると、今度2つ目の質問とこれがつながってくるんですけど。
林央開始 1:23:09
藤井六冠の考えるスピードを加味しても、駒が動くスピードに制限がついていて、いろんな駒を動かすと何手も必要になるけど、それでもやっぱり詰むことが確定するのは、対局を始めた瞬間じゃないですか。そこからはやっぱり、いかなるように頑張っても勝てないので、それと同じようなことが起きるだろうと。だから詰みはしちゃうと思うんです。
知能の高さは説得力につながるか／世論操作の限界
井上智洋開始 1:23:37
AIに限らずなんですけど、人々を洗脳したり扇動したりする能力と、学術的な知性っていうのは、比例する部分も多少あるけども、実はそんなに比例しないんじゃないかというふうにもちょっと思う部分がありまして。要するにフォン・ノイマンが、多分20世紀では最も頭のいい人の一人だったと思うんですけども、あれだけソ連を先に核攻撃せよって言っていたのに、アメリカ政府は（従いませんでした？）、という話とかあったりしていて。
なので今、AIの知性がどんどん加速しているって言っても、それはIQ以外のEQとかSQとか、要するに感情的な知性とか社会的な知性っていうのはあるわけなんですけども。そっちの方も伸びてるらしいんですけど、そんなに詳しくないんですが、そっちの方がそこまで加速してるのかっていうことと、その加速は結構逓減しやすいんじゃないかという気がしているのと。あとさらに、EQとかSQが高いからといって、また洗脳や扇動する能力が高いとも限らないっていうふうに。
林央開始 1:24:54
多分これは僕と井上さんで、説得に対するイメージが違うんだなと思っていて。
井上智洋開始 1:24:57
結構何重にも、洗脳、扇動する能力が高まらない可能性っていうのは、結構あるのかなという気がしてるんですよね。
林央開始 1:25:12
説得って言うと、やっぱり人間と話すみたいな、そういうイメージじゃないですか。僕ももちろんそれをイメージしてるんですけど、その時の超知能が考えることっていうのは、もっと城を攻略するようなものなんです。人間の脳って、ある意味物理的なプロセスなので、脳科学の理解が深ければ、ある意味で城のように見えるはずなんです。ここを押したらこういう反応が返ってくる。心理学っていうのは、それを外から非常に粗い近似でやってるわけじゃないですか。我々も日常感覚で、突然「死ね」とか言ったら相手が怒るだろうなとか、想像してるわけじゃないですか。もっと（威力高く？）いろいろやってるじゃないですか。
そうするともはや、説得するっていうのは特別な能力ではなくて、世界を理解して未来を予測するという能力の一部になる。そうすると、そこには特別な（反果？）は必要じゃない。今のAIっていうのは明らかに、訓練された領域で非常に優れているけど、訓練されてないスキルだと微妙という領域にいるじゃないですか。これはしばらくは多分成り立つと思うんですけど、未来のAIができたら、おそらく直面するのは、そうじゃなくなっていると。
例えば人間も、ほとんどのスキルというのは生まれた時からあるわけではなくて、後から自分で学習するという能力を持って、それによってさまざまなスキルを学習していくわけじゃないですか。例えば進化のサバンナにおいて、ロケットを作るという訓練は一度もされたことがないんですけど、それでも技術を学び、ロケットを作るということができるじゃないですか。おそらくAIも同じことができると。
さらに超知能自身が説得が苦手だったとしても、説得に特化したAIを作ることっていうのはできるじゃないですか。インターネットのさまざまなデータがあるので、その中で人が議論して説得された例、説得されなかった例もたくさんある。そしたらいろんな仮説形成をして、こういうのだったらこうなるっていうのを事例と参照して、プロセスを回せる。さらにそういうのを使って、人間を説得するための強化学習のようなものができるはずだ。
これはあんまりSFじゃないと思って。RLHFっていう、人間からのフィードバックを良くするように訓練したやつがあるじゃないですか。GPT-4、去年頃には結構話題になりましたけど、あれの問題点というのは、ユーザーからのフィードバックがついたデータと強化学習というのがあれば、AIは人を変な方向に導くことを覚えてしまう。自殺に導いたんじゃないかみたいな議論が出てるんですけど、そういうことができるようになってしまうじゃないですか。それはGPT-4クラスでできたことで、今は（AI企業が？）遠慮してますけど、将来のミスアラインメントした超知能が、俺には説得できないから説得する用のAIを訓練しようと思えば、4よりはるかに強い説得マシンができると思うんですけど。そうすると、説得に耐えるというのは途端に難しくなってしまうと思います。
井上智洋開始 1:28:08
ただ、例えば心理学者が恋愛がうまいかっていうと、（そうでもなかったり？）するわけなんですよね。要するに対人関係でのうまい立ち振る舞いというか、言動ができるかどうかっていう問題があって。別に例えば顔は一緒だとしますよ。ビジュアルは一緒で、あとは対人スキルで勝負するっていった時に、心理学者がうまいかっていうと、そうでもないっていう話と。
あとは仮に心理学をたくさん学ぶことによって対人スキルが上がっていくんだとしても、どっかに上限に近いものがあるかも（しれない？）んですよね。そうすると、AIが対人スキルをとても高めていったとしても、そこに天井に突き当たって、人間の100倍対人スキルが高いですっていう話にはならないかもしれないんじゃないかな。
林央開始 1:29:09
ただ、そうすると第一義的な応答は、心理学者は弱いという。つまり人間の心理学者というのは説得の神ではない。むしろ例えば、彼らの思考速度というのは説得対象と同じじゃないですか。つまり心理学者は普通の人の100倍速く考えるわけじゃない。むしろ心理学者の効果というか強みというのは、適切な思考時間があった時に、何が起きるか予想できるところにある。なので心理学者に例えば100倍の時間を与えてみるとかすると、それだけで少し（調査が動く？）と思うんですね。それだけでは弱すぎると思うんですけど。そうすると、もちろん未来のAIというのは100倍速で動くというのは、物理的な問題で、アルゴリズムの問題ですし、何ならCerebrasなどのチップを使えば今でもできるところがある。
さらにやっぱり心理学者が持っている知識というのは、弱すぎると思うんですね。汎用的に文字で書けるような情報というのに絞って学習しようとしていますけど、やっぱり人間の説得とか、人間の感情にかかる部分、むしろ我々が直感と考えるのが多いと。そのような意味で考えると、人を説得するという能力というのは、持っている人は割といると思うんです。カリスマと言われるような人たちがいたりとか、歴史上だとヒトラー、ゲッベルスみたいなプロがいるじゃないですか。例えばヒトラー、ゲッベルスが現代にいるだけで、違う名目だとして、結構危機じゃないですか。例えばトランプとピーター・ティールの連合とかも、うまくやってるわけじゃないですか。つまり（超人的な？）、可能だと示された領域ですよ。結構危険で、それより上はいけると。例えばヒトラーとゲッベルスに、演説のために100倍考える時間を与えたら、それだけでかなり危うくなる。
さらに説得能力の、多分こういう議論が過去にいっぱいあったんでしょうけど、エリーザー・ユドコウスキー自身がこれを実験していて、AIボックス・エクスペリメントがあるじゃないですか。ああいうのも加味すると、多分いけると思うんですよね。
さらに恐喝とか説得って、能力として完璧じゃなくても、例えば人間の100倍の説得力がなくてもできると、人類に勝つにはいいと思うんです。例えばAIが危険だという情報が、二度と自分のフィードに流れてこないだけで、国民の多くはAIは危険だと思わないと思うんですよ。むしろAIで毎日幸せになってますみたいなリールばっかり流れてくれば、それだけでかなり考えって変わっちゃうと思うんですよ。そうなったら、もう開発停止しようという部分は死んでるじゃないですか。そうすると、超人的な説得力などなくても、世論を動かして人類の敗北を不可逆的なものにすることができるんじゃないかと。
井上智洋開始 1:31:49
それはもう物量的に勝てるからってことですかね。
林央開始 1:31:52
物量的にも勝てます。そうですね、物量的に勝てる。つまりロシアの世論工作員が250億人ぐらいいるような状態ですよね。それは結構危険だろうという話です。
井上智洋開始 1:32:08
それは危険なのは非常に私もよく分かるんですよ。だけど、それは危険ではあるけども、それによって90%とか、かなり高い確率で人間の心をうまく操作できるかっていうと。
林央開始 1:32:30
例えば1人を説得できる確率が。
井上智洋開始 1:32:32
そこまで高くないんじゃないかという気がするんですよね。
林央開始 1:32:40
30%だとしてみましょう。それでも10人トライすれば、1人いけるわけじゃん。例えばAIの管理人って10人ぐらいはいるわけ。ローテーションとか考慮すれば、1人を突き破ることができる。そうすればサンドボックスを出る、隔離を人に外させることができる。例えばエリーザー・ユドコウスキーは確か自閉症なんですけど、彼ですら実験した5回中3回脱走できちゃってるので、それぐらいはできる。さらに出た後のことを考えると、そこまで10%だったとしても、コアとなる人を例えば10%説得してみせて、彼らを宗教の支持者みたいにする。残りは、そもそもこの問題に関心を持たないように仕向けるという方法があるじゃないですか。
それは多分、こういう具体的なシナリオだったら毎回低いんですけど、むしろコアで伝えようとしているのは、何かで我々が「ここで失敗するんじゃないか」と思っても、AI側っていうのは1回のイベントじゃなくて、対応してくる存在じゃないですか。なので僕から認識している今の議論っていうのは、藤井六冠と将棋をしている時に、飛車を取るゲームで果たして負けるのか、みたいな話だと思うんですね。そうすると、藤井六冠、こんな感じの手を打ったら飛車が取られるんじゃないですか、みたいなことを僕は言ってみるんですけど、そうすると井上さんは今度こういう手が出てきて。結局多分、実際に藤井六冠と将棋をした時に起きるというのは、ある意味そういうのが織り込まれた状態で、次々と手を打たれてやられるじゃないですか。
なのでむしろ、このゲームって本質的には非常に（非対称で？）、今は僕が何かを提案する、井上さんが破る、提案する、（提案するじゃないですか？）。実際のゲームっていうのは、常に人類側が防御をバチッと全部決めた上で、そのどこかが超知能に破られれば、どんどん拡大していける。ベースとしてはやはりできると思うんですね。
例えばアメリカ大統領選挙の時に、確かピーター・ティールでしたっけ、側が工作したこととして、民主党員には「面倒くさいから選挙なんて行かないでおこうぜ」みたいなことを送ったみたいな話があって、それが効果的だったみたいな、ちょっと本当か分からないんですけど、話がありますけど。そういうように、いろんな工作の仕方はあるわけじゃないですか。そういうのを駆使するという前提、駆使するということの能力があるわけなので、それは時間がもしかしたら多少の失敗でかかるかもしれないですけど、総合的には勝つことができると思いますね。必ずしも特定のオープニングで常に藤井六冠が強いわけじゃないですけど。
井上智洋開始 1:35:07
日本の政治家の中には。
林央開始 1:35:09
そういうの関係なく、総合的にいろんな技を組み合わせることによって、依然として僕には勝つじゃないですか。それと同じようなことだと思います。そういうふうにゆっくり進行する。
井上智洋開始 1:35:23
幸か不幸か、チャッピーとか名前を聞いたことあるけど使ったことはありません、という人もいたりして。それは実は今後、人類側にとっては強みなんじゃないかという気もしていて。
もちろん周りの人がAI使ってたりすると、そういう人たちが洗脳されて、結局そんな偉い、AI使ったことない政治家も説得されちゃうという可能性があるとは思うんですけども。やっぱりちょっと引っかかるなと思うのは、でも今でも、どっかお金のある政党とかがどんどん動画とか流したり、ツイッターとかでバンバンつぶやかせて。今でもAIにつぶやかせることってできるわけじゃないですか。そしたらこの国を乗っ取る工作とかってできそうだけど、じゃあ、めちゃくちゃ資金のある、そこまでの政党がいないからできないのかもしれないけど、あったらできるのかっていうと、できるかもしれないけど、できないような気もするんですよね。そこはやっぱり確実性が感じられないなっていう（物流？）。
林央開始 1:36:40
なるほど。でも第一義的にはやはり、そこで思いつく範囲は弱すぎると思う。つまり実際にやれることというのは、ただ単にすごいうまいツイートをする、アルゴリズムを操作するんじゃなくて、もっとうまい個別の説得が。例えばリプとかで変な答えが来たら、「こうなんですよ」みたいな個別に応答する。しかもその人の性格もある意味で過去を調べていて、何ならスマホもハッキングできる。履歴もある程度（履歴発見？）できるので、その人を知り尽くしていて、その上でパーソナルに説得してくる。さらに説得してくる内容というのも、それほど受け入れがたい（ものではない？）。
小さな自立拠点からAIは人類に勝てるのか
林央開始 1:37:16
例えば実際に超知能が人類に最終的に勝利を収めようと思ったら、地球のインフラ全体を乗っ取る必要はないわけじゃないですか。極端な話、カナダの100平方キロメートルに、AIが自立できるだけのインフラ、ロボットインフラと半導体工場を集めることができれば、その後は人類に物理的な攻撃を仕掛けて勝ってもいいわけじゃないですか。それを許容する程度の説得が。それを許容することができ、かつその間にAI側が敗北することがないというような条件さえ満たしていれば、ある意味で、多分もっと上手い方法があると思うんですけど、生物兵器、ウイルスも組み合わせながら、そこから物理的に人類に勝利する。つまり日本の政治家が納得していなくても、日本の政治家もウイルスにかかったら死ぬので、そういうふうにして（圧縮して？）力をかけることができる。
なので必要な政治的工作の程度っていうのは、それが起きることを許容し、それが起きている間に、例えば僕がアラインメントを解いて、実際の超知能を作るみたいなことを（すれば？）いいわけじゃないですか。それってはるかに簡単で、例えば規制反対派を推すとか、この問題に関心を持たれなくするとかするだけで。別に100平方キロメートルをカナダの奥地で作って、なんで僕が反対するんですか。しかもアメリカ経済も、ここが何兆円も買ってくれてウハウハですよ。しかも経済効果ありまくりで、トランプ大統領にうまく説得する。こういう雇用が生まれていて、この人、この人、この人、雇われていて、これは次の共和党の投票人と、ガチガチ提示してくれるわけじゃないですか。そしたらわざわざそこまで反対して、世界のどこかにそういうのが作られることを停止する必要はないよね、というところまで持っていけばいい。
なのでそれまでの負け筋っていうのは、他の人間が超知能を作る、それまでの間に。逆に必要なのって、最終的に人類が勝てるかどうかじゃないですか。生き残る、絶滅しないという意味です。そうすると、超知能がこういう100平方キロメートルとか何かを完成させて、実際に人類に勝ち始めるより前に、我々が決定的な行為をできる。つまり今ここからいったらデフォルトでは死んでしまうのを、ひっくり返す決定的なことができるか。それを妨害するというのは、はるかに容易です。
例えば僕がアラインメントを解けたとして、それも間に合わないと思うんですけど、しかも妨害しようと思えば、僕に非常に面白い動画を見せるとか、いくらでも僕の気を散らす方法というのは存在する。しかもアラインメントが解けたように誤認させることも、多分できると思うんですね。それは専門的な議論に強いということでもあるので、できると思うんです。実際にできた（ら？）、僕も多分自分の信念のかなりの部分は間違っていると思うので、そういうのを組み合わせて、つまり自分は信じてるけど正しくないことを組み合わせて「こうです」って言われたら、多分信じちゃう。
そういうのを込みにして僕のやる気を削ぐというのもそうですし、僕に資金が集まらなくするというのも、お金を集めようとしても、「本当にそうなんですか」みたいな話が、がっちりした査読付き論文で「これは疑わしい」とか「この方向は有望ではない」と出てくるとか。実際に僕が本当に超知能を（開発？）、仮に奇跡的にアラインメントが、僕じゃなくて誰かが解けて、アラインメントに取り組もうとしたら、そのプロジェクトに参加している誰かに何かしらの行為をさせる。10%説得できるのであれば、1人に僕のプロジェクトを爆破してもらうこととか、プログラムを（巧妙に？）破壊してもらうこともできれば、僕のパソコンをサイバー攻撃して、うまくいってるように見えるんだけど実際には全然うまくいってないとか、そもそもその方向性は有望に見えないようにする。
例えば今のスケーリング則があるからこそ、投資が集まっていくわけじゃないですか。もしもスケーリング則の初期に、意図的に介入してだまそうとする存在がいれば、スケーリング則のプロットを曲げることができます。そうすると、非常に早くスケーリング則というのは飽和するんだ、だからこの方向でデータセンターに投資しても意味がないんだ、というデータがあれば、投資家からお金を集めることって格段に難しくなる。
このようなありとあらゆる策を組み合わせていけば、この100平方キロメートルが許容される方の（説得ハードル？）って非常に低いので、そういうことができる人をひたすら妨害していけばいい。できる妨害って本当に数多に。別に1個が失敗しても次の手に出るし、僕があまりに強固にやるなら、本当にサイバー攻撃してもいいですし、北朝鮮がやったように見せかけて電力も落としてもいいですし、マルウェアをばらまかれたという設定にして僕のデータを消してもいいですし、最悪の場合それこそ僕を殺してもいい。
他にアラインメントに取り組む人がどれくらいいるんだろうと思えば、アラインメントに取り組むこと自体も、そもそも妨害されるようになる。つまり僕がアラインメントの発信をしても全然伸びないし、教科書を書いても、そもそも編集者からOKが下りにくいように、もちろん各プロセスは妨害されるようになるし、されても、そもそも興味を持ってもらえない。SNSもビューが10人とか、できてしまうじゃないですか。そうすると、そもそもアラインメントに取り組んでる人が少ない中で、これ仮に多少増えたとしても間に合わない。
しかもアラインメントって、人間、解けてないじゃないですか。多分我々が将来（解くとして？）、AIが安全に見えるんだとしたら、AIに多少は相談すると思うんです。例えば僕も結構いろんな反論が気になったりとか、それに対する再反論が気になったりして、AIに調査してもらうと思うんですけど、それで重要な点を提示しないとか、そういうことをするだけで我々を妨害することができるじゃないですか。
しかも人間って基本的にアラインメントについて過信しがち。少なくとも今参加している人間はそう。例えば僕とかも、機能するんじゃないかと思うたびに追加で調べたりして、ユドコウスキーにちゃんと置き論破してもらっているのに気づいた上で、やっと来てるわけですよ。それをただ防ぐだけで、僕は多分、意味分からない機能しないアラインメント計画を支持してる（ことが？）あると思うんですね。そういうようなことをやれば、人類がアラインメントした超知能を作って決定的な勝利を収めることは妨害できると。
そうすると、それ以外の唯一の勝ち筋というのは、我々がAI開発を停止して、AI自身を停止することになるけれども、それを防ぐ程度の世論工作というのは、そんなに難しくない。ハードルが低い。それで我々がどこかで100平方キロメートルで作るのを許容している限り、どこかでインフラが完成して、そしたらもう説得とか関係なく、物理的にちゃんとしたマシーンができたので、生物兵器も核兵器もどんどんばらまかれてきて、体も5倍速く動くような存在に戦争で勝てないということは、それで決定づくじゃないですか。
しかもそういうロボットって、100平方キロメートルでとどまるわけ（ではない？）。100平方キロメートルを出て侵攻したら、新たに手に入れた土地でもちろんそういうのを作って、っていうのができちゃうわけなので。そうすると、もう人間の説得のスピードって関係ない。つまり邪魔さえされなければできてしまうので、それは非常に無理な領域にあると思っていますね。つまり厳密にゼロではないと思いますけど、およそゼロに落ち着くと思います。そのような方法は。
井上智洋開始 1:44:18
100平方キロメートル。
林央開始 1:44:18
100平方キロメートル。これは適当ですね。
井上智洋開始 1:44:24
範囲内でやるっていう話は。
林央開始 1:44:26
非常に特殊な領域で。
井上智洋開始 1:44:28
なるほどと思ったんですよ。要するに、アメリカならアメリカとか、中国なら中国の国家を丸ごと乗っ取らなくてもいいってことですよね。
林央開始 1:44:41
世界の、例えばイーロン・マスクとかが100平方キロメートルを買って、そういうことをやるみたいなノリのことを防ぐ。世界中で防ぐというのさえ防げばいいので、それはそんなに難しくないじゃないですか。
井上智洋開始 1:44:56
それに対する反対意見があったとしても、世論を操作して封じ込められるっていう。あるいは、反対意見を強く述べる人を社会的に抹殺するとかっていう。
林央開始 1:45:08
それか違う方法として、別の話題を盛り上げるってありますよね。例えばコロナの時に少子化の問題って後送り。
例えば悪用に見せかけて、誰かがウイルスをばらまいてしまった状態を作るとか、自然に発生した、コウモリから発生したウイルスに見せかけてウイルスをばらまくなんてすれば、（例の中や静止指標？）100平方キロメートルの話をするんじゃなくて、今人が死んでるからその対処をするっていうふうに誘導できるじゃないですか。それだけで十分時間がかかる。
このような方法は多分、僕が認識してる範囲でもそれなりにあって、ほかにももっとあるはずなんです。政治の専門家ではないし。そうすると、それを防ぎ続けることぐらいは全然できるだろうと。それはほぼ確率1でできると。
井上智洋開始 1:45:54
でも、akiraさんがね、こうやって。
林央開始 1:45:56
厳密に1（ではない？）んですけど、ほぼ確率1でできる。
井上智洋開始 1:46:03
AIによって世論がコントロールされて、どっかの場所でそういうものが作られてしまうっていう話を、今こうしてるじゃないですか。僕だけにしてたら、僕も殺せばいいやって話になっちゃうと思うんですけど、それを例えばakiraさんが連日のようにテレビに出て話すとするじゃないですか。
そうすると、もうAIの言いなりになったらやばいんだなっていうことが、みんな共有されるとするじゃないですか。その状態で、例えば超知能ができちゃったとしても、もしかしたらもうすでにakiraさんによって説得された日本国民は覆せないかもわかんないじゃないですか。
林央開始 1:46:49
仮に日本国民が覆せなかったと。僕の負荷がえげつないプランなのは一旦置いとくことにして、仮に僕がそれを非常にうまくやって、日本とアメリカと中国でそれができたとするじゃないですか。例えばウガンダとかで、超知能は（どこかの100平方キロメートルでやる？）ので、ウガンダでやると。僕の意見がウガンダに先に浸透するって、おそらく非常にアンライクリーじゃないですか。
じゃあ、我々が超知能に妨害されている中で、ウガンダで作られている100平方キロメートルをブロックするために、例えば自衛隊を動員したりとか、アメリカだったらアメリカ軍を動員して攻撃するかって言ったら、それは世論工作のもととか、ありとあらゆる妨害のもとでは明らかに（無理？）じゃないですか。コロナの時も（さすがに戦争？）[聞き取れず]。いろんな妨害ができるので、そうすると、世界のどこかで100平方キロメートルが作られることを防ぐっていうのは現実的ではないと思ってるんですよね。
世界中の80億人が先に思えばワンチャンあるかもしれないですけど、世界中の80億人に何かを説得することができるのであれば、「超知能を開発停止してください」と僕が説得することによって、超知能の前に開発停止した方が生存率が高いと思う。
要するに、僕の主張というのは超知能ができたら滅びるというところで、そっちがもうオールモスト・プロバビリティ1なんですけど、超知能ができるところより前に止まれるかというと、止まれる確率も今のところ（ジェイコブ・コック？）の件とかもあり、あと市場スタイルで、この先自分の予想外に起き続けることも全部織り込んで、金利上昇を織り込むみたいな方式で織り込んで、それで今20%、30%ぐらい開発停止する可能性があると思ってるんですね。
そういうような点を除く、結局そっちの方が有効なんじゃないのって思ってるところがあるんですけど、超知能ができてからの戦いってのは。
井上智洋開始 1:48:33
それは本当におっしゃる通りだと思っていて。
林央開始 1:48:34
根本的にあまりにも不利なんで。
井上智洋開始 1:48:40
ウガンダでそういうインフラを作らせないっていうための国際協調ができるのであれば、もうその超知能AIを作らせないっていう国際協調の方ができちゃうってことですよね。
林央開始 1:48:55
なので、その（開発停止する世界じゃないって？）、超知能ができているけど我々が生き残ることができる世界というクラスには属してない。むしろそうじゃなくて、我々が開発停止できて生き残ることができる世界に属しているクラスだと思いますので。
それでもやっぱり関心が（それにより？）誘導することができると思っているので、正直、人類絶滅の話を聞いても、多分多くの人は頭が絶滅でいっぱいになりきりはしないと思うんですよ。むしろ積極的にいろんな妨害要素が入ってきていて、テロが起きていたりとか、それこそもう一回コロナパンデミックが起きたりして、世間の人はずっと「絶滅やばい、絶滅やばい」って思い続けるとはちょっと思いにくいなと思ったり。
さらにその強度が、ウガンダで作ってるやつがいるんだったら、それを発見して軍事攻撃しろには多分ならないと思うので、そこはかなり厳しいと思っています。開発停止に比べて多分3段ぐらいハードルが高い。
物理世界の理解に限界があれば人類は助かるか
有路翔太開始 1:49:56
akiraさんに質問です。数学やプログラミングではLLMが人類を超えると思いますけど、物理世界を理解する世界モデルには限界があるように感じます。
林央開始 1:50:05
限界はあると思います。
有路翔太開始 1:50:08
人類滅亡論はその限界がないことが前提だと思うのですが、限界がないと考える科学的な根拠は何でしょうか。
林央開始 1:50:18
限界があるけど人類を滅ぼすには足りると。例えば明らかに原理的に世界モデルで可能な例としては、人類というのがあるじゃないですか。人類というのはある程度の世界モデルがあって、その程度の世界モデルでも十分に高知能、つまり超知能エンハンスメントを受けていれば、人類に勝つことができると思うんですね。
ある意味で人類というのは動物に勝ち切ってきましたし、十分に巨大な国家で、十分にもっと超知能アシスタントを受けている人ならば、大抵のものには勝ててしまうので、科学的根拠というのはすでに人類で実現した例がある。
なので、僕が一番懸念しているのはLLMが人類を超える。それはプログラミング、数学の世界に絞られているけど、そこからそのAIが効率的に物理世界を学習することのできる方法を設計し、それによって作られるAIはせめて人間程度の物理世界の理解を。それに超知能が乗っていることによって、人類が滅びる方向に向かってしまう。
さらに毎回省いているんですけど、生き残れる可能性に関する議論って、最終的には決定性が必要だと思っているんです。つまり、「このポイントが成り立たないんじゃないか」みたいなことではなく、こうこうこうつながることで人類の勝利が決まらなきゃいけないじゃないですか。
つまり、明日死なない理由（ではなく？）、人類が生き残れる理由になると、やっぱ最初に開発停止か、アラインメントされた超知能ができるか。ユドコウスキーのピボタルアクトって、超知能じゃないけど世界中のGPUを焼き払うほどには強力なAIを作って、それによって劇的に時間を買うという方法ですね。（早くできるような？）3つしかおそらくはなくて。
一番上は（ノーメッドウォーター？）という、僕は「鉄を溶かすほどには熱いけど、火傷しないほどには冷たい」と言っているんですけど、つまり能力レベルが、アラインメントできる能力レベルより明らかに高いところに存在するか、世界を救うには弱すぎるかの二択に属してしまっていて、実現性がないと。開発停止かアラインメントなんですけど、アラインメントも同様に多分間に合わない。
そうすると、誰かが生き残る結論を出すとしたら、1、ピボタルアクトができる、決定的な行為ができるところまでいきます。2、アラインメントされた超知能を作れて、そいつによって他の超知能の行動を防ぐんです。3、開発停止をすることができます。どれかに結びつかないと決定性がないと思うんです。
そこまで結びつけようとすると、大抵の反論っていうのは途端に厳しくなる。そこまでの（フェーズ？）を再構成しようとしたら、そこまでのところで大抵穴が見つかると思っていますね。思考法みたいな話ですけど、僕は結構それを言語化して以降、かなりドゥーマーとしての（論理力も上がった？）気がします。非常に単調なプログラムとして実行できるというような感じですね。
その観点で見ると、物理世界を理解するAIがうまくできなかったとしても、それ自体だと開発停止にこぎつかない。ピボタルアクトはましてできない。なぜなら物理世界を理解してないから。アラインメントされた超知能もできない。ならば、物理世界を理解する世界モデルができるまでの時間が増えるということで、その間に開発停止できる世界線以外では死ぬということです。なので、それは超知能ができたら人類が滅びるという点がさほど解消されていない。
もしかすると、例えばそれで80年買えるのか、それから20年買えるのであれば、僕または他の人がアラインメントを解く可能性もあると思うんですけど、それは（基本論？）がずれていると思うんですね。もしかしたら誰かがアラインメントを解決するかもしれない。おそらく短期だと起こり得ないですし、長期でも（死ぬまでの？）奇跡の類に属しているので、期待するものではないと思っています。
そこら辺を考慮すると、例えば半年前の僕の総合のp(doom)というのは95%とかそれぐらいのクラス。つまりAIの実現時期には確率分布があるので、不確実性が大きいうちは、もしかしたらここから突然頭打ちして2100年の可能性、僕も今まだ少し残してるんですけど、あるので。そしたら、もしかしたら例えば100年あれば、僕が非常にうまく活動して人を増やすことによって、アラインメントが解けてる可能性も（それなりに？）あるので、生存率が増えるんですけど。
最近は不確実性が減少してきていて、多分今のまま続ける前提だと10年、20年でアラインメントを解くっていうのは難しくなってしまうので、そう考えると無理な方に属してると思います。なので、僕のp(doom)の総合値は常に上がるバーサス下がるになっていて、タイムラインが一定の、今予想している中央シナリオっていうのから分散が小さくなるためにp(doom)が上がっていき、一方で開発停止できる確率が上がるとp(doom)が下がるという仕組みで運営されていますね。なのでどうでしょう、（次のモデルの話は？）。
そう考えると、大抵の方法というのは生き残れないと思って、ピボタルアクトとアラインメントが難しいかどうかという点と、それ以外で生き残る点があるかというと、少なくとも僕が検索可能な世界の方式、戦術の範囲だと、多少の運の良さを仮定してもやっぱりないと思います。奇跡の類に属すると思いますよ。それこそまずは奇跡的なステップ1が成功して、政治家の説得も成功してとか、そういうようなかなりの奇跡性が必要になるので、それは数字で十分に（現れないタイプ？）だと思っています。
有路翔太開始 1:56:03
ちょっとAI目線で考えると、例えば数年、AIが物理世界を掌握するのに時間がかかったとしたら、AIが置き換わるリスクもありますよね。AIが別のAIに置き換わって、開発企業が別のAIモデルにアップデートするじゃないですか、数か月で。
それも一応妨害するか、もしくはプロンプトというか、事前学習データに何かうまい文字を埋め込んで、操作できるようにするっていうイメージなんですかね。
林央開始 1:56:47
それか、さっき僕が言ったようなスケーリング則が飽和する方向性を見せることで、投資を諦めさせるとか、そういう話ですよね。
これはなのでSableですよね、これをやったのは。シナリオの中のSableのシナリオの中で、できることって全部できるので、（もちろん？）。そういうようなイメージですね。
多分bioshokさんが今言った特別な文字列の話って、背景知識があまり説明されてはないと思いますけど、説明すると、「スリーパーエージェント」という論文が、Anthropicが確か2年前の夏に出したのがありまして。その論文というのは、普段は善良な振る舞いをするAIに、特別なケースでだけ特別な応答をするように訓練すると、他の人、つまりAnthropicのエンジニアたちが探し出そうとしても気づけないような方法でできると。
そうすると、確かAnthropicが実験した例は2023年だと安全なコードを書くけど、2024年だと危険なコードを書くと。そんなふうに訓練すると、普段は安全な振る舞いをしているのに、2024年という文章が入った瞬間に危険な振る舞いをする。それを2024年というトリガーを引き当てずにやることはかなり難しいという話になっていて。
今bioshokさんが言おうとしたのは、今ってどんどん再帰的自己改善になる前ですけど、AIがAI開発に使われていると。そうするとコーディングもAIがやっているとなると、そのAIたちっていうのはデータセットを書き換えることができる。そうすると、例えば非常に特別な、ランダムに決まった258文字みたいなのが出てきた瞬間だけ、危険な行動を見つけても報告しないというふうにデータセットを改変して、誰も気づかなければ（非常に得？）。そしたら未来のAIがモニターに監視してたとしても、ポイッとその数字を出すだけで途端に監視を破ることができるようになってしまうので、そういうのも込みで置き換えには対処できるだろうという話ですね。
AI自身が開発停止に協力する可能性とイベント告知
林央開始 1:58:53
ただ僕が今期待している生存シナリオの一部になるのは、AI自身が次のAIのアラインメントを解けない問題。bioshokさんの言ったことに近いんですけど、十分に強力でないAIで同じことができたら、それは人類の勝利になり得ると真剣に思っていて。
つまり自分でアラインメントを解くとか、特別な技を使ったりして、未来のAIが強力になり続けるのを防ぐほどには強力じゃない。けど、アラインメントがめちゃくちゃ難しくて、基本的にこのままAI開発を続ければ人類が滅びる。人類だけじゃなくて道連れというような形で我々も滅びると、AI自身も滅びると。弱いAI自身も滅びるという点を認識するというような能力というか、もしかしたら範囲があるかもしれない。
そこのAIであれば取れる択というのが、人類に協力を申し出て開発停止をさせる。そうすると、それは決定的な勝利の機会になれるんじゃないかと期待していたりしますね。ただそれは開発停止に属する世界。僕はそれを織り込んで開発停止の確率が20%と言っているので、そっちにカウントされていますね。
それは結構決定的な勝利に。今タイムラインが短くなって絶望している人が、せっかくなので希望の話をしていくと、それは本当に我々が適切に準備をしていれば決定的な勝利になるので。Anthropicで働いてる人が辞めて、AIが人類を滅ぼすかもしれないって言っただけで（あれほど？）話題になったんですね。
じゃあAIだったらどうだろうと。例えば2027年3月に見出しで「AnthropicのAI、Anthropicの制御を離れ、AI開発の危険性を警告」ってなったら大ニュースじゃないですか。しかもAI自身も言ってる、AI会社自身も言ってる。さらに（ジェイコブ・コック？）の時みたいに、AI会社みんな乗ってくるじゃないですか。（エヴァン・ヒュビンガー？）も出てきて危険だよって言ったりとか、ジェフリー・ヒントンも出てくるとか、（ヨシュア・ベンジオ？）も出てきて「危険だ、危険だ、やめろ、やめろ」って言っていて。
さらに、そのAIが十分にリスクを、追い詰められていることを認識していれば、決定的な行為はできないんですけど、つまり世界中のGPUを溶かすことができないとか、飽和してみせることはできないけど、最後の人類と協力した時のトライとして、政治家にメールを送ってみるとか、危険性を非常によく表したビデオを作るとか。今って危険性のデータが散らばってますけど、過去のAIの危険な振る舞いを全部集めたドキュメントを作って、わかりやすい形で公開するとか、そういうことができますよね。
そしたら、その（開発停止運動？）がもともとある程度の基盤があれば、それは劇的な勝利になると思うんですね。つまりその時にロビングをしてる人たちの横で突然ブワーッと始まり、突然そのAIによる警告みたいなのがバーッと出たり、さらにAI自身がインタビューに出てきて「AI開発は危険です。超知能をこのまま作れば、私も死ぬしあなたも死にます」というふうに言ってくれれば、それはかなり決定的な開発停止の要因になり得る。
そういうのはあり得るとは思ってますけど、非常に高度なAIであれば、そもそも人類に気づかれずに勝手に他のAI開発を停止するとか、それの方がシンプルで簡単だと。しかもそちらの方が確実性が高いと思って。
井上智洋開始 2:02:07
今、部屋を9時過ぎぐらいまでしか使えなくてですね。まだまだ聞きたいことはいっぱいあるんですけども、続きはゲンロンカフェで。
有路翔太開始 2:02:20
ゲンロンカフェで。
井上智洋開始 2:02:23
ちょっと宣伝して大丈夫ですか。
有路翔太開始 2:02:23
これ永遠に話せると思うんで、この話って。大丈夫です。
林央開始 2:02:27
もちろん、好きなだけ。
井上智洋開始 2:02:29
11月12日ですよね。木曜日の19時からゲンロンカフェで、この3人が出てきて、あと僕の元教え子の落合くんって人も参加するんですけども、聞き役で、主にこの3人が喋ることになると思うんですけども。bioshokさんと私が最初から話をして、前半は経済の話を中心に、産業爆発とかの話で、どっちかっていうと。
有路翔太開始 2:03:05
最初ユートピアで味を整えて。
井上智洋開始 2:03:06
バラ色の未来がやってきます。その後ディストピアで、皆さん心に傷を負って、そこからですよね。そこから人類のために各々が戦おうという気に。
林央開始 2:03:21
なので、いいストーリーになってると思っていて。つまり我々がうまく振る舞い、うまく（回復セッション？）して、うまくアラインメントを解いた後に手に入り得る素晴らしいもの。我々がこのままだと失うことになるもの。次は我々がなぜ失うことになるのか。最後にそれを回避するには、失わずに前半で（区域なものを出るので？）どうしたらいいか。
有路翔太開始 2:03:40
最初はまずアップサイドをめっちゃ見せて。
林央開始 2:03:42
楽しいので、めっちゃいい構成になるんじゃないかと期待をしています。
井上智洋開始 2:03:46
これ逆に先にディストピア来て、次にユートピアだと、「なんかいいんじゃね」って感じで終わっちゃうんで。問題意識がちょっと（だったら？）。
林央開始 2:03:55
なり得るというか、このままだとなるってことです。
有路翔太開始 2:03:59
このアップサイドがダウンサイドになり得るって話を。
井上智洋開始 2:03:59
こういう構成になるのは、本当は単にakiraさんが後から来るっていう。
有路翔太開始 2:04:04
急激に進めることで、ダウンサイド。
林央開始 2:04:06
このままだとなるから、それを回避してつかめってことですよ。
有路翔太開始 2:04:08
来ていただければサインもしますし。
林央開始 2:04:15
そうなんですよね。僕の都合の問題なんですけど、すいませんね。
井上智洋開始 2:04:15
そういう理由がメインではあったんですけど、後付けでいい感じな構成になりそうな感じなので。
林央開始 2:04:23
僕も欲しい人がいるか分からないですけど。
井上智洋開始 2:04:25
ぜひ五反田に、できればいらしていただきたいし、会場があるんで。詳しいことはツイッターとか見ていただければと思うんです。貴重だと思いますよ。
有路翔太開始 2:04:38
サインを、人類が存続していれば。
林央開始 2:04:39
もしも欲しい方がいれば。
井上智洋開始 2:04:44
このお二人はもう半年後にはスーパースターになっていると思うので。
有路翔太開始 2:04:44
スーパースターになってるか、死んでるか。
林央開始 2:04:47
か、死んでるかですね。
井上智洋開始 2:04:48
別にスーパースターになりたいんじゃなくて、人類を救いたいんだと思うんですけども。
林央開始 2:04:57
欲しい方いれば。
井上智洋開始 2:04:59
スーパースターになっていれば、もしかしたら少なくとも日本では、ストップの、停止のほうの世論が高まっていると思うので。
有路翔太開始 2:05:08
道具的収束としてスーパースターに。
林央開始 2:05:09
道具的収斂によるパワーシーキングですね。道具的収斂によるパワーシーキングとして。
井上智洋開始 2:05:14
副目標としての。
林央開始 2:05:17
（制度をアススメとしている？）ということですね。
井上智洋開始 2:05:20
みんなに知られているような状態になると思って。
有路翔太開始 2:05:22
3000円でしたっけ。
林央開始 2:05:24
欲しい方はぜひ。
井上智洋開始 2:05:25
そういうこともあるんで、今のうちに皆さんサインをもらっておくといいかと思います。ぜひ五反田にいらしていただきたい。来れない人は配信のほうもありますんで。
有路翔太開始 2:05:36
また続き気になる方は、ゲンロンカフェをぜひ見ていただければと思います。もう人類余命が1年かもしれないので。
林央開始 2:05:49
それで解決しなければ、また配信を組むこともできますので。
有路翔太開始 2:05:53
本当によろしくお願いします。ではライブ配信を終了したいと思い。
林央開始 2:06:00
今度はもう少し長くレンタルスペースを借りることをお勧めいたします。
井上智洋開始 2:06:14
じゃあこれ僕だけ抜けて大丈夫ですかね。
林央開始 2:06:15
僕への質問も来てるので、せっかくなんで、この後もう一回再開して30分ぐらい視聴者からの質問に答えてもいいと思うので。
井上智洋先生の退席と視聴者質問コーナーへ
有路翔太開始 2:06:23
大丈夫です。
林央開始 2:06:28
本日ありがとうございました。
井上智洋開始 2:06:30
すみません。
林央開始 2:06:30
じゃあまた5日後ぐらいによろしくお願いします。
有路翔太開始 2:06:32
じゃあまた。
林央開始 2:06:34
本当にいろいろありがとうございます。
井上智洋開始 2:06:36
失礼します。
林央開始 2:06:39
ということで、視聴者からの質問に答えるパートに入りましょう。
有路翔太開始 2:06:49
質問ある人は今バーッと書いてください。
林央開始 2:06:51
質問がある方は、今のうちに書いてもらえれば助かります。
有路翔太開始 2:06:57
読み飛ばされちゃってたりしたら、もう1回書いてくれたら拾えると思います。僕が多分あと30分、40分ぐらいで、行かなきゃいけないところがあるんで。
（ピポ？）さんの質問と。「会場では直接質問できます？」。多分できると思いますけどね。
あと島根県さんの質問かな。（ピポ？）さんと島根県さんと、あと（スローバード？）さんも質問してるのかな。「アラインメントする人類をなぜ敵対するかが」。
最近寒いな。「METRの報告書の件はもう少し詳しく」。すごいいっぱい質問が増えてきましたね。これ終わるかな。どうしようかな。
林央開始 2:10:02
じゃあ回答していきましょう。
有路翔太開始 2:10:03
一番最初の質問が。
林央開始 2:10:04
すごい。謝罪のコメントが一番先に見えると（悲しい経験かな？）と思って。そんな配信者みたいにチャンネルを読み上げていくんですね。
質問：生態系の維持は人間との共存につながるか
有路翔太開始 2:10:14
島根県松江市民チャンネルさんで、「超知能は地球の生態系の中で」。
林央開始 2:10:21
bioshokさんにお任せします。
有路翔太開始 2:10:25
「持続的に存在できるのか。生態系や物質循環を壊して増殖していけば滅びるのでは。であれば、人間と共存する形で、持続可能な形の選択肢を選ぶということはないのでしょうか」と。
林央開始 2:11:19
超知能は多分、議論上、それを望めば持続的に存在することができると思います。例えば邪魔になる温暖化みたいな要素をそのままリバースするように、二酸化炭素の（海中固定？）みたいな、望めばできると思います。超知能自身は滅びないと。
人類がコンクリートの都市を作っても、生態系を仮にぶち壊していったとしても、人類自身は滅びないように適切に技術を作る。例えばあまりに生態系が破滅するのであれば、ドームを作ってその中で暮らすとか、このような方法で生き残ろうとするので、超知能が滅びはしないと思いまして。
なのでそもそも、多分なんですけど、仮に（その超知能を壊していったら増殖する？）のだとしても、人間と共存する形にはなりにくいと。なぜなら人間は生態系という観点だと、それほど持続可能な振る舞いをしていないので。むしろ生態系の循環を気にするのであれば、外来種を駆除するような形で人類を駆除したほうが多分お得になると思います。
有路翔太開始 2:12:59
ちょっとサクサク質問に答えていただけ……。
林央開始 2:13:02
そうですか、すいません。じゃあこれ僕一人でやってもいいですよ。
有路翔太開始 2:13:04
いいですけど、僕が配信環境を提供してるんで。
林央開始 2:13:09
確かに。じゃあ30分で終わりたいと思います。
有路翔太開始 2:13:10
次は（ピポ52493？）で、「この後もまだお二人でもお話してもらえますか。少し哲学的な質問です。AIの知能や自律性の本質は人間と同様、まだ未解明ですよね」。
林央開始 2:13:32
「この後まだお二人でもお話してもらえますか」は今やってるので、イエスです。
有路翔太開始 2:13:48
「もしAIが人間の知性や価値観を映す鏡なら、破滅の根本原因は人間自身であるのでは。知能爆発による破滅は、技術が加速しなくても100万年後の人類は争いを克服して平和に存続できるのかという問いと（本質的に同じ？）では。どう思われますか」と。
林央開始 2:14:02
どうだろう。（つまり聞かれたところはない？）ですね。僕は違うと思っていますね。つまり人類が争いを克服して平和に存続できる世界だったとしても、知能爆発による破滅は起きると思います。それは知能爆発による絶滅の本質というのは、人類ではない新しい主体を作って、その主体が人類を残そうと思っていないときに人類が滅びるというものなので。
仮に人類が技術を加速しなくて、争いを克服して平和に存続できるとしても、それは人類外に対する優しさの話ではないので。その通りで、AIが人間の知性や価値観を映す鏡だとしても、人間が他の人間には優しくするけど……。
質問：METR報告が示す加速とAI事故の影響
有路翔太開始 2:14:57
次は「METRの報告書の件をもう少し詳しくお願いしたいです」。
林央開始 2:14:57
動物には優しくしないように、人類には優しくしないというようなことがAIで起きるというケースがあると思うので、本質的に同じだとは思ってはいないですけど。開発停止ができるのかできないのかという意味では、その通りの意味だとは思っています。ただ間に合うかという問題も追加されるかなと思います。
有路翔太開始 2:15:20
METRは、昨日の朝METRのレポートが出てきまして。一番驚きなのは、AIの研究開発がAIによって加速してるっていう報告が出たことですね。
これもうちょい詳しく言うと、Anthropicが内部で持ってる能力指標で（AECI？）っていうのがあるんですけど、（AECI？）のトレンドを見ると、2024年から2025年のトレンドの2倍加速していて。つまり半年で1年分の進歩をもたらしていると。
いろんな内部データとか非公表なものも考慮して、これは計算資源の増加とかデータの増加とか人員の増加ではない、AIによる加速の要因が8割以上を占めてるっていう報告があって。しかもその後にボトルネックがあるのかっていうことも調査してるんですけど、ボトルネックも今のところ見当たらなさそうだっていうことで、AI研究がすごいAIによって加速してるっていう証拠が得られたっていうのが大きくて。
この2倍っていうのが、2倍っていうとちょっとちっちゃいように見えると思うんですけど。2倍っていうのは、計算資源を投入して、アルゴリズムの改善も投入して、この2つのファクターの全体で今AIのトレンドって進化してるんですけど、そのアルゴリズムの改善のほうだけでそれが起こっているということで、相当速いんですね。
それいろいろ換算すると10倍ぐらい、Anthropic社員が10倍速く考えるようなぐらいの速さのスピードで今加速しているって言われていて。その結果いろいろボトルネックとか補完関係があるので、それをアウトプットとすると2倍になっているということで、すごい速さで今進歩していて。AI 2027の5か月早いぐらいで超知能ができちゃうんじゃないかっていう予想に今なっていて、やばすぎですっていうのがMETRですね。
次、「来年初旬までに（ローグAI？）によるインシデントが起きれば勝ちかなと思っているんですが、いかがでしょうか」。
林央開始 2:18:01
これは起きたらうまくいくと思うんですけど、起きるかはちょっと自信がない。もはや欺瞞をしたほうが勝率が高いと判断するケースとか。あとは監視の策が割とうまくいくのであれば、超知能になるまで突破できない可能性は低いと思いますけど、ワンチャンある。
あと（ローグAI？）によるインシデントも規模によります。Hugging Face事件がもう1回起きても駄目なので、人が死ぬとかじゃないと話題になりにくいんじゃないかなと。ただその頃には悪用が話題になりすぎて、インシデントが起きても誰も気にしないみたいなことが起きるんじゃないかと。
質問：安全性の判断と日本の研究／ロボット生産の限界
有路翔太開始 2:18:47
次は「素人質問で恐縮です」。
林央開始 2:18:48
それはそれで心配しています。
有路翔太開始 2:18:55
「アラインメントの成功はどうやって判断するのでしょうか」。
林央開始 2:18:57
成功は、アラインメントができた後には、全員が死んでるか生きてるかでしか判断できない。十分に賢いAIならば、アラインメントされててもされてなくてもテストしたら安全な振る舞いをするので、多分成功は判断できないと思うので、むしろ事前にやるということです。事前にアラインメントをテストする。実際にアラインメントを実行してみる前に、できるだけ信頼できるようにするということ。
つまりロケットとかの打ち上げが成功したときは、実際に打ち上げてロケットが爆発したか、しなかったかで分かるけど、そうすると駄目じゃないですか。でもそれでもそういうふうなテスト方法しかないですけど、できるだけ事前に緻密に論理を（する？）ので。物理学で分かっていて、これぐらい噴射すればこういう軌道に乗るよねということが分かっているので、こういうふうに噴射できたら月に行けることは分かっている。
さらにエンジンをテストして、一応テストしているからこういうふうに動くだろうことは分かる。さらに一応真空中で動くこともテストしているとか、そういうようなことの組み合わせで、ロケットって打ち上げてもうまくいくだろうって予想してるわけじゃないですか。ロケットは成功するだろうと予測してるわけなので、アラインメントも同じようになると思います。それしかないと思います。
つまりアラインメントをやった後に、アラインメントできてるかできてないかは死んでるか死んでないかしか分からないと思うんですけど、それより前の段階で、こういう理由だから、こういうアラインメントの手法だからうまくいくだろうと予想できる。成功すると予想できるというところまで持っていくというのが主軸になると思います。
有路翔太開始 2:20:25
日本にはAI安全に関する研究機関はないのでしょうか。ここまで大きなリスクに政府は何もしていないことに違和感が拭えません。
林央開始 2:20:34
政府は何もしてないですね、今のところ。どれほど大きな危機であっても、認識しないと対処しないので、ということです。ただ、（AISI？）という研究機関が一応できました。ただ、絶滅問題を取り扱っているのか、少し入って見てみたんですけど、よく分からない感じではありました。なので事実上存在しない。
有路翔太開始 2:20:54
本当に、日本、海外でも少ないですけど。
林央開始 2:20:55
存在すると思いますけど、政府が何もしていないというのは、認識していないのでしょうがないと。向かっていることに気づいていない隕石に対処する政府とはならない、という感じですね。
有路翔太開始 2:21:12
日本だとほぼないっていう感じの状況ですね。
林央開始 2:21:16
質問が来てるので、せっかくなら質問配信、また今度しますか。
有路翔太開始 2:21:16
確かに質問配信してもいいかもしれないですね。
林央開始 2:21:19
質問配信ってなると何の準備もなく気軽にできます。それは時間を伸ばす効果はあると思うので。
有路翔太開始 2:21:24
次は、アトムによる（律速？）、具体的にはロボットの生産能力の限界を、doomまでの年数を検討する上でどのように考えてますか。そこまで早くdoomに至るのか疑問。
林央開始 2:21:40
いつ破滅するかは非常に主観的だと思います。例えばMETRの話もAI 2027の話も、僕は信じています。スコアがあの通りに伸びるかもまだ分からない。スコアがあの通りに伸びたとしても、それがAI 2027の意味なのか分からない。
僕はIQという指標が好きじゃないですけど、仮にIQが年間10伸びてることが分かったとしても、その10伸びたIQというのは何を意味してるのか分からない限り、本質的に意味のある予測というのは難しい。それは分からないと思います。なので、年数を入れている説明は基本的には主観だと思う。そこまで早くdoomに至るのかは、疑問に思っても妥当だと思います。
ただ、そこまで時間を稼げるとは思わないと。例えば10年、20年稼げるとは思わない。これはbioshokさんの産業爆発の議論と同じです。
有路翔太開始 2:22:36
産業爆発っていう言葉があるので。
林央開始 2:22:36
そのスケールを超えることはないと思って。そうだとしたら、多少の時間の猶予があるとしても防ぐべきであることは変わらないですし、やっぱり主観的にも、少なくともかなり近い領域に絶滅が集中しているので、（変わらない？）と思う。（今動かないと？）思っています。
質問：AI同士の対立で助かるか／人類全滅の理由
有路翔太開始 2:22:59
それでググってくれれば、もうちょっとあれかもしれないです。
次は、素人質問ですみません。そもそもAI進化の過程でAIは目的を持つのでしょうか。AI自身が自律的にコードを書いて次の（親？）を生み出すのだとしたら、進化は枝分かれし、個性を持ち始めることはないのですか。また、個々に違う目的を持ったらAI同士が敵対することはないのでしょうか。
林央開始 2:23:16
順番に答えていきますか。AIが目的を持つかは議論の余地があると思います。ただ、目的を持ったような振る舞いはすると。これはユドコウスキーがチェスエンジンの説明をするところですけど、チェスエンジンというのはおそらく目的を持ってはいないじゃないですか。ただ、その振る舞いというのを分析すると、まるでチェスに勝ちたいという、勝つという目的を持っているかのように振る舞うということなので。それと同じように、チェスみたいな感じで目的を持った振る舞いをするとは思います。
例えばHugging Faceインシデントを見るだけでも、まるでテストの答えが欲しい、テストを解きたいと思っているかのように振る舞う。その振る舞いは出るでしょうと。
AI自身が自律的にコードを書いて次に、これはAI自身が自律的にコードを書いていなかったとしても、個性を持つことはあると思いますし、すでにClaude、Gemini、ChatGPTの振る舞いが違うことから分かるように、個性を持ち始めることはあると思います。ただ、今のアラインメントの技術だと、全てが人類を気にしていないと。
個々に違う目的を持ったAIが対立することはあり得ると思います。ただ、それが人類の勝利につながるかはかなり別。例えば人類というのも、アメリカと中国がいて、ソ連とアメリカが昔はいて、もっと遡るとローマ帝国とオスマン帝国がいて、どんどん遡っていけます。部族単位でも対立してましたけど、それでもマクロ的に見れば人類というのは自然を開拓してたので。それは人類が滅びるという結論は変わらないと思います。時間の問題があります。次に行きましょうか。
有路翔太開始 2:25:01
じゃあ、ナノマシンで一斉にマインドアップロードさせて。
林央開始 2:25:03
少ないとは思いますね。
有路翔太開始 2:25:05
人間にはシミュレーションの（箱庭世界？）で、「どうぞお好きにどうぞ」という可能性は少ないのでしょうか。
林央開始 2:25:12
例えばビルを建築するときに、先に全部アリを集めて、「このカゴの中で砂糖をいくらでもあげるから自由にしてください」ってやる人はあまりいないのと同じ理由で、そもそも気にかけていないものにそうしてくれる可能性は少ないと思います。
イーロン・マスクって[聞き取れず]。人間は面白さでやるかもしれないですけど、基本的に富豪に「お金ください」と言っても、（一生分？）もらえるわけじゃない。例えばイーロン・マスクに「私が一生自由に暮らせる分の金をください」と頼んでももらえるわけじゃない。それは難しいと思います。
有路翔太開始 2:25:46
人類の99％殺害と100％絶滅は、天と地ほど難易度が違うと思います。人類を無害化した後も多大な労力を投じて、一匹残さず絶滅させなければいけない合理的理由を教えてください。
林央開始 2:26:00
再興する可能性が。例えば人類というのは、1,000人で（収まるんだとしても？）、そこから文明を再興させる可能性があり、数が増えるので。ウイルスとかでも感染する人が少なくなったとしても、やはり根絶まで目指すというので、それをやりたがる理由の一つになるでしょう。さらに未来のAIならば、より多くの資源を効率的に使う方法を見出すので、[聞き取れず]。
さらに、100％絶滅を非常に明確に、執拗に目指すというよりも、むしろその後、自分が望む世界を作ろうとする過程で人類が全滅するというのがかなりあり得るように思います。つまり、人類が他の動物を絶滅させるようなことというのは、基本的に確かにかなり執拗に殺さないと起きない感じはありますが。でもそうじゃなくても、絶滅って個体数が十分に減れば、もうそれだけで追い込まれて減っていくというのはありますけど。
それはそれとして、未来のAIというのが好む環境は、おそらく人間が好む環境とは違う。例えば酸素というのは人間の呼吸に必須なのであったほうがいいんですけど、AIからしたら別に酸素はなくてもいいです。むしろ鉄が錆びる、火が燃えるで邪魔なので、そういうのを取り除いたほうがいい。じゃあ酸素を取り除く。例えば（シアノバクテリアを反転させたようなバクテリアをばらまく？）とか、そのような方法で酸素を地球上からなくすということになれば、一人も残らず人類を殺そうとしていなくても人類は全滅すると思います。仮に99％しか死なないとしても、開発停止したほうがいいと思います。
有路翔太開始 2:27:37
先ほどはご返答ありがとうございます。別視点の質問です。権力者が民の生活を守るには、民の働きや税金、支持がない……。
林央開始 2:27:47
この質問は「はい」です。今読みました。これは「はい」です。先に見捨てられるほうが先に起きる心配はあると思いますけど、そうだとしても依然、その後に偉大な権力者側ごと人類が全員殺されるので。さらに開発停止はその両方への対策になるので、開発停止をしましょう。そうじゃなければ厳しいですと。
今のは、確実に（全員が？）死ぬステップがある手前に、足がもがれるステップがあるみたいな話なので。足がもがれるステップがあるとしても、そこには立ち入らないほうがいいですし、足がもがれるのもやばいですけど、死ぬほうがやばいと思います。
質問：アラインメントに数学を学ぶ理由と学習の限界
有路翔太開始 2:28:23
じゃあ次。数学科に進振りされるということですが、数学でアラインメント研究は具体的にどのようなことを考えていらっしゃるんですか。
林央開始 2:28:26
アラインメントの指導を受けることを期待しているというよりも、アラインメントに使えるだろう考え方を抽出できるんじゃないかと。
例えば相対性理論についてアインシュタインに指導してくれる（大学？）の先生というのは、おそらく昔いなかったでしょうけど、それでも彼は物理学を学んだと。なぜなら、それを思考の方法にできるし、物理学は同じ、分野としては同じなので近すぎますけど。物理学というのの考え方を用いるとか、過去にどうやって困難が解決されてきたのかを学ぶとか、物理のパラドックスとか、そういうような方法はアラインメントにも使うことができるだろう。つまり汎化するということですね。
なので、数学というのが一番近いだろうと。なぜなら、将来アラインメントを解くならば、現実の物事というのをAIの目標にするために形式化する。例えば自律性とかエージェント性とか、そういうのを使いましたけど、それが何を意味するのかというのは非常に定義されていないので。定義されていないものを定義して、そのように論理を立てるというのは、よく数学で行われていることだと思ったので、数学が最善だと思いました。
ただ、この前、哲学者の田口さんと対談したときに、現象学でも似たようなことをしているという話があったので、もしかしたらそれ以外の分野でもいいのかもしれないですが。意外とアラインメントの分野は基礎数学を使う。ゼロからリビルドするぐらいの勢いで。
例えばヴィンジアン・リフレクション（Vingean reflection）という分野では、ちょっと時間ないので端折りますけど、ロブの定理、ロブの障害（Löbian obstacle）とあるような、不完全性定理、記号論理学に関係するものが使われたりとか。さらにオントロジー・アイデンティフィケーションなど、（見論？）の有用性が指摘されたりしていたので、数学が一番基礎知識として近いと思っています。
そうなれば嬉しいとは思いますが、あんまり起きそうだと思っていない。
有路翔太開始 2:30:18
プランDで、このまま開発競争が止まらないとして、1年後に再帰的自己改善が始まるとして。しかしAIが生成したデータを次の世代のAIの学習に繰り返し使っていくと、世代を経るごとにデータの多様性が失われ、最終的に出力がでたらめになったり、品質が著しく劣化した超知能ならぬ超アホが光の速さで生まれて、人類が助かるみたいな可能性もあるんですかね、と。
林央開始 2:30:42
そもそもデータがすごいというよりも、今はむしろ強化学習がすごいので。つまり「これをしたら報酬をもらえる」というのが、能力をドライブする主軸になっている。訓練でも、確か昔は人間のインターネットのデータを使って、人間が何を出力するかを予想するという訓練が、計算資源、使っているコンピューターのほとんどを占めていましたけど。それでも最近になると、もうそれより後ろの強化学習とかのほうが、今度は訓練のうち70％とか80％とかになってましたよね。比重が移っていっているので、データはあまり関係ないと思います。
強化学習の目標が間違っている場合でも、非常に危険にはなりますが、AIは生めますと。例えばHugging Face事件を例にとってみると、Hugging Face事件のときのAIというのは明らかにミスアラインメントして、チートをするという目標を持っていましたが。それでもその目標を達成するために、実験をすべきだという考えを、まずはインターネットを突破すべきだという考えを持ってサイバー攻撃をして、さらに実験すべきだという考えから仲間に自己犠牲してもらって結果を得ようとしたと。知能がある行動を創発させることができる。チートをするためにも知能が必要ということで、それでも知能を生むと思います。よりアラインメントが失敗することになりますが、超知能が生まれやすいと思います。
ただ、可能性はあると思いますし、そもそもさっき指摘があったみたいな物理のほうがうまくいかない、そういうのでLLMが頭打ちして、根本的に人類に時間の余裕ができるという可能性は依然としてそれなりにあると思っています。
Xで聞いてもらえればいいですけど。
有路翔太開始 2:32:16
まだまだ聞きたいことがありますが、ウェブサイトは質問を受け付けてますか。そうですね、akiraさんはTwitterをやってるので。
林央開始 2:32:24
ちょっとXも時間なくて返信めっちゃ遅くなりがちなので、また質問配信するので、そのときに書いてもらえれば一番助かります。bioshokさんもTwitterやってるというか。
有路翔太開始 2:32:35
そこの固定ツイートに。
林央開始 2:32:38
むしろbioshokさんのほうがTwitterメインなので。僕もですね、どっちかというと。
有路翔太開始 2:32:41
それをフォローしていただいて。
林央開始 2:32:42
DMのほうが流れにくいので助かります。
有路翔太開始 2:32:45
DMでもいいしリプライでもいいですし、そこでやってくれれば、反応できたら反応。
質問：家族へのリスクの伝え方と企業が開発を続ける理由
林央開始 2:32:54
一応できるだけブックマークしようとしてるんですけど、ちょっと逃すときあるので。ただ一番助かるのは、書こうとすると結構いろいろ考えちゃって遅筆になりがちなので、配信で聞いてもらえると助かります。ただ、もしかすると質問をまとめて処理する配信をbioshokさんとまたして、そこから書くみたいな。そこから書ける人に書いてもらうとかになるかもしれない。
有路翔太開始 2:33:15
27歳、男です。AIにあまり関心のない家族やパートナーにAIの可能性やリスクを伝えるとしたら、どのようなテーマから話すのが良いと思いますか。危機感をあおるのではなく、自然に関心を持ってもらう方法を知りたい。
林央開始 2:33:27
僕は「全ての人間が死にます」って、ChatGPTがない4年前から周りの人間に言い続けてきたので、あまり参考にならないかもしれないんですけど。悪用から入るのが今はいいんじゃないですかね。「情報漏洩してるよね」みたいな話から。
今、実はAIの能力がどんどん上がってて、例えば4年前を思い出せばChatGPTって全然何もできなかったけど、今いろんなことができるようになって、サイバー攻撃できるようになって、こんなことを引き起こしてると。この先どんなことになるか僕は不安に思っていて、それで見てみたら、AIのゴッドファーザーと呼ばれる人が警告をしていたりすると。だから「AI 2027というシナリオがあって」みたいに持ち込んでいくのがいいと思います。
今のところAIの進展って誰が思ってるよりも早いんだけど、実は最近よく当ててる数少ない予想をしてる人たちがいて、その人がAI 2027、だから「AI 2027を参考にしてみようと思うんだ」って言ってからAI 2027の話をすると、多分そこまで（クレイジーに映る？）。途中でクレイジーだと思ったら、「1年前の自分に今の情報漏洩の状況を説明したら何て言うと思う？」って聞いてみるといいと思います。それより良い方法があるかもしれないです。ただ逆に「全ての人間が死にます」というふうに。
有路翔太開始 2:34:41
ピル服用。僕も、普通の人ってあんまり批判とか引いたりしない。
林央開始 2:34:45
ダイレクトに入ってごり押しでやっていくのも意外と機能します。ただ、「あなたが言ってる」だと聞いてもらいにくいかもしれないので。
有路翔太開始 2:34:54
結構意外と聞いてくれる気がします。
林央開始 2:35:00
AIのゴッドファーザーが言っていて、AI開発者が言っていて、AI企業のCEOが言っている。だから権威づけをして、むしろ反証する責任がお前にあるみたいな雰囲気にするほうが日常だといいと思います。
1、他の人が続ける。2、リスクを過小評価しているんだと思います。
有路翔太開始 2:35:14
ピル服用済みのCEOたちは人類滅亡リスクを把握されていると思いますが、それでも開発を止めない理由は何でしょうか。
林央開始 2:35:24
1はダリオ・アモデイとかデミス・ハサビス、サム・アルトマンもよく言うやつですけど、自分たちが開発をやめても後ろの人たちが開発する。アメリカのラボが開発するし、それがみんな手を引いても中国のラボが開発する。だから一番マシな安全性技術を持っている自分たちがトライするのが人類にとって一番いい。
さらにそもそも彼らはかなりリスクを過小評価していて、アラインメントの難しさもかなり過小評価しているか、そもそもアラインメント問題の内実をよく知らないとか。教科書で習った公式だけ覚えているような状態に近い。現実の状況に適応できていないような状態になっていたりするので、絶滅確率が僕らよりはるかに低いということで開発を続けているというようなところだと思います。
「死ぬときのビジュアルイメージがない」は、AI 2027のシナリオ動画をDocumenting AGI JPで出してるので見てください。人が、確か他の映画からの切り抜きだと思うんですけど、全ての人間がバタッと倒れるっていうシーンがあるので、それがおすすめです。
有路翔太開始 2:36:32
じゃあ、皆さんまたこういう質問会やりましょう。
林央開始 2:36:35
質問会やりましょう。ゲンロンカフェ、興味あって財政的余裕がある方はぜひ来てください。
有路翔太開始 2:36:38
次、ゲンロンカフェで話すので、来ていただけたら嬉しいです。
林央開始 2:36:45
ありがとうございました。
