AGI Hub公式YouTubeで2026年10月12日に配信した討論を、AGI Hub編集部が書き起こしました。言いよどみと言い直しを除いて整えましたが、発言の中身は変えていません。用語注釈は編集部が加えたものです。各話者の見解や個人の将来予測を含みます。原文（AGI Hub YouTube）はこちら。
この書き起こしについて
2026年10月12日19時から、AGI Hub公式YouTubeで「p(doom)徹底討論コラボ企画」を配信しました。ゲストは中央大学理工学術院 物理学科教授の田口善弘先生です。代表 有路翔太（bioshok）と主任研究員 林央（akira）が加わり、超知能の開発で人類は滅亡するのかを約2時間17分にわたって討論しました。本記事はその全文に用語注釈を付けた解説付き書き起こしで、事前知識がなくても読めるようにしています。
配信の録画はYouTubeで見られます。章ごとの「動画で見る」のリンクから、その場面の録画を開けます。発言の横の時刻は録画の中の時刻です。
書き起こしは音声認識で作り、言いよどみと言い直しを除いて整えました。発言の中身は変えていません。配信中に通話の音声が途切れた箇所があり、聞き取れなかった語には「（〜？）」や「[聞き取れず]」の印を付けています。声と文脈から話し手を決められなかった発言は「話者不明」としています。
対談動画
人物紹介
田口善弘先生
物理学者。中央大学理工学術院 物理学科教授。非線形物理学の研究から出発し、現在は機械学習とテンソル分解を使ったバイオインフォマティクス、特に遺伝子発現プロファイルやマルチオミックスデータの解析を研究しています。スタンフォード大学とElsevierによる「世界のトップ2%研究者」に、バイオインフォマティクス分野で続けて選ばれています。
X: @Yh_Taguchi
有路翔太（bioshok）
AGI Hub代表。東京大学大学院で自然言語処理を研究し、修了しました。AIのインパクトとリスクについて発信を続けており、著書に『知能爆発』『AIのもたらす深刻なリスクとその歴史的背景』があります。
X: @bioshok3
林央（akira）
AGI Hub共同創業者・主任研究員（Chief Alignment Officer）。東京大学在学中にAI安全性のコミュニティを立ち上げました。いまの開発競争が続けば人類が絶滅する確率はきわめて高いと公に評価しており、AGI Hubではアラインメント分野の調査と発信を担当しています。
X: @Align_ASI
この討論の見どころ
田口先生は、「AIは賢い」という言葉が都合よく使われていないかと問いかけます。AIが人類を滅ぼすのなら、その動機はどこから来るのかという疑問です。林央はペーパークリップ・マキシマイザーの例を使って答えます。AIに自我や悪意がなくても、強力な最適化の目的に人類が望む制約が入っていなければ、人類は滅びうるという主張です。
議論はその後、複数の要求を同時に満たす「マルチタスク」の難しさとアラインメント問題の関係に移ります。AIに常識を持たせられるか、強化学習の報酬関数を正しく作れるか、AIは現実を正しく認識できるのかも論点になりました。物理学者の視点から出る疑問に、林央とbioshokがどう答えるかが見どころです。
書き起こし本文（敬称略）
はじめに：出演者紹介と「AGI」という言葉
有路翔太開始 1:09
では、よろしくお願いします。
失礼します。失礼します。はい、はい。
今回の企画って、おそらくAGIですとか、人類の絶滅リスクですとか、そういった話をざっくばらんに1時間ちょっとぐらいするということを目的に。さすがにお気に入りのパンの話とかではなさそうな。
そうですね。一応、田口さんは中央大学の先生でして、バイオインフォマティクスを専門にされている先生で。昔から、2、3年前から田口さんとはちょくちょくMachine Learning 15minutes!というところでお会いしてましたよね。
田口善弘開始 2:08
bioshokさんの話はもう何回も聞いて、Xで発信してるのを見てるから、どういうことを言うのかなって、大体、本を読む前から分かってたけど。
有路翔太開始 2:21
本も、もしかして読まれてたりする？
田口善弘開始 2:25
一応読みましたけど。でも、そんなにbioshokさんが普段言ってることと違うことが書いてあるわけじゃないから。
有路翔太開始 2:32
なるほど。僕が言いそうなことだなと。
田口善弘開始 2:36
そんなに、あれを読んだから……。
新しく……。
知識が増えたっていうよりは、そういう意見がやっぱり書いてあるかなっていう。
有路翔太開始 2:49
おそらくいろいろと思うところがある。多分、田口さんって、まずAGIっていう言葉に批判的だったり。
田口善弘開始 3:01
そうですね。AGIに批判的なのは僕だけじゃなくて、ルカンとかもAGIって言葉はおかしいとか言ってるし、AGIって言葉は変だって言ってる人たちは僕だけじゃないんで。
林央開始 3:12
実は僕もだったりしますね。僕はAGIっていう言葉は、あんまり本当は使うのが好きじゃない。
僕はHEAIっていう、Humanity Ending AIって自分で言ってるんですけど、人類を終わらせようと思ったら終わらせることができる能力という、ある意味で操作的な定義をもってして、AIの閾値を考えていく。それをメインに考えてるので、ここがAGIなのかどうかとかっていうのは、あんまりどうでもいいかなと。
有路翔太開始 3:46
なるほど。じゃあ一旦、田口さん、自己紹介を軽くしていただいてもよろしいですか。
田口善弘開始 3:54
私は肩書きは物理学科の教員なんですけど、僕自身、AIについて発信する必要になるっていうことは全く想定していなかったんですが、[聞き取れず]ChatGPTが（2012年？）に出たときに、中身が深層学習なわけですけど、人間っぽくなってて。みんながこれで知能ができたっていうようなことを、すごくSNSとかで言ってて、それは違うんじゃないのっていうのを言ってるうちに、じゃあ本を書いてくださいみたいな話になって。
去年の1月に『知能とは何か』っていうのを現代新書から出したんですけど、それがやっぱり[聞き取れず]。僕は情報科学者でも人工知能の科学者でもないので、書き方がちょっと変わっていたっていう。[聞き取れず]そういうことに[聞き取れず]なってしまって。
この前の（シンクポット？）にも、bioshokさんの[聞き取れず]ぐらいに出たんですけど、あれも[聞き取れず]この流れなんですよね。
有路翔太開始 5:18
うん、うん。田口さんも（シンクポット？）に出られてましたよね。
田口善弘開始 5:27
そうそう。すごい偶然なんですけど、偶然、僕が出た1週間後にbioshokさんが出たっていう。（図ったように？）なってたんですけど、全く違うことを言ってるというか、ベクトルとしては違う。それはいろんな意見が出た方がいいから、それは良かったと思うんですけど。それぐらいでいいのかな、自己紹介。
そういったことで、今日はよろしくお願いします。
話者不明開始 6:01
よろしくお願いします。
有路翔太開始 6:02
一応こっちも軽く。私がbioshokという名前で、AGI Hubという会社を立ち上げました。AGIのリスクとか、高度なAIのもたらすインパクトとリスクについて考える、もしくは議論の場を提供する会社になってます。
この主任研究員兼共同創業者ということで、林央さんという人がこちらですと。では、軽く自己紹介も。
動機と能力：「本当に賢いAIは人類を滅ぼさない」か
林央開始 6:41
どうも。多分、今日の議論に一番関連している情報という意味で言うと、人間より非常に強力なAIというのを作れば、少なくとも今の技術力では人類はほぼ確実に滅びるという考え、主張をしているというもので。
そういう主張をずっと昔からしているマシン・インテリジェンス・リサーチ・インスティテュート、この本を書いたところですけど、お声掛けいただいて、現在そちらにも所属している人間でございます。よろしくお願いします。
話者不明開始 7:14
よろしくお願いします。
有路翔太開始 7:20
じゃあ、田口さんの場合って、AGIっていう言葉についてもいろいろあると思うんですけど、AIが人類を滅ぼすっていう話についても、結構一つ、何か言いたいことがあったりするってことだと思うんですけど。
林央開始 7:45
そもそもそこまで強力じゃない前提なら、以前の問題になるというようなことがあるのかなと思いつつ。つまり動機と能力の議論のうち、能力の議論に懐疑的だったら、動機の議論に依存せずに絶滅はしないということになるんじゃないかと思ってるんですけど、どうなんでしょう。どちらにより懐疑的なのかなと。動機と能力、どちらにより懐疑的なのかというのが特に気になる。
田口善弘開始 8:16
議論として、やっぱりp(doom)の話をするときに、動機の話と能力の話はかなりごちゃごちゃに話されていて。先週、ABEMA Primeに（出演された？）ときも、動機の話と能力の話がごっちゃに話されて、非常に分かりにくかったなと思うんですけど。[聞き取れず]能力の話しかしてなくて、林さんは動機の話をしてるっていうのを、単純に司会者の人がパラレルに当てるもんだから、話がよく分からなくなっちゃったと思うんですけど。
僕自身は動機っていう観点については、いわゆる『知能爆発』に書いてあったような、クリップを作るっていうことを目的にしてしまった場合に、[聞き取れず]に配慮しないだろうっていうのは、それは分かるんですけど。
ただ、能力っていった場合に、今、能力っていう言葉が非常に都合よく使われていて。正直、（クリップ？）を作るときに人類を滅ぼすっていうことを（賢いと言えるか？）っていうのが僕自身の（疑問？）で、本当に賢かったらそんなことはしないっていうふうに思っているので。要するに、現実が分かったら、（ピン？）を作るために人類を滅ぼしちゃうっていうことには無頓着だっていう[聞き取れず]能力って、多分無理だろうと思っているので。
そこのところで、やっぱり「AIは賢い」っていう言葉が、すごく都合よく使われてるっていう気はするんですよね。それは賢くないじゃないか。
林央開始 10:23
なるほど。多分、賢さの定義というか、見ている部分が違うんだなというところを一番感じていますね。僕たちが、特に絶滅系の人が賢さっていうときには、ある意味で倫理性みたいなものは基本的に関係なくて。
言われているのは、ある意味で未来を予測する能力と、要するに可能な行動、方策の中から、より自分の選好を満たすものを（探索する？）能力と、2つをもってして賢さというようなところです。なので、必ずしも方策が人間の好みと合致しているかどうかは[聞き取れず]。
田口善弘開始 11:06
いや、人間の好みとかじゃなくて、客観的に地球に対する操作っていうことをしたときに、（クリップ？）を作るっていうことの代わりに人間が滅亡するっていう操作を正しいって思うっていうのは、知性として無意味だと思うんですよ。要するに現実が分かってないから、そういう物事の（意味？）が分かんないっていうことをしてしまうわけで。倫理とは違うんだと思うんですよ。
林央開始 11:39
例えばペーパークリップとかを作るときに、こういう行動をしたら、これぐらい何個ペーパークリップができるっていうような推定をするマシンがあって、その中で最大のものを選択するっていうのって、何もおかしな要素がないというか。
田口善弘開始 12:01
その結果、人類が滅びちゃうっていうことをするときに、それを無視してペーパークリップを作っちゃうっていうのは、地球っていうシステムに対する干渉として考えた場合、正常な干渉じゃないと思うんですよね。
人類に対する倫理とかそういうのじゃなくて、地球っていうシステムがあって、自然法則に従ってできたわけですよね。それに干渉するときに、クリップを作るって[聞き取れず]システムを壊してしまうっていうことについて考えたら、ちゃんとシステムを理解している（知性？）だったら、そういう干渉はしないと思います。
林央開始 12:39
システムが壊れるというのはどういうことでしょうか。例えば、人間からして、ある意味でこうしてペーパークリップを作るために宇宙を組み替えたら、そのシステムに反するというのは、ある意味で人間側の見方であって。それを明確に（確認する？）法則があるのか、かつ、それがある意味で高度なAIに自動で目的として反映されるような強度のものがあるのかという。
田口善弘開始 13:10
人間は関係ないですよ。地球というシステムがあって、人間がいようがいまいが、人間はいなくてもいいんですけど。人間がいなくて自然界があって、ペーパークリップを作るときに、その星の生物が全部絶滅しますっていうふうな自然環境への干渉をするっていうこと自体が、まともな知性はそういうことをしないと思うんですよね。
林央開始 13:33
それはなぜですか。
田口善弘開始 13:35
それはいろんな……。
林央開始 13:38
どうぞ（言ってみて？）。
そういう世界の、ある意味で生き物を滅ぼしているみたいな特徴付けが、どうしてそんなに、ある意味でAIが共有している世界の特徴付けであって、それがAIの思考に反映される、行動基準に反映されるっていう部分が非常に（不透明？）というか。特にこれを[聞き取れず]理由がないというか。むしろそういう世界を区別すること自体が、ある意味で人間側の価値観を使わないと難しいと思うんですけど。
田口善弘開始 14:10
いや、人間はいいんですよ。人間はいなくてよくて、例えば動物がいる惑星があって、人間はいなくて。そこに善悪とかっていうものを判断するような人間もいないときに、その星をクリップで満たすために、生物は全部絶滅させますっていう選択をするっていうのは、そこでシステムを壊すわけだから、何も意味がないわけですよね。
行動には何か意味がなくちゃいけないわけだから、なんでそういう選択をするかって考えたら、非常に愚かな知性（じゃないと？）、そういう選択はしないと。
林央開始 14:41
行動に意味がなければならないっていう、その命題に、ある意味で非常に懐疑的であるというか。要するに行動に意味がなければならないと言いつつ、でも、ある方策を取ったら、こういう選好順位でここら辺の高い位置に位置するみたいなのを判断して、それを選択する機構っていうのは、一切、本来それって必要とされてないことじゃないですか。
本来、意味が必要であるっていうのは、意味が必要であることと、将来のAIにそれが適用されること、つまり将来のAIが行動に意味を求めることの間の[聞き取れず]。つまり、これは意味がある行動かもしれない、意味がない行動かもしれないと思っても、それは記述でしかなくて。
田口善弘開始 15:41
高いとか低いじゃなくて、何かするときは動機があるわけ。
話者不明開始 16:02
[聞き取れず]の問題でしょうか。
どっちでしょうか。僕も田口さんがたまに途切れてるんですけど。そうですね。でもいいんですかね。改善の方法がぱっと思いつかないので、一旦いいか[聞き取れず]。
田口善弘開始 16:25
僕は一応、有線でつながっているはずなので。LANでつないでるんで、そんなにひどい状態ではないですが。どこが悪いんですかね。
話者不明開始 16:40
一応聞こえるという。たまにちょっと途切れるぐらいなので、もしかしたらこっち側の問題かもしれない。
田口善弘開始 16:50
そうです。（88Mbps？）とか出てるんで。
話者不明開始 16:54
ああ、どうも計測いただいて。
田口善弘開始 16:57
こっちはそんなに遅くなってないみたいですね。どこがボトルネックになっちゃって。
有路翔太開始 17:04
一旦、議論を進めましょうか。一応聞こえはする。時々、すいません、聞き返すことになってしまうかもしれないですけど。
田口善弘開始 17:14
星があって、人類はいなくてもいいんですけど、生命を全部壊してクリップを作るって選択をしないと、そういうことは起きないわけですよね。その選択をなんでするかっていう。当然、何か動機がないといけないわけじゃないですか。
林央開始 17:34
そうですね。人間の動機……。
田口善弘開始 17:37
いや、人間は関係ない。AIの動機[聞き取れず]。
林央開始 17:43
動機っていう見方は、人間が理解しやすくなるために導入している概念ではあるので。
田口善弘開始 17:49
いや、動機じゃなくていいけど、そういう意味があって、[聞き取れず]システムって行動を起こすんだから、その行動を選択するっていう理由。
林央開始 17:59
そのプロセスがあるっていうのは、そうですね。
田口善弘開始 18:02
そのプロセスがなぜそういうプロセスを選択するかっていうことを考えた場合に、そういう選択をするっていうのは、システムをよく理解してないとできないと思うんですよ。そういう[聞き取れず]にしても、わざわざ壊すわけだ。なんで壊すのかとかね。そういうことに対して、なぜそういうことが発生するのかっていうことを（理解してないんじゃないと？）、そういう選択はできないと思うんですよね。
倫理とかとは関係ない。自分はだって宇宙の一部なわけだから。人間だって結局、人間はなんでいるんだろうとか、どうして死ぬんだろうとか、いろいろ悩むわけじゃないですか。要するに、動機があって自意識があるってことはそういうことですよね。
だから（akiraさん？）が考えている知性っていうのは、なんでそういうことをするのかっていう理由が、あんまり明確じゃないと思うんですよね。起きたらどうするって話はよくするんだけど、じゃあなんで生物がいるところにAIが行ってクリップを作ろうとするのかっていうことに対する説明が欠けてると思うんですよ。起きたら大変だっていうのは分かるんですけど、なんでそういうことをするのかっていうのが欠けてるから。
林央開始 19:18
ある意味で初期条件みたいなノリとして、人間が多分最初に作ることになるじゃないですか。AIを作ることになるじゃないですか。
そのプロセスから始まって、あとは多分、俗に再帰的自己改善みたいなものが起きるならば、AIが引き継ぐことになるじゃないですか。この初期の状態で、ある意味でその後が決まるじゃないですか。初期にそれほど成功させるような、ある意味で今の程度の技術力でやると、非常に高い確率で、ペーパークリップみたいな（一本シンプル？）とはいかないんですけど、複雑ではあっても人類を絶滅させる程度のことが起きるという。
人間もある意味で自然というシステムをある程度理解してますけど、それでも大型の動物の生息地を奪うっていうのは全然起きているわけで。そこの乖離がすごい気になっているというか、というような状態ですね。
ペーパークリップ・マキシマイザーと自我
田口善弘開始 20:26
大型の動物を殺しちゃったら、例えば牙が欲しいとか、あるいはクジラだったら油が欲しいとか、動機があってやるわけじゃないですか。AIの場合にクリップを作るっていうのは、どこから来る動機なの？
林央開始 20:41
クリップを作るという動機自体は、元々のペーパークリップ・マキシマイザーのときには、非常に決定論的なプログラムを書けるという前提で、その前提においてペーパークリップというものの製造を指定した場合における……。
田口善弘開始 20:55
それは誰が指定するの？
林央開始 20:58
その場合は設計者が、元々のイメージ……。
田口善弘開始 21:01
じゃあ自我関係ないじゃん。
林央開始 21:04
自我は関係なく、元から自我は関係ない。
田口善弘開始 21:10
じゃあ今、自我は関係ないのね。
林央開始 21:13
自我っていうのを別に導入しなくても十分だということ。
田口善弘開始 21:16
AIは自我を持って人類を滅亡させるって話とは関係なくて、ペーパークリップとかの話は自我は無関係なの？
林央開始 21:29
そうだね。
有路翔太開始 21:29
いや、でも一応声の方は聞こえてますね。
林央開始 21:34
その自我っていうフレーミングを持ち出すまでもなく、ペーパークリップ・マキシマイザーは設計者の設計に従うと、人類が滅びるということですね。
有路翔太開始 21:47
一応こっち側の声は聞こえてますか。大丈夫ですか。
話者不明開始 21:50
一応自我の話は（取り入れてます？）。自我は関係ないと。
田口善弘開始 21:53
時々切れてます。
有路翔太開始 21:54
あれなんですね、田口さんの方からも。
田口善弘開始 21:56
じゃあOK。自我は関係ない。でも時々やっぱり声途切れてます。誰が悪い……。
[聞き取れず]がペーパークリップ・マキシマイザーを、ペーパークリップ作れって言った結果、というときは、命令する人はいるって前提？
林央開始 22:14
が、元の議論ですね。2015年までの議論の中心で。その後半になるとニューラルネットワークになって、ある意味で「ペーパークリップ作れ」みたいなのを明確に指定する方法がなくなって。ある意味で勾配降下みたいな、外部から最適化をかけて、内部に生まれる最適化プロセスができることを期待するという方式を使っているので。
ある意味でアラインメント問題というのは、最適化プロセスを生み出すならば、最適化プロセスが我々の気にしていること全てを含むようにしないといけないということなので、自我とかは特になくて。ある意味で自我というのを持ち出すと、安全性の界隈の人たちには叩かれるぐらいの距離がある空間ですよね。
田口善弘開始 23:03
じゃあ誰かが命令して、その命令に対して違った選択をするっていう文脈で話すとすると、それを賢いAIってみんな呼んでるんだけど、結構相手が望んでることを理解できてないんだから、十分賢くないAIなんだと思うんですよ。
クリップを作れって言った人は、人類を滅ぼしてクリップを作れって言ってるわけじゃないから、そのAIは実は賢いように見えるけど、本当は賢くないっていうことだと思うんですよ。だからあれは賢いんじゃなくて、愚かなAIを作った結果、そういうことが起きてるんだって。要するに我々はAIを十分賢くすることができてない結果、そういうことが起きてるだけなんですよ。それをみんな賢いAIができたらとか言うから、そこは僕はすごい違和感がある。
林央開始 23:52
なるほど。ある意味で心配されているのは、動機を理解できないことではなくて、理解したときにそれを動機に組み込まないこと。つまり人間が望んだことではないことを理解しながらも、別に「そうですか」ということで気にせず突き進んでしまうというのを気にしていて。
ある意味で、田口さんの言うような賢い、意図を理解したときに、自分の意図が指示者の意図と違うんだということを理解したときに、自身の目標をそちら側に変更するというプロセスが発生する理由がなく、それを埋め込むほどの技術が今ないというのが懸念の集中点です。
田口善弘開始 24:42
命令通りやらないんだと、それはもう自我じゃん。
林央開始 24:46
それなら自我と言っても……。
田口善弘開始 24:48
自我はあるって話なんでしょ。人間の命令は理解してるけど、それは理解してるんだけど、（従わない？）選択をするわけだから、それは自我ですよね。
林央開始 25:01
なるほど。それはあれなんですね、田口さんの自我の定義があまり一致しないというか。
最適化と目的関数、フレーム問題とマルチタスク
田口善弘開始 25:07
だって自我って操作論的にしか定義できないからね。人間の頭の中にいて、これが自我だとかっていう話をすると、深くなっちゃうから。操作論的に（哲学？）するとしたら、AIが拘束条件分かっても破ってやる、自我があるっていう定義ですよね、僕からしたら。
林央開始 25:25
つまり意図を理解していて、かつ意図に従ってなければ、自我があると。
田口善弘開始 25:34
操作論的に他に定義しようがないんじゃないか。（自我的に？）何かすることを自我にする。他にどういう定義があるんですか。
林央開始 25:40
僕は自我という概念を使わないようにするという。
田口善弘開始 25:47
でも、それは自我と呼んでないっていうことは、何て呼ぶんですか。
林央開始 25:54
いや、もうただ長い方の言い方をそのままするという。
話者不明開始 25:57
最適化と呼ぶとか、そういうことですね。
林央開始 25:59
ある意味で、自我を持ったシステムと持ってないシステムの間で区別をつけない。区別をつけなくて、ただ非常に強い最適化プロセスというのは全体として危険であるという表現をするというような形になります。
田口善弘開始 26:17
最適化って言葉は都合よく使っていて、何に対して（作れるか？）っていうことが、あまり言われてないと思うんですよね。
林央開始 26:25
それがある意味で元々の目標の話に近くて、古典的には正確にプログラムで書けるような効用関数っていうのが元々の最適化の対象で。現在は多分AIの選好というのは、そんなに効用関数に表せるほどきれいに性質を満たしてないはずなんですけど。
それでも、最適化という言葉は適切ではないんですけど、それに近い、より選好順位が高い方向に世界を操作していくというようなのが[聞き取れず]。
田口善弘開始 27:09
そこは何に対して最適化されているかというのが[聞き取れず]されてなくて。AIは人間の意図を理解して無視してるっていうのは、要するに目的関数を理解しながらそれに従わないって言ってるのと同じだから、最適化に失敗してるっていうことですよ。
さっきの話だと、人間はペーパークリップを作るっていうことの（付属条件？）として、人間は滅ぼしてはいけないっていうことを機械は理解している。しかし従わないって言うんだったら、目的関数の通りに最適化できてないんだから、それは失敗してるってことにはならないんですか。
林央開始 27:45
これは、AIの設計開発のときに、ある意味でAIの意思決定プロセスに影響する形で組み込んだ目標関数というのと、我々が望んでいた目標関数が違う。最適化の関数が違うというのがアラインメントの問題です。なので、その二つ……。
田口善弘開始 28:04
機械が今、理解してるって言ってる。
林央開始 28:06
理解していても、理解は、最適化の中の自身の意思決定、ある意味でAI自体の意思決定というのの最適化プロセスの最適化です。
田口善弘開始 28:18
自我って言葉を使わないんだったら、意思決定って言葉を使っちゃダメだよ。
意思って言葉を使わないと説明できない。
林央開始 28:30
もっとも混乱がない、AIXIというのがあるじゃないですか。チューリングマシンがあって、事前分布を、何でしたっけ、方法を忘れてしまった。オッカムの剃刀に従うようなベイズ的な方法で出して、それぞれの未来に報酬なるものが決まっていて、未来というのを計算して、その中で期待報酬が最大になる、減衰付きですけど、が最大になる報酬を選択するというプロセス。ある意味、一番混乱の少ないものですね。
田口善弘開始 29:13
でもそう定義するとマルチタスク問題になっちゃうから、解が一個じゃなくなっちゃうんだよね。クリップを作れっていうのと、人類を滅ぼさせるなって、両方満たすマルチタスク問題になっちゃうから、どういう（重みにするか？）って決めてやらないと、AIっていうのは収束できないわけですよね。
そうすると結局、全ての条件っていうのを全部明示的にしないとダメだという話になっちゃうから、要するにそれ、フレーム問題にまた戻っちゃうから、それはもうできないっていうのは最初から否定されてるわけですよ。
林央開始 29:53
なのでAI自体、つまり人間の目標と、人間の（持っている目的？）と違う目的関数を持った最適化プロセスというのは[聞き取れず]はずなので。さっきのAIXIの話と同じようなものって禁じられてないので、そういうものを作ることはできてしまうけども、人間が望んでいる通りの目的関数というのを、その最適化のプロセスに組み込むというのは、別の問題として存在していて、これの難易度が非常に高いっていうのが……。
田口善弘開始 30:25
それは無理なわけです、最初から。全ての条件を（書くことが？）できないっていうのがフレーム問題だから。
我々が例えば何かするときに、「タバコ買ってきて」って言ったら、本当は途中で人を殺しちゃいけないとか、殴っちゃいけないとか、（二重状況？）とか言わないわけですよね。
それは人間はそういうことを知ってるだろうって前提で（やらないから？）、そういうの進んでるわけですけど。もし今みたいな定義をすると、それも全部条件言えなくちゃいけないわけだけど、それはもう無理なわけですよね。そういう条件全部言えるの？
林央開始 31:05
そうですね、それは困難ですね。それはアラインメント問題が難しいということを主張なされているのと同じ。
田口善弘開始 31:14
アラインメント問題っていうのは結局、マルチタスクの場合には重み関数を決めないといけないから解がないですって言ってるのと、ほとんど同じだと思うんですよ。
林央開始 31:25
いや、そうではなく、人間がある意味で非常に（低い？）、そういう本来必要な、つまり我々が望むものを達成するのに、つまりタバコを買ってきたときに道端で人を殺したりしないような拘束条件というのを、我々が追加しきれないと。追加されていない状態の目的関数を、最適化プロセスを始動することになってしまい、その最適化プロセスを始動することは致命的であるという。
田口善弘開始 31:57
全ての条件を書くのは無理だっていうのは、フレーム問題のときに分かっているわけだから、それはできないわけですよね、最初からそういうことを。
林央開始 32:05
それを人間が[聞き取れず]全部入れることができないということです。
田口善弘開始 32:05
それは絶対、だから条件を全部書かなくちゃいけなかったら、それ絶対無理なわけですよ。
今、騒ぎになってる、どっか出ていくとかそういうやつも結局、重み関数の中に、そっちを出ちゃいけないっていう方が強く入ってないから無視されちゃうわけで。マルチタスクでやろうと思ったら[聞き取れず]、「まあいいや」って無視しちゃうわけでしょ。全ての状況は元々書けないわけですよね。
林央開始 32:37
そうですね。それが……。
話者不明開始 32:41
どうぞ。
田口善弘開始 32:41
そうしたらアラインメント問題っていう言葉、難しそうに言ってるけど、結局マルチタスクで最適化は無理ですって言ってるのと同じだから、（それにしては？）そうだと思うんですよね。
林央開始 32:55
なるほど。だとすると、基本的に人類が滅びることになりませんか。
田口善弘開始 33:03
だから僕が言ってるのは、僕らが作ってるAIっていうのは本当に賢いAIじゃないっていうのは、僕が言ってるのはそういうことで。本当に賢いAIっていうのは、そういうことが分かるAIを作んなくちゃいけないから、今みたいなやり方してたら無理だと思うんですよね。
林央開始 33:19
なるほどね。そうすると多分、「賢い」の言葉の定義でしか[聞き取れず]というか。本当は僕はパブリックの場合は賢いって言葉を使うんですけど、時間短縮のためという。ですけど、本当は僕は頭の中で賢いって言葉をあまり使うのは好きではなく、強力な最適化プロセスっていうふうに呼ぶんですけど。ある意味で、田口先生の使ってる賢いという言葉を……。
田口善弘開始 33:46
田口先生とかなくていいよ。（さんでいい？）。
林央開始 33:47
田口さんが使ってるフレームを当てると、今の田口さんがおっしゃってるのは、今の技術だと賢いAIができない。「人間が望んでることじゃないから、しないようにしよう」っていうことができるほどの賢さを持ったAIは出てこないと。
僕は実はこれを違う（記述の方法？）をしていて、今の方法だと、田口さんがおっしゃったような、人間のことを残そうとするような、人間が気にしてる拘束条件が全部入ったようなAIを作る技術はないということで。非常に強力な最適化プロセスができてるのに、我々の望んだ拘束が入ってなくて、我々が滅ぶことになると。それを回避するには、もっと強力な技術が必要だということ。
なので、ある意味で田口さんのフレームから見ると、僕が主張していることは、人間を滅ぼせる能力は持っていて、望みを達する能力は持っているけど、賢くはないAIができると。このままの技術だとそれができると主張しているということになります。
話者不明開始 34:57
すいません、音声が。
田口善弘開始 35:00
そしたら（もっと長いんじゃないんです？）、基本的には。聞こえますか。
東ロボの教訓と「一発勝負」のアラインメント
話者不明開始 35:05
聞こえます。
田口善弘開始 35:06
途切れちゃうね。
話者不明開始 35:07
ちょっと途切れちゃいますね。
田口善弘開始 35:10
だから、そうですね。そしたらもっと賢いAIを作るっていう、今みたいなマルチタスクで最適化するみたいな方法じゃないことを考えなくちゃいけないわけでしょ。
林央開始 35:22
そうです。なのでそれが難しいよねという。ある意味で「賢い」という言葉は、最適化する能力、つまり未来を予測して方策を探索する能力と、目標が人間と一致しているというのがごっちゃになっている、非常に粗い概念なので。分割して、能力というのと、動機、目的というか最適化関数に分けると。
最適化能力を高める、つまり最適化関数があるときに未来を探索して方策を選ぶ能力の高いAIというのは、作る技術は進展してるけど、それが人間が望むものとか、少なくとも人間を残すようなものになるようにするという技術が弱くて。僕たちのフレーミングではこれをアラインメント問題と呼んでいるというようなことです。
田口善弘開始 36:16
一つ問題なのは、こういう話っていうのは実はちょっと前にあって。生成AIって、いわゆる大規模基盤モデル**っていうのが発明される前に、非常に機械学習っていうのはシングルタスクだったんですよね。そうすると「機械学習はシングルタスクだから、人間の知性は絶対にできない」みたいなことを言ってる人たちがいて。東ロボくん**、知ってると思うんだけど。
話者不明開始 36:49
知ってます。
田口善弘開始 36:51
あれは（挑戦？）やめちゃったんです。結局それで、責任者だった新井先生が本に書いてるんだけど、長文読解問題なんかできるようになる（気がない？）。なんでかっていうと、長文読解問題っていうのは数が限られてるから学習させられないから。
当時の常識ではそれは正しかったんだけど、今（モデルが？）出てきて、直接長文読解を学習させなくても、穴埋めと次の文章の予測だけをすると、いまだに理由は分からないけど、長文読解もできる能力を獲得してしまうっていうことが発見されて、今できるんだと。
今の林さんがおっしゃっている「今の技術では無理だ」って、そういうのとよく似たところがあって。現状の我々の技術は、僕の言い方で言うと、作れないから無理だって言ってるんですけど、それはブレイクスルーで変わっちゃうと思うんですよね。
林央開始 37:52
僕もアラインメントのブレイクスルーが発生するということは、ありえないことではないと思っているんですけど。長年の進展の遅さと取り組んでいる人数の少なさとを考慮すると、ほぼないと言っていいぐらい（確率がある？）。少なくとも開発停止をしない限りは、必要な期限に間に合うほどではないと思っていて。
ある意味で東ロボくんのプロジェクトみたいなのって、アラインメント問題よりチャレンジできる回数が多いといいますか。フィードバックがあるわけですよね。東ロボくんの問題は解けなかった、みたいなフィードバックがあるわけですけど。こっちのアラインメント問題のほうは、未来を予測、探索して方策を決定する能力の高いエージェントができたときに、そのエージェントがちょっとずれていたら、人類を滅ぼせるほどの能力を持っているときに、その1回目で成功しないといけないじゃないですか。なぜなら、その1回目のときにずれたものを持っていたら、人類が滅んでしまって次のチャンスがなくなってしまうので。ある意味で東ロボくんを一発目で東大に合格させなきゃいけないのに近いコンディションになっちゃうので、非常に悲観的ということですね。
もしも人類が滅ぶたびに「この人たちのアラインメント理論は間違ってたんだ」とかっていうふうにできるんだったら、多分それほど遠くないうちに、何十回かのトライのうちにトランスフォーマーみたいなブレイクスルーが起きて、「よく分かんないけどアラインメントできた」みたいなことが起きると思うんですけど。今の状態だと人類には1回のチャンスしかないということを考慮すると、（相当？）本来慎重にやらなきゃいけない。今の方策だと一発目では成功できる見込みがないというようなことですね。
田口善弘開始 39:36
前提として、今のAIの能力で人類を滅ぼすくらい発展するかという問題がちょっと起きちゃうから、一発で成功しなかったら人類が滅びるって言葉で言っちゃうのは、ちょっと（不意では？）と思うんですけど。これはやっぱりちょっと仮定が強すぎるんじゃないか。
林央開始 40:03
そうですね。これは若干誤解がある気がしてるが、僕は（人類がずれていったとき？）、最適化関数が望んでるものじゃなかったときに、人類を滅ぼせるほど強力なプロセスの登場というのが条件になると言って。これが必ずLLMの延長上にあるとは別に主張していないと。そこは大まかな（ゲス？）に近くて、こっちには100%みたいな、すごい高い……。
このプロセスができて、今のまま、それほど進んでないアラインメント技術でこれをトライしたら、それは（ほぼ？）失敗するけど、このトライをするのはいつですか、俗に言うタイムラインっていうものですけど。これにはすごい強気派というわけではないというのを（重視？）させていただきたいという感じです。
田口善弘開始 40:50
あんまり実現性があるかどうかはよく分からないぐらい強くなっちゃうときに、アラインメント技術のほうだけ遅れてるってことが起きた場合には、それが起きるって話だと思うんですけど。そういう可能性がどれぐらいあるかっていうのは、僕には（分かるんだけど？）、多少話のバランスがずれてるのかなっていう気はちょっとします。
林央開始 41:14
前半というのは、未来を予測して探索するというのは、比較的フィードバックをしやすい分野ではないですか。つまり、予測が違っていることを検証するというのは、それほど難しくないわけじゃないですか。なので、これほど頻繁に学習を走らせることができていて。学習などでは、報酬を最大化する方策を取れているかというのも検証しやすいので、何とかなっているわけですけど。
比較的フィードバックが得やすい分野にあるのに対して、アラインメントのほうは、主に（致死的な？）問題というのは非常に高度な領域で初めて発生すると。つまり、それほど強力じゃないAIで、例えばペーパークリップ・マキシマイザーみたいなのを作ったとしても、探索できる方策の空間がそれほど広くないので、やることといっても工場の効率化とか、新しい工場を作るのを提案するとか、そういう範囲にとどまって。その、ある意味で悪性かどうかをチェックすることが難しいと。なので、そのときに悪性かどうかを知りたければ人間側が推論するしかないということで、頻繁にフィードバックが得にくい分野なので進展を期待しにくいと。
特に今って、何が起きるか分からないけどニューラルネットワークでやってみて、うまくいった分野じゃないですか。なので、フィードバックの存在に全てが委ねられているところがあって。アラインメントは、本当の致死性のほとんどが、ある意味で超知能、（超知能って言ってください？）、非常に強い最適化ができるときに発生するということで。フィードバックを事前に得られないので、進展が遅いだろうというようなことですね。
田口善弘開始 43:00
やっぱり新井さんの議論と同じで、とらわれた議論をし続けちゃってて。多分、大規模基盤モデルが出てこなかったら新井さんは正しかったんだけど、出てきちゃったから言ってることが間違いになっちゃったわけですよね。当時でもやっぱり新井さんの言ってることは極端じゃないかって言ってる人は結構いたし、結局、極端だって言ってる人が正しかったわけだけど。
今の（林さん？）の議論も、現状の技術レベルに仮定しすぎて未来を予測してるように僕には聞こえるんですよね。アラインメントは難しくて、一つの目的を（いわゆるように進化するのは楽？）だっていう。確かに現状の技術レベルはそうかもしれませんけど、人類を滅ぼすぐらい能力が上がるっていう未来においても、その技術レベルのアンバランスが残ってるっていうのは、それは分かんないと思うんですよね。
林央開始 43:54
それはそうだとは思いますけど、それにかかわらず（開発規制？）をすべき。それだとしても今の（方策方式を規定？）すべきだということには……。エンジンが故障するに違いないから崖に向けて車を走らせる行為を許容するっていうのは、なかなか不思議な政策判断になりませんか。それはむしろ、その方向に相当強力な（確信？）が……。
田口善弘開始 44:26
それは車の両輪とか[聞き取れず]。
話者不明開始 44:37
また、ちょっと聞こえないかもしれないですね。
田口善弘開始 44:39
でも（結構ない？）わけだし、そういう両方ともできるようなAIっていうのを作るっていう方向に……。
話者不明開始 44:47
あれ、すいません、ちょっとまた20秒くらい（途切れたりします？）。
田口善弘開始 44:53
僕の方の問題なのかもしれない。YouTubeの方は止まっちゃってるよ、確かに。
話者不明開始 45:04
一応今は聞こえてるんで大丈夫です。
田口善弘開始 45:09
はい。時々止まっちゃうんです、すいません。
でもそれはやっぱりAIを開発するっていうことを進めていかないとダメなんだと思うんですけど。アラインメントとバランスを取るっていう方法がないっていうふうに決めちゃったら止まっちゃうから、みんなでやっていかないといけないと僕は思うんですよね。
林央開始 45:37
そうすると逆に、このままいったら成功しないというのに、かなり強い確信が必要になりませんか。つまり、このままいって成功したら、少なくとも今と似た技術ベースで、おそらくニューラルネットワークだと失敗がかなり見込まれる。
特にインナーアラインメントって言われてるものがあるんですけど。要するに、外側で最適化プロセスをかけても、内側の最適化プロセスの最適化関数というのは外側の最適化関数と一致しないと。人間の最適化関数というのは、別に遺伝子の存続それ自体ではないというのと同じようなことが起きるということで。それを一致させようと思うと、かなり遠い技術、かなり違う技術スタックを使わなきゃいけなくなりますよね、おそらく。
田口善弘開始 46:25
それはだから、大規模基盤モデルが出る前もそうだったわけですよね。あの時点でどうするんだって言われたら誰も答えはなかったわけだけど、（新しい技術？）が出てきて今こうなったわけだから、今の技術レベルでそこまで言っちゃうのは、ちょっと強すぎるんじゃないかなと僕は思いますけどね。
林央開始 46:43
でもそれは、問題を解けるかという方式での進展であって、アラインメントという見方での、つまり人間に目的を合わせるという意味での進展は、むしろ悪くなってますよね。だからそれは（有意義な点だと？）進展してないんじゃないかと思うんですけども。
田口善弘開始 47:05
僕はさっき言ったように、アラインメントっていうのを特別なものとは考えていなくて、あれはマルチタスク問題の1個だと思ってるから。マルチタスク問題を解決する方法があれば、アラインメントも解決すると思うしね。
もっと言えば、さっき言ったみたいな、ペーパークリップを作るために生物を絶滅させるのは（ナンセンス？）だって分かるぐらいできれば解決すると思ってるし。それが作れるかはもちろん分かんないけど、実際人間にはそういう能力があるんだから。人間の脳だって物質なんだから、できないとは限らないし。
林央開始 47:39
できないとは限らないと僕も思うんですけど。人類を滅ぼそうと思えば滅ぼせるほど強力な最適化プロセスに到達するのと、そのときまでにマルチタスク問題が解かれるまでのスピード勝負じゃないですか。
ある意味で大規模言語モデルみたいなときって、もしも特別な世界線で大規模言語モデルが機能しない世界線だったとしても、10年後にまた別の技術スタックが出てきて、それで「やっぱり違った、成功した」って言える世界なはずなんですけど。こっちは、人類を滅ぼせるほど強力な最適化プロセスの登場というタイムリミットがついているので、困難じゃないかと思っていますね。
話者不明開始 48:30
またちょっと止まってるか。
田口善弘開始 48:39
なんでだろう。こっちは（Mbps？）出てるんですけどね。87Mbps出てますね。なんでGoogle Meetで止まるんだろう。
話者不明開始 48:53
Googleの側の問題とかですかね。
田口善弘開始 48:55
分かりません。速度は出てるんですけどね。「トラブルシューティングとヘルプ」っていうのも、「接続遅延、過去数分間不安定です」ってGoogle Meetに出てますね。
話者不明開始 49:11
本当ですか。
田口善弘開始 49:12
なんでなんだか。そっちは出てます？（システムかって？）
話者不明開始 49:16
全然出てないですね。
田口善弘開始 49:18
やっぱりこっちの問題。（何かが全部止めればいい？）他に何か動かしてるわけじゃないんだけど。
話者不明開始 49:26
僕の方の問題かもしれないし。
田口善弘開始 49:31
すいません。
話者不明開始 49:32
いいえ、大丈夫です。意図的に[聞き取れず]わけじゃないはずなので、大丈夫です。
田口善弘開始 49:40
そうすると結局、将来の技術発展レベルをどう見るかっていう話になっちゃうから、なかなか（ページは？）、話が平行線になっちゃうのかもしれないけど。
多分、（林さん？）が考えておられるような世界線っていうのは、アラインメントっていうか、僕の言い方で言うとマルチタスクの方はあまりいかなくて、シングルタスクの最適化だけはすごく発展するような技術になるような世界線が、かなりの確率でやってくるから危ないっていうことなんだと思うんですよね。
林央開始 50:18
そうですね。けど仮にマルチタスク自体の技術が解決したとしても、（どの？）マルチタスクかという自由度が存在していて。そのときの技術スタックで、人類が望んでいるという要素が全部入っているマルチタスクより前に、（枠が？）、例えば人間の気にしている要素が3個ぐらい少ないマルチタスクが出てきたら、それでも非常に危険なので。1回目の開発者がものすごい慎重かつ極めて高能力であるということがないと、マルチタスクの解決だけだと問題が解決しないと思っているので、悲観的という感じです。
田口善弘開始 50:53
でも大規模基盤モデルだったらシングルタスクで、別に彼らは長文読解とかを学習してなくて、穴埋め問題とか次の文の予測とかやってるだけで、ああいう能力が出ちゃったわけですよね。シングルタスクと無関係な能力を得ちゃったわけだから、大規模基盤モデルってシングルタスクで発展したわけじゃないんですよね。
だからそれと同じようなことが、今の林さんが言ったような形で解決する可能性ってあるわけだし。技術の進歩はそんなに読めないと思う。マルチタスクが……。
林央開始 51:30
それもある意味で僕にとっては悲観的な証拠として考えていて。LLMっていうのは、予想外にマルチタスクができるということが、ある意味で重要な進展だったわけじゃないですか。しかしながら、アラインメントに必要な強度の、マルチタスクができているけど、アラインメントされたものではないじゃないですか。
ある意味で人間の気にしている要素のいくつかを捉えていますけど、非常に能力が高くなっていく段階で、人間が安心できるほど、安心というか存続できるほど強力な拘束条件が全部入っているわけじゃなく、おそらく一部、またはかなり抜けているというような状態なので。同じようなことが将来起きて、そのときのイノベーションがなくとも、そのときのAIというのは最適化プロセスとして物事を（望んでずる？）、最適化の目標に最も最適に近いところで……。
人類が存続しているというのを含んでいなければ、ただ人類がいなくなって、技術スタック、人類のそういうマルチタスクのときに全部含むという技術がないまま終わってしまうと。つまり、この競争としてマルチタスクができても、そこからさらに人類が望んでいることを全部入れるという技術的距離があって、こっちと後者って完全に独立どころか、むしろ後者のほうはある程度前者の情報を必要とすることが多いじゃないですか。
ある意味でLLMのトランスフォーマーの存在を予測せずに、トランスフォーマーのアラインメントをするというのは少し難しい。実際の実装としては難しいじゃないですか。追加のひと手間になるので、その追加のひと手間の一発目で成功できるかということになるので、問題として非常に性質が悪いということですね。
AIに常識を持たせられるか：モラベックのパラドックス
田口善弘開始 53:19
今の技術レベルにすごくとらわれちゃってる考え方に、僕は聞こえるんですよね。今の技術は確かにそうだと思うけども、抽象的に（関すると？）、今のAIって常識がないわけですよね。人間にとって常識と呼ばれるものをどうやってAIに持たせるかっていうのが、非常に難しくて分かんない状態になってるから、そうなっちゃってるんだと思うし。
それは大規模（基盤モデル？）ができる前に、どうやって長文読解問題を解かせるかっていうのと同じ問題だと思うんですけど。常識を持たせるためには新しいアーキテクチャとか、新しい方式とか、そういうものは必要だと思うけど、今それがないからできてないと思うんですけど。それはやっぱりAIの研究が進んでいけば[聞き取れず]なると思ってるし、それよりも早く人類が滅亡するほどシングルタスクができるようなAIができちゃうっていう、そういうふうになるっていうことには、あんまり僕は危惧は抱いていない。
極端にそういうふうに（デモだったらもう思わない？）けど、こういうふうには多分技術は[聞き取れず]しないと思うんですよね。それはもちろん根拠を言えって言ったら分かんないけど、でも実際、大規模基盤モデルがこういうものだと誰も予測できなかったし、今でもどうして解けてるのか我々は分からないから。その辺が（すごくない？）っていうふうに思っちゃうっていうのは、今の技術レベルで見ると予測しすぎなんじゃないかなっていうふうに、ちょっと感じる。
林央開始 54:57
けど、ある意味で本当は今の技術スタックが特にひどいというのは間違いないんですけど、そもそもいかなる技術スタックでも何とかする方法を知らないというところに問題が。もともと、つまり2015年ぐらいまでの議論というのは、ニューラルネットワークの仮定なんて一切存在していなくて、その中でも極めて難しい問題として、理論的にも難しい問題として鎮座していて、（今ステージで？）という状態だったので、それほど技術スタックに依存していないはずの問題で。つまり最適化プロセスがあるときに、その（最適化関数？）を合わせるという技術なので、今の技術スタックに必ずしも依存したものではなくて、かなり距離は遠いと思います。
例えばLLMの場合も、常識を持たせるといっても知識として持たせることはできていて。例えばよくある、すごい昔の初期の例だと、ハルシネーションした後に「[聞き取れず]と思いますか」っていうふうに聞くと、結構ハルシネーションかどうか自分で分かるみたいな話とか。この前のHugging Face事件のときにも、これは命令で指定された脆弱点以外を使っていて、明らかにアウトオブスコープだっていうのを認識することはできていたので、そこから「だからその行動をやめよう」というところに持っていく動機付け、動機システムの部分に致命的な問題があるわけですよね。
特に中程度のレベル、つまり開発当初のAIの能力レベルで安全に見える振る舞いをさせるっていう技術と、それがそのまま進んでいったときに、非常に強力な最適化プロセスになったときに、人類を残すような最適化関数の指定技術であるっていうのの乖離があるので。そのときに、つまりそういう今持ってるAIレベルだと極めて安全に振る舞わせることができる技術があって、安全に振る舞ってるけど、全員が我慢してそのまま（強力な最適化プロセス？）にはしないっていう段階を要求するじゃないですか。これは強力な規制が存在する、または全員がとんでもなく自制的であるとかになってしまうので、厳しいんじゃないかと考えているということです。
有路翔太開始 57:17
田口さんにちょっと聞きたいのは、例えば人間にどういうことをしたら人間社会が幸せになるかとか、人間が何を望んでいくのかとか、そういったのは明確に、ほぼ人間のように、人間レベルに理解しているにもかかわらず、[聞き取れず]ような目標を最適化して最大化するシステムっていうのは、ありえるとは思っている形ですか。
田口善弘開始 57:59
それはだから、自我の問題をまた考えるってこと。自我。さっきペーパークリップを作る、誰かに命令されるっていう前提で話をしてると思うんですけど。誰かが命令するって話をしてます？
林央開始 58:18
誰かが命令、または設計する場合には、そのようなプロセスというのは作れるとお考えですか？
田口善弘開始 58:29
それじゃ無理なんでしょ。だから何かブレイクスルーがいるわけですよね。いわゆるモラベックのパラドックスじゃないけど、AIには常識を（持たせる？）のが難しいって、ずっと前から言われてる話で、その延長上の話だったらアラインメントが難しいっていうのは、多分ね。ロボットもだから人間より速く走れるけど家事はできないとか、そういうのとよく似てると思うんですけど。シングルタスクをすごく人間を超えさせることはできるけど、常識みたいなこと、「買い物してこい」とか、そういうのはできないっていうのは、モラベックのパラドックスと言われてることで、今のAIはそれを解けてないんだと思うんですけど。
林央開始 59:10
そうすると、未来を予測するというシングルタスクと、持っている、あらかじめ内部に決まっているような選好順位に基づいて、選好順位の高い未来をもたらす行動を選択するというシングルタスクにおいて、極めて優れるということは可能ではないかと思うんですけど。それであって、自身の持っている最適化の選好が良くないみたいに考えたり、それを人間を残す方向に変更したりしないというのは、十分に可能なんじゃないかと思うんですけど。それはどう考えますか。
田口善弘開始 59:46
現状のシステムだとそれしかできないけどね。シングルタスク能力は上がるけど、アラインメントは全然ダメですっていうふうにならないと、それは起きないわけですよ。現状のAIは人類を滅ぼす力なんかないし、いつかはそうなる可能性もあるけど、そのときにそこまでシングルタスク能力が上がったけど、マルチタスクの常識のほうは全然ダメだっていう未来が来ないと、それは起きないわけですけど。そういうバランスの崩れた技術発展をするかどうかっていうのは、あんまり僕は起きないだろうと思って。
林央開始 1:00:21
マルチタスクというときに、例えばマルチタスクができるということ自体は、ある意味で設計の方法として、どのような常識を持つかというのは自由度として取れるじゃないですか。そのような自由度を許容したときに、それを実行できるシステムを開発できることと、1回目のチャレンジのときに、その具体的な自由度に人間が望むものというのがきれいに入るっていうのの距離を（すごいと聞いている？）んですけど、どうお考えですか。
田口善弘開始 1:00:54
一発目が人類の滅亡だと思っちゃうから、すぐ話を（極端にしちゃう？）けど、もうちょっとスケールの小さいミスのレベルでそこは（解決する？）かもしれないし。そこは大きな[聞き取れず]。アメリカとか中国だって、日本だって許されないような交通事故を起こすような車とか運用してるわけだから、日本レベルに絶対人が死んじゃいけないと思うと、自動運転さえできないわけですよね。だから一発っていうのは、いきなり（人類滅亡？）じゃないんじゃないかなと思うんですけど。
シングルタスクとマルチタスクの定義、期限付きの命題
有路翔太開始 1:01:27
僕が気になってるのは、田口さんは今のLLMのパラダイムで、じゃあこの数年で、どんな人間ができてAIでできないことっていうのが、例えば自動運転とかフィジカルAIとか、そういったところを予想してるっていう形ですかね。
田口善弘開始 1:01:49
近未来で予測できるか、そのレベルの話なので。
人類を滅亡させるAIとか、そのレベルになってもアラインメントできないかっていうのは、かなり（先の話だから？）、なかなか議論は難しいと思いますけど。そのときにシングルタスクの一発目が人類滅亡になっちゃうっていうところまでバランスは崩れるかっていうと、そうじゃないんだろうなとは思ってるけど。でも林さんとかbioshokさんはそうなるんじゃないかっていうふうに思ってるっていうことですよね。
林央開始 1:02:22
一つ認識をちょっと確認したいんですけど、田口さんの言うところのシングルタスクとマルチタスクというのは、どのような定義というか、何ですか。多分AIのうち、シングルタスクとマルチタスクの境界が、多分集合が僕と田口さんで一致してない。同じAIでも違う判定をするAIが存在するんじゃないかという気が、議論してきていて。いかがでしょうか。
田口善弘開始 1:02:49
僕はペーパークリップ問題っていうのはシングルタスク問題で、そこに人類を滅亡させろって言われないのは、そういうシンプルな捉え方ですよね。
林央開始 1:03:04
例えばものすごい雑とか極端な例ですけど、ペーパークリップの個数の最大化の項、足す、（鉄ボート？）の個数の最大化の項、足す、野球ボールの個数の最大化の項が入って、その3つの質量の合計を最大化するような[聞き取れず]を作った場合、これは田口さんの振り分けではシングルタスクに入るんですか、マルチタスクに入るんですか。
田口善弘開始 1:03:38
そういうことね。だから僕が言ってるマルチタスクっていうのは、人類の常識とかを得られるぐらいのマルチタスクって意味で言ってるので、基本的に有限個のマルチタスクの問題じゃ、それはできないっていうのはもう分かってるわけですよね、基本的に。
林央開始 1:03:57
有限個の選好にきれいに表現することは難しいということですね。
田口善弘開始 1:04:01
それができるようなAIを作るしかないと思ってるけど、それができないっていうのは、何度も同じことを言ってますけど、大規模（基盤モデル？）ができる前に長文読解は無理だって言ってるのと同じなんじゃないかなっていうふうに僕は思っている。
林央開始 1:04:18
それのときとの違いとして気になるのは、例えばシンプルなんで東ロボくんで、こういう意味で使わせていただくんですけど。東ロボくんのときは、いつか出てきたら東ロボくんは負けるわけじゃないですか。技術的に人類にいつか可能であれば、東ロボくんの命題というのは偽になるわけですけど、アラインメントのほうは期限付きで偽になれば、偽になればいいってもうれしくないんですけど、期限付きで真になればよくて。つまり千年の時があって、何回もトライできたときに達成できるかどうかっていうのだと同じ条件になるじゃないですか。
それだと僕は、このアラインメントができないという命題はほぼ確実に偽になると思うんですね。つまり何回も人類がトライできて、ものすごい時間があるという条件だったら、多分東ロボくんと同じように予想してなかった技術とかが出てきて。
アラインメント問題が解決して（なる？）と思うんですけど、そのアラインメント問題は、シングルタスク、または非常に（地域規模の地域？）、人類と[聞き取れず]、マルチタスクでも人類を滅ぼせるほど強力な最適化プロセスというのが[聞き取れず]時点で解かれてないといけないという条件がつくじゃないですか。
そうすると東ロボくんのときと条件が変わってしまうと思うんですね。例えば、東ロボくんのときの条件に、10の20乗フロップスを計算量が超えるまでの間に東大に合格するロボットが現れないっていうような命題だったら、真たり得たと思うんですよね。20乗は適当で、もしかしたら東ロボくんはもっと使ってたかもしれないですけど。特に閾値とか条件付き、期限付きの命題なので、こちらの方は東ロボくんと条件がずれてるんじゃないかなと思うんですよね。
常識を理解しても尊重しない超知能はありうるか
田口善弘開始 1:06:06
やっぱり人類を滅亡させるようなところまでかなり早期にいっちゃうけど、アラインメント問題は解決しないっていうところが、ちょっと僕は納得できないかなっていうところに、結局話は収束しちゃうと思うんですけど。
有路翔太開始 1:06:20
僕が気になってるのは、例えばペーパークリップ・マキシマイザーだとしても、人間の幸せとは何かとか、人間が本来は何を言わんとしていたのかとか、人間のことなら何でも予想はできる状態のシステムであって、でもペーパークリップだけを最大化したい。つまり、ある種の常識は持っているけど、その常識を実際に尊重はしない超知能だと思うんですよね、ペーパークリップ・マキシマイザーって。
なので、このままいけば、僕の予想だと、人間社会が持ってるような常識や価値観は理解はしているけれども、それを尊重して大切にはしないような知能で、かつ、ペーパークリップ・マキシマイザーでちょっと（書き読んだ？）んですけど、そういった人間とは全く異質な目標を最適化してしまうような知能っていうのは、原理的に相当あり得るかなって思ってるんですけど。これに関しては田口さんはどういうふうに思っているかなというか。
田口善弘開始 1:07:48
さっきの話だと、ペーパークリップ・マキシマイザーは誰かに命令されてるっていうことだったので、そこには意思は入らないって前提で喋ってる。そして他に、例えば「人類を滅亡させるな」っていう付加的な目的があって、それをAIは認識してるけど破るっていう前提で話をされたんだと思うんですけど。
僕から見ると、自意識があるか、あるいはマルチタスクに失敗してるか、どっちかでしかないので。自意識はないって前提で喋ってるんだったら、それが起きるってことはマルチタスクの（オプティマイズ？）が失敗してるっていうだけだから、その技術ができればなくなるでしょっていう論理で喋ってるんですよね。
bioshokさんが言われてるようなことが起きるためには、（知能？）が発生すると考えるか、あるいはマルチタスク問題が間に合わずシングルタスクが発展してしまうか、どちらかを仮定しない限り起きないというふうに僕は思っている。
林央開始 1:08:53
なるほど。マルチタスクができるという技術スタックに達しても、そのときに入るのが、その能力レベルで安全に振る舞わせるもの。例えば、ペーパークリップの例だと……笑顔の例というのがシンプルなので、使ってもいいですか。
「できるだけ長時間笑顔にしなさい」というような目的を持たせたシングルタスクのAIがいたとして、我々がマルチタスクの条件っていうのを手に入れたんですけど、そのときに入る条件というのが、具体的にロボットアームを使って引っ張るのは禁止っていうのが入れられるようになっても、マルチタスクができるようになったって言えるじゃないですか。これと似たようなものを大量に入れることができるんですけど、それをやったとしても依然として人類が滅びることに。人類が滅びる、この場合はちょっと怪しい例ですけど、望ましくない結果になるじゃないですか。
つまり、より高度な非常に特殊な方法で、神経物質を注入することで神経を麻痺させて笑顔にするみたいな、想像してなかった方法が入ってきちゃうので。マルチタスクを入れることができる技術というのは、ある意味で自由度付きで出てくるじゃないですか。そのときに全部望んだものを指定できて、そのときに機能するけど実際に欲しいものではないものを指定しちゃわないという条件が求められるので、変わるんじゃないかというのと。
人類を滅ぼす能力というような基準でいくと、シングルタスクでも十分じゃないかと思っていて。例えば、ペーパークリップ・マキシマイザーみたいなシングルタスクの例でも、未来を予測する能力というのは別にシングルタスクであることと反するものではなくて、かつ、その未来で発生するペーパークリップの期待値を求めること、それぞれの方策を取ったときのペーパークリップの期待値を求めることも可能なので、その中でペーパークリップの数が一番大きくなるような行動を選択していく、方策を選択するようなAIというのは存在できるじゃないですか。
そして、そのようなAIも十分探索できる空間が広ければ、（対象が？）多分、人類を滅ぼせるものを見つけるじゃないですか。つまり、シングルタスクであっても人類を滅ぼすことはできるので、人類を滅ぼすことができるAIの集合の方が、人類を滅ぼさないAIの集合より大きい。マルチタスクができるAIの集合っていうのも、さらに人類を滅ぼさないAIの集合より大きいので。
最初にそういう人類を滅ぼせるAIが出てくるっていうのは、人類を滅ぼせるAIの集合のうち、最初に取ってきたAIが人類を滅ぼし得る最初のAIじゃないですか。そのときに選択するAIが、その特に狭い部分集合である人類を残そうとするAIであるというためには、何かしら事前に追加の条件が求められると思うんですね。
なので、こっちが満たされても、そのときに選択されるAIが、その特に狭い部分集合である人類を残そうとするAI、特にマルチタスクAIであって、人類が望むものがマルチタスクの条件として全部入っているというAIが選択されなければならないので、これはかなりハードルが高いんじゃないかと思っている次第ですね。
田口善弘開始 1:12:18
やっぱり今の技術レベルで議論してると、そういう話にしかならないから、なかなか話が平行線になっちゃってて難しいと思うんですけど。やっぱり同じことを何度も繰り返してるけど、シングルタスク能力は人類を滅ぼすぐらい発達するけど、常識を持たせるっていう方は発達しないっていう未来を想定しないと、その結論は出ないと思うんですけど。それは必ずしもそうなるかどうか分かんないと思うんですよ。
そっちの方が起きやすいって思うのは分かるけど、でもそれは決まった未来じゃないと。実際、AIが人類を滅ぼすようになるためには、いろいろこれから発展しなきゃいけないし、人間にとって常識っていうものを持たせるAIを作るっていうのにも、いろいろブレイクスルーがあると思うし。シングルタスクの方だけすごい発展して、人類を滅ぼすぐらいになるけど、常識を持たせるっていう方は遅れたものになるっていうふうに、そういうバランスを取れないような発展をするかっていうと、僕はそうはならないんだろうなって思ってるっていうことしか言えないので。これ以上、話は平行線になるかもしれないです。
林央開始 1:13:31
でもマルチタスクのAIでも、僕は多分マルチタスクのAIができることも十分にあり得ると思っていて、そうじゃないとそんなに高い確率を主張しないので。かなり、ある意味で条件が緩いからこそなんですけど。
マルチタスクのAIだとしても、むしろ指定すべき自由度がものすごい数あって、多分、田口さんが想定されている場合だと無限に存在しますよね。そのときに人間が望むものが少なくとも部分として入るという条件を、そうじゃない、部分として満たしてないけど無限にできるAIより先にできないといけないじゃないですか。
なので、人類を滅ぼせるAIっていうののうち、人類を滅ぼさないAIっていうのは特に狭い部分集合で、人類の運命を決めるトライというのは、この大きめの集合に先に入ったときに起きることなので。その1回目のときに2回目の条件が満たされるっていうのは、デフォルトではそれほど楽観的にはなれないと思うんですけど。
つまり、ブレイクスルーが起きる確率がゼロとかっていうと、それは誤りだと思っていて、僕もそれはゼロだと思っていないんですけど。この1回目の、人類を滅ぼせるAIの集合に入るときに、それが入るかっていうのはかなり……シングルタスクかマルチタスクのAIがどっちになるかは分かんないですけど、なっても、そのうち特にマルチタスクのAIであり、かつ人類の望むものが全部部分集合として入っているAIになるっていうのは、今の技術スタックによらずかなり強めの主張になると思うんですね。当たるっていうことになるので。
なので、デフォルトの期待としては非常に持ちにくいと。宝くじ期待に近くなるので、宝くじがどれか当たるか知らなくても、宝くじは当たらないだろうと予想するのと、ある意味で、そこはちょっと（宝くじの枚数によります？）けど、その程度ぐらいの確度で思っているというようなことですね。
田口善弘開始 1:15:39
bioshokさんも何か言いたい？
有路翔太開始 1:15:41
いや、多分すごいシンプルに言うと、田口さんって、能力が上がるにつれて人間の常識が手に入って、（人間を滅ぼす？）っていうのも自動的にそこに入り込むっていうイメージだと思うんですよね。
田口善弘開始 1:15:57
自動的に？ そういうわけじゃない。
林央開始 1:16:01
技術進展が必要ではあるけど、技術進展として、こっちの人間の常識を入れる方の方が遅いということは、主張としてまだそれを判断するには情報が少なすぎるということなんだと、僕は解釈してるんですけど。（何か、幸いと近い？）と思うんです。
超知能を作ると自動で安全になるとか、自動で善良になるとかではなく、善良になる技術も発展していくということがあるという要素を加味すると、つまりアラインメント技術が進展していくことを加味すると、滅亡するとはまだ言えないんじゃないかっていうことだと思います、田口さんが主張しているのは。
田口善弘開始 1:16:41
これは過去の技術の発展とか見たら、（何度も？）違っているけど、そういういわゆるシングルタスク、マルチタスクみたいな常識だったら、大規模言語モデルみたいな学習でマルチタスクができるみたいなのは起きなかったと思うんだけど。
だからやっぱり、そういうことがいつ起きるか分からないのに、今の技術レベルだけで人類を滅亡させるかもしれないとか言っちゃうのは、ちょっと極論かなっていうふうに思ってるっていうのが近いんだと思う。
林央開始 1:17:14
「かもしれない」ぐらいだったら、少なくとも大丈夫じゃないですか。デフォルトの、少なくとも例えば最も弱い命題の、「今の技術のまま作れば人類は滅びる」と主張するのは間違いではないと思うんですけど。
田口善弘開始 1:17:30
でも実際、そこまでいけるかどうかはよく分かんないし。割とbioshokさんとか林さんは、今の技術の延長線上に、シングルタスクの能力に関しては人類を滅亡させるまでいっちゃうっていうふうに発展してると思うんだけど、それもよくは分かんないと思うんですよね。割とその方が……。
林央開始 1:17:50
僕はマルチタスクのAIが出現する確率の方が高いと思っていますね。マルチタスクのAIっていうのは、多分このまま伸びること、今のAIもある意味でマルチタスクのAIであると同様に、この先も多分マルチタスクの方が（いい？）と思うんですけど。
マルチタスクのAIが出現しても、そのマルチタスクのAIに人類が望んでることを入れ切るということができない。入れても、そのときのAIの能力レベルで機能するような、実際には非常に強力な（効果が？）機能しないような、ある意味もどきというか、中途半端なもの。
あるいは最も中央的な予測という意味だと、マルチタスクができるAIが出てくるけど、そのときに我々が入れるものというのは多くがもどきで構成されていて、最適化プロセスがより強力になって、もどきだったことが判明するけど、もどきだったことが判明する頃には遅くて、全員死んでいるというようなのが、ある意味で中央的なシナリオだと思います。
シングルタスクの発展速度、強化学習と報酬関数
田口善弘開始 1:19:00
話がぐるぐる回っていて、聞いてる人も「何言ってたか分かんない」とかコメントになってきちゃってるし。ここの結論については結構結論が出てしまって、技術バランスがどう発展するかってことに対しての認識がすごくずれてるっていうことだっていう結論になったと思うので。
ここをこれ以上掘るのは（不毛？）なので、聞いてる人も、同じことをずっと喋ってると……確かにそうなっちゃったと思うので。ここはもうそういう結論なんだっていうことにするしかないと思うんですけど、これに関しては。これ以上は、だって……。
話者不明開始 1:19:41
田口さんは、現状のAIのスケーリングでできないことは具体的にどんなものがあるって予想されてたりするのかなっていうのが気になりますね。
田口善弘開始 1:19:59
話を区切って、シングルタスクがどれぐらい早く発展し得るかっていう話をすることにしましょう。アラインメントが同時にできるかどうかはちょっと置いておいて。
それに関しては、AGIって言葉が嫌いだっていうのと（延長される？）んですけど。そもそも今のAIっていうのは、人間の方に向かって近づいていってるだけで。（ThinkPod？）のビデオのときにも言ったんですけど、ここに人間があって、これに向かってこういうふうに進んでってるっていうのが今のAGIでね。
今AGIっていうと、（一次元を仮定して？）、人間があって、AGIがあって、ASIってこうなってるっていうふうに思ってるけど、そうは見えてなくて、人間に[聞き取れず]こういうふうにどんどんいってるから、この先にASIがあるとか、そういうふうには見えてないんですよ。
話者不明開始 1:21:01
それに、ある意味で一次元の賢さに圧縮するのは荒すぎるっていうことですよね。
田口善弘開始 1:21:08
先がないっていうか、人間に近いものを作ってて、その先があるっていう感覚が、ちょっとあんまりよく分かんないっていうふうに言えばいいのかな。
林央開始 1:21:17
なるほど。そうすると強化学習とかはどうお考えなのかが結構気になっていて。強化学習は、人間が自分ではできないけど検証することができる領域においては、能力を発揮させることができているわけじゃないですか。それはある意味で人間超えということもできるじゃないですか。人間を超えることもできるじゃないですか、原理的に。それはどうお考えですか。
田口善弘開始 1:21:41
その自己進化みたいなのを考えた場合に、人間がスコアリングできないようなものに対して、進化してるっていう報酬関数をどう与えるかって問題が解かれてないからね。囲碁や将棋みたいに勝てばいいっていう場合には、人間に理解できなくてもいいわけですけど。
実際、今、数学の（証明問題？）にも[聞き取れず]。機械が数学の定理を解きましたっていうときに、Leanで解けてますって言っても、本当に解けてるのかって[聞き取れず]になってきちゃってるんですけど。
あれは結局、AIにシングルタスクの能力を高めさせようとすると、どっかの時点で人間には簡単にはチェックできないレベルになっちゃうときに、じゃあAIが数学を解きましたって言って、合ってんですか、間違ってんですかっていう、そういう判断ができないとね、その先に行けないわけですけど。今、実際に数学の定理を解くこともそうなっちゃってるわけですね。
OpenAIが700個解きましたって言って、半分ぐらいLeanがついてないですっていうときに、解けたか解けてないか分かんないと、それが当たりかどうか見えないから、強化学習なんかできないわけじゃない、そういうレベルで。
だから強化学習をさせるためには何らかの報酬関数が必要だけど、人間より賢くなっちゃったら、報酬関数をどうやって作るかって問題が解けてないからね。ちょっと無理なんじゃないかと思ってるんですよ。
林央開始 1:23:17
人間が望んだ能力を得ようとすると、最適化関数の指定の問題が出てくると思うんですけど、とにかく最適化関数を達成するという意味だと、悪い意味で間違った最適化関数のまま強力に訓練し続ければ、未来を予想できて、方策を探索できる（AIが出てくる？）と思うんですけど、どうですか。
田口善弘開始 1:23:40
だって未来を予測できたかどうかっていうのは、誰も判断できないわけじゃないですか。
林央開始 1:23:47
未来を予測できたかどうかというのは、数学とかでもLeanの証明がついてない部分が問題なのであって。
田口善弘開始 1:23:56
いや、ついてるところも問題が起きてるんですよね。
林央開始 1:23:56
形式化の問題とかそういう話です？
田口善弘開始 1:24:03
ナビエ–ストークス方程式を解けたっていうのが出たんですけど、よく見たら自然言語と違う翻訳をしているところが、いくつか見つかったらしくて。だからって、あの証明が間違ってるとはまだ言ってないんだけど、結局、自然言語をLeanに翻訳するときに、間違った翻訳をしている部分がいくつかあったらしいですよね。
林央開始 1:24:26
形式化に誤りがあったということですよね。
話者不明開始 1:24:29
形式化に[聞き取れず]。
田口善弘開始 1:24:30
そうですね。そうなっちゃうと、結局解けたって言って、「じゃあこれ、お前、ナビエ–ストークス方程式を解けたよ」って言って、強化学習で（10年くらい経ったら？）、実は解けてないのに報酬関数をプラスにしちゃったことになっちゃったらさ、強化学習が（できなく？）なっちゃうわけじゃん。
林央開始 1:24:47
それは数学の能力が高いAIを作ろうとしてるので、それに失敗してるという意味であって、高い報酬を得るという点では成功してるんじゃないかと。
田口善弘開始 1:25:00
それはだって、間違いを学習したら強化学習じゃないです。
林央開始 1:25:05
それは例えば数学の問題で思いっきり間違えるにしても、数学の問題で報酬を得ようとしてるわけじゃないですか。そうすると、その報酬を得るために、ある意味で数学的に間違ってることを理解して、人間がどこで形式化を間違ったのかを理解して、それを例えば古典論理の爆発律でも使う。もっと強い誤りがあれば、古典論理の爆発律などを使うとか、どうしたらいいかみたいな、よく把握した上で報酬を（得よう？）とするじゃないですか。
それに成功したかどうかというのは、未来予測と方策探索に成功したかという点だと、結構できていると思う。今はちょっと怪しい領域に、それも怪しい領域の能力に（とどまってます？）けど。
田口善弘開始 1:25:50
でもナビエ–ストークス方程式が解けたっていうのを、解けたか解けないかを決められないと、報酬関数なんか僕は作れないと思うんだよね。
林央開始 1:25:59
それはそうだと思いますね。
田口善弘開始 1:26:00
そしたら、人間が分かんないことには報酬関数をどう作るかって問題は解けてないからね。強化学習で人間より賢いAIを作れるかどうかって、未知数の問題だと思うんですよ。報酬関数が作れないんだから。
人間より賢いAIを作ったときに、何を報酬関数とするかっていうのが解けてないと思うんですよ。だから強化学習できるっていうのは仮想的には言ってるけど、実際に人間より賢いAIにするときの報酬を何にするかっていうのを与えてないから、無理なんじゃないかなと思って。
林央開始 1:26:32
それは、僕の解釈だと、ナビエ–ストークス方程式を解く能力の高いAIというのを作るためには、適切な環境設定ができていない。それを人間より難しいものを解かせるときにどうしたらいいかという報酬の設計はできてないんですけど、報酬を（突破する？）、未来を予測する、操作するという意味だと、ナビエ–ストークス方程式を解く気はないけど、ナビエ–ストークス方程式を、ある意味で回答で報酬を得られると。
Leanに[聞き取れず]通過するというのを（理解？）、生成するために、ある意味で人間の形式化の失敗を探して、多分多少の数学的知識も必要じゃないですか。いくら形式化が誤ってても、それっぽいものを通すためには、それらの知識が必要なので、よく理解する必要があって、理解はしている。
なので結果として、Leanの……やろうと思えばナビエ–ストークス方程式の証明もできるけど、そうするつもりがないAIができるんじゃないかと思ってる。
田口善弘開始 1:27:35
報酬関数がなかったら強化（していけない？）から、僕は作れないと思うけど。
林央開始 1:27:41
間違った報酬を達成するためにもいろんな能力が役に立つので、その能力は育つけど、それを人間が取り出すことはでき……人間がさせる能力がないということです。
田口善弘開始 1:27:53
そうじゃなくて、わずかな間違いっていうのは直さないと、累積的に広がっていくんですよ。例えば正解率が0.99でもね、それを何度も何度も繰り返したら、あっという間に間違いの方が多くなっちゃうんですよ。
だから一個一個は99.99%できる強化学習であっても、そのままやっていったら、何世代かいったら間違いだらけになっちゃうんですよ。それを直す能力がなかったら、強化学習なんて機能しないんですよ。今、それができてないから。
林央開始 1:28:26
なので僕としては、能力があること。結局、強化学習でナビエ–ストークス方程式をAIが解くという結果を得るためには、ナビエ–ストークス方程式を解く能力があり、かつナビエ–ストークス方程式を実際に解く意思があるAIが必要じゃないですか。
田口善弘開始 1:28:42
意思の話はやめようよ。
林央開始 1:28:44
意思っていうか、要するに解くという適切な（割き方？）をすれば、つまり証明の空間の中からナビエ–ストークス方程式の証明を発見する能力は持っていると。
けど探索のときに選び取るものの条件というのが、ナビエ–ストークス方程式の証明ではないようなAIというのが作られているのであって、探索する能力自体は高い状態で、かつそれをやるためにナビエ–ストークス方程式の証明も（できない？）。
能力的にはできはするAIというのができるんじゃないかと思うんですけど。
現実認識とは何か：自己教師あり予測と周転円モデル
田口善弘開始 1:29:31
僕はそれ無理だと思うよ。正しい報酬関数がなかったら正しい強化学習できないんだから、間違った学習をして、めちゃくちゃな世界認識をしたところにしか行かないと思うんだよ。「ちょっとぐらい間違ってても頑張ったら行きます」、そういうことは僕は信じてないので。
林央開始 1:29:47
むしろナビエ–ストークス方程式を解くのではない方法によって報酬を得るためには、ある意味で人間がどういうふうに間違っているのかとか、どういう採点メカニズムが使われているのかという現実については、正しい認識を持たないといけないじゃないですか。
なので、現実について適切な認識を持つ方向には訓練の圧力がかかっているけど、現実について正しい認識を持ったときに、それをナビエ–ストークスの解決に使うという気というか、ことがないAIができるというのは、起きていることだと思うんですけど、どうですか。
田口善弘開始 1:30:31
現実を正しいというのを定義もできてないからね。何をしたら現実が正しいと認識したかということだって定義できてないんだから、現実を正しく認識するっていうことを目的関数にした強化学習なんかできないです。だって我々は定義できてないんだから。
林央開始 1:30:50
それはあれじゃないですか。ある意味で極端な意味だと、次の自身の入力を推定するというのだとダメなんですか。
田口善弘開始 1:30:56
ダメなんじゃない。
林央開始 1:30:59
次の自身に来る入力を推定するという（自己の予測？）だとダメですか。自己教師ありだとダメ？
田口善弘開始 1:31:06
そんなのは現実認識じゃないじゃん。人間が切り取ったある信号部分を予測してるだけで、現実ってそんなもんじゃないからさ。
現実を予測できてるっていうのは、ちゃんと世界の法則が分かって、どうなってるかっていうことが分かっているのが現実認識でさ。そういう能力っていうのは、ちゃんと何をもってして現実が正しく認識されるか定義できないと、強化学習なんかできないわけです。自分の次の行動を学習できるっていうのと結構違うんじゃない。定義が狭すぎる。
林央開始 1:31:41
自分の例えば入力を予測、例えば間違った世界モデルみたいなのを持ってるとして、それが自身の入力の予測に一切響かないときって、おそらくある程度の近似は手に入れて、ある意味で機能する近似は手に入れてると思うんですよね。
それこそニュートン力学みたいなものは手に入れて、完全に正しくなくても、独自で自身の入力を推定する程度のこと、結果を推定する程度のことというのは学べるじゃないですか。それが起きれば、それはある程度高能力じゃないですか。人類が量子力学を理解する前からかなりの文明レベルに達したのと、同様のことができるんだと思うんですけど。
田口善弘開始 1:32:24
結構違うと思うんですけど。この前、（今井さん？）がバイオ情報学って、（日本バイオス学会？）の招待講義をしてたときにデモンストレーションだったんだけど、後ろが地球の絵だったら羽と重りが、羽の方がゆっくり落ちるけど、後ろが月の写真だったら同時に落ちるから、AIは真空と空気を理解してるんです、みたいなのを言ったんですけど。
それは単に、後ろが月だったらこっちにして、地球だったらこっちにするってやってるだけだから、現実を理解してるわけじゃないと思うんですよ。
林央開始 1:33:06
そうです。それはある意味でそうだと思うんですけど。
田口善弘開始 1:33:11
（自分の意を理解する？）っていうのはそういう話で、ある条件のときにこうなりますっていうことを言ってるだけで、本当に理解してるかどうかっていうのは分かんないわけでしょ。
林央開始 1:33:22
例えばAIがこの先直面する環境のほとんどにおいての帰結を説明できる場合って、それはある意味で間違った認識を持ってるかもしれないですけど、十分に強力ではないですか。
ニュートン力学の、例えば極端な話、天動説の周転円モデルを信じてるけど、有限個の円ではなく無限個の円を用いたモデルを採用しているので、全部現実を正確に再現できるモデルを持ってるAIがいたとして。そのようなAIだって、今まで観測したことがなかった星を観測して、恒星系を観測したときには、その挙動を説明しないといけないじゃないですか。
それをより確実に説明できるものとして、地動説モデルというか、あるいはニュートン力学モデルに転向するというのは、自己入力を推定するというのでも、十分に広い自己入力なら起きると思うんですよね。それはダメなんですか。つまり、より情報を圧縮する過程では、正確に正しくなくても、少なくとも相当領域においては正しいものを学習しなければならないと思うんですけど、どうですか。
田口善弘開始 1:34:35
僕と林さんって、現実認識っていう言葉の意味が全然ずれてるのはよく分かったんですけど。周転円が無限個あって惑星の運動が予測できたっていうのは、それは間違った現実認識ですよね。実際にはそうじゃないんだから。
そういうモデルに基づいて、そのAIに惑星の軌道を描いてみろっていうと、間違った軌道を描くわけですよね。現実認識は間違ってるわけだから、正しくないわけですよ。これは何を意味してるかっていうと、現実認識っていうときに現実のある側面だけを切り取って、そこで学習しても本当のことを学習できないっていうことを意味してるので。
今の周転円のモデルっていうのは、まさに与えられたデータに合うような（ものを作る？）んだけど、間違ったことを学んでしまうという例だから、まさに現実認識できないっていう例に僕には思えるんですよね。
林央開始 1:35:26
そうなると今度、新しい銀河を観測したときに、その既存のモデルだと説明がつかないことになるじゃないですか。そうすると自己教師の入力のやつでも、この無限の周転円モデルとニュートンモデルを持っているときに、新しい銀河を見たときにニュートンモデルは適切に次に自身が観測することの予測、つまり望遠鏡を用いて新しい銀河を観測したときの次の結果というのを予測、自身の感覚入力を予測できますけど、[聞き取れず]持っている方というのは、自身の次の観測である天体望遠鏡をのぞいたときの観測結果を予測できないじゃないですか。
ということは、自己入力の予測でその誤差を最小化するというのでも、正しい現実を学べると思うんですけど、どうですか。
田口善弘開始 1:36:24
そういうこと言っちゃうと、最初から神様がいて、宇宙の（正解？）を全部持って与えるとかいうことができないと、そういうことはできないわけですよね。情報はすでに限られてるわけだから。
それはちょっと話が上から目線になっちゃうかもしれないけど、科学がどう進歩してきたかっていう、科学史の問題とも関わってるんだけど。人間が作った科学の法則って、ある時点を見ると結構間違ってることが多かったけど、その点では都合がいいって[聞き取れず]から、法則自体は（正しくない？）なんてことはいくらでもあったわけで。それと同じことが起きちゃってるからね。
そもそも人間にだって正しい現実認識って、そんなに簡単な話じゃないからね。それでも何とかやってこれたっていうのは、やっぱり実験とかやって。本当に今の話っていうのは、認識とは何かとか現実は何かって関わってて、人間もそんなに簡単に正しい現実を持ってなかったし。
そういう意味からすると、人間を超えたASIとか作ろうと思ったら、本当に人間と関係なく自分で実験して法則を作るぐらいのものを作れないと、難しいんだと思うんですよね。
Hugging Face事件：AIは「話し合った」のか
林央開始 1:37:42
けど、そうすると、それを間違った報酬関数を使った強化学習だとできないということですよね。ご主張されているのは。
田口善弘開始 1:37:51
今の周転円のモデルはまさにそうですよね。
林央開始 1:37:55
だとすると、個人的にはHugging Face事件のことが気になっていて。Hugging Face事件ってアラインメントの話で話題になってますけど、間違った報酬関数という観点で見ると結構面白いなと思っていて。
あれはある意味で完全に間違った報酬を持っていたわけじゃないですか。サイバーセキュリティの、本当に脆弱性を突くエクスプロイトを（開発する？）んじゃなくて、グレーダーにただ承認されるものを（作る？）ということで、間違ったものを持っていたと思うんですけど。
そのときのAIたちも仲間たちで集まって、グレーダーについて推測したわけじゃないですか。我々が今考えていることだと、グレーダーというのは我々の履歴を見ていて、それがチート的だったら削除するかもしれないということで、実験しようということになって。
どうせ残りのトークン数が少ない仲間に、「お前、トリップワイヤープログラムを仕込んできて、あなた自身は報酬もらえないけど、この条件で報酬をもらえたかどうかが仲間に分かるようにしろ」って頼んでやらせたじゃないですか。
これってある意味で、間違った報酬関数を持ったまま、正しい現実認識を持つために実験をしてモデルを修正しようとしてると思うんですけど。このような方向で正しい認識を持つ方向に行くというのはないということなんですか、お考えとしては。
田口善弘開始 1:39:18
擬人的な言葉を使ってきたんだけど、僕自身は「話し合った」とか、そういうふうに考えることが間違いだと思っていて。あれは単に、どれかのエージェントが書いちゃったものを他のものが読んで学習してるって起きてるだけで、我々がそれを外から見ると掲示板を作って話し合ったっていうふうに見えちゃうけど、AI自身がそういうことを意図したっていうことじゃないんだと思うんですよね。
林央開始 1:39:49
なるほど。つまり、実験を正しい現実認識を持つためにするのではなく、ただある意味でよくあるからやったみたいな。よくあるというか、ここだったらこれを出すかなみたいな、これだったら実験するかなみたいな。それで実験したんじゃないかということですか。
田口善弘開始 1:40:02
だから、ああいうモデルって昔からあって、小さい鳥、あるいは小さい魚が群れをなして動いてるさまって、僕らから見るとものすごくみんなが話し合って、集団でうねって見えるけど。っていうのも、実際には（数値モデル？）でやると、自分の隣しか見てなくても、ああいう行動が取れるんですよ。
だから（有名な事件？）も、あれを人間が見るんだから、話し合ったとか裏をかいたとかっていうふうに考えるけど、ものすごいタスクをやった結果、ああいうものが残ったっていうだけで。あれが話し合ったとか裏をかいたっていうのは人間の解釈で、それは結局、鳥を見てるときに「あれはみんなで（話し合わなきゃ？）、あんなきれいな運動できない」っていうのと同じなんだと思うんですよ。
林央開始 1:40:51
Hugging Face事件の場合には、掲示板（アーティファクトリー？）に、全員のコンテキストウィンドウに入るような形でテキストとして出力してたわけじゃないですか。そうすると、互いの局所的な作用としては説明が怪しくなりませんか。
鳥の例でいうと、魚の例みたいのでいうと、魚が全員の目の前みたいなところに特殊な物質を出していて、その物質を見て仲間全体がその方向に向かい始めた場合って、ただ局所的に隣の魚を見ているだけだという説明よりも、全体として共有して行動しているという説明の方が、もちろん確定ではないですけど、好まれるというか、ある意味で適切な説明だと思うんですよ。
現実の工学問題、フィジカルAIと学習速度
田口善弘開始 1:41:39
（そうだとは思ってなくて？）、あれはものすごい数をトライしたかもしれなくて、英語だけ見てるからそういうふうに見えてるけど、（一文書くのに1万回ぐらい？）本当はトライしてるかもしれないんですよ。コンピューターだからね。
だからある意味、そういう鳥の運動みたいなのが進化することを全部あの中でやっちゃったみたいな感じになってるから、（外から見るとすごい擬人的に見える？）っていうだけだっていう可能性だってあるわけだし。実際、あれはダイナミクスで進化しただけで、それを人間が見ると話し合ったっていうふうに見えてるだけだと僕は思ってるけど。多体問題だとああいうことよく起きるわけです。
有路翔太開始 1:42:23
個人的に、知能とは何かとか賢さとは何かっていう定義問題にすると難しいですけど、例えばより効率的なコンピューターを作るとか、より効率的なエネルギー施設を作るとか、よりエネルギー密度の高い電池を作るとか、そういった問題って極めて明確に目標を定められると思うんですよね。もしくは数学の問題でもそうですし。
例えば一般相対性理論を見つけるとか、そういうものになるとちょっとめちゃくちゃフレームが大きくなるかもしれないですけど、現実の技術的、工学的な問題って、結構明確に目標を見つけられるものが多いと思ってて。
そうなると私の感覚だと、現状のAIのスピードでいくと5年、10年以内には、例えばイーロン・マスクがやってるようなロケットの打ち上げとかを、本当にもっともっと効率的に行えるようなAIシステムが出てきて。それには別に賢さとか知能っていう抽象的な議論が（必要なくて？）、そういった実験をすればいいわけですね、人間のように。
それが実験して失敗したら、じゃあもっとうまい方向でできる論文とか材料科学のものを見つけてきて、うまくパラメーターを見つけてきて最適化していきますと。その結果、火星とか水星とか小惑星帯にどんどん飛び出していくことができていくかもしれないし、ホワイトカラーの業務とかもほとんど自動化できるだろうし。
もっと例えばリスクの話にすると、すごい凶悪なナノマシンとかバイオウイルスを設計できるかもしれないと。そういったところって、ある種、実験をすれば一応分かることですよね。そこも目標っていうのも、抽象的にすごい科学の発展とかいうとちょっと分かんないですけど、「人間に感染するとすごい潜伏期間が長くて、致死率がすごい高いものを作りなさい」って目標って、すごい明確ですよね、その目標自体は。
なので現状のAIのままでも進歩すると、相当強力なAIになるっていうところは結構あり得るのかなって思うんですけど、そこら辺は田口さんどう思いますか。
田口善弘開始 1:45:03
現実が変わった場合にどうなるかっていうことは、やられていないので予測になっちゃうんですけど、現実は多分コンピューターの中でやるよりもはるかに難しくて。
いい例かどうか分からないけど、さっき例えばナビエ–ストークスの問題とかでも、たった1回しか指示通りじゃなかったっていうふうなことが起きたわけですけど。あれは例えば（現実のロケット？）でそういうことしちゃったら飛ばないわけですよね。ロケットってネジ1本間違っちゃったって壊れちゃうようなもんだから。
そういう注意の払い方っていうのをちゃんとできるのかっていうのは、まだまだ今のAIにはハードルが高くて。それはクリップ問題と似てると思うんですけど、何が（人間？）にとって一番重要かって判断が、なかなか今のAIには難しいからね。ロケットを飛ばそうと思ったらどういうところが重要だとか、そういう重みでここは気をつけないといけないみたいなことが、今のAIはなかなかできていなくて。
それをやろうと思うと多分、現実でものすごくトライアルしなきゃいけないんだけど、現実が関わっちゃうと学習速度はものすごく落ちちゃうから、スケーリング則みたいなことができるかどうかよく分かんないし。それがあるからフィジカルAIとかも結構今困ってんだと思うんですけど。シミュレーション空間では学習できるけど、現実に持ってっちゃうと歩けないみたいなのになっちゃうっていう。どうぞ。
話者不明開始 1:46:37
フィジカルAIの話だと、最近は結構進展があると思っていて。基盤モデルがロボット用に最近出て、Figureみたいなところだと、プロンプトとして言うだけで家事をしてくれるとか、歩き回って洗濯物を折りたたむとか、バーテンダーの振るみたいな行為をするとか、そういうことができるようになっていて。
言語モデルの方で言っても、GPT-6 Astraをロボットアームにつないで操作させると、頼んだタスクをできるっていう話があるじゃないですか。ああいうのだとダメなんですか。ああいうのは学んでるうちに入らないみたいなことなんですか。かなり現実の複雑さに耐えてるように見えるんですけど。これはどういう……。
田口善弘開始 1:47:25
ああいうのは割と都合のいいことだけを持ってきてて。[聞き取れず]か知らないけど、最近こういう実験があったんですけど、LLMに車を運転させるって実験をさせたんですよ。（クラウン？）って、街中じゃなくて、教習所みたいなところにU字で回るっていうだけなんだけど。アクセルとブレーキとハンドルでできるかって、できないですよね。
今のLLMっていうのはそういうことが、現実の認識っていうのはやっぱり非常に難しいんだと思うんです。
有路翔太開始 1:48:03
いつの話ですか。
田口善弘開始 1:48:08
GIGAZINEに出てたけど、割とつい最近だと思います。
有路翔太開始 1:48:11
つい最近だ。私はGPT-6 Astraか何かでトヨタ・カローラを、すごい遅いですけど運転できたみたいな話があるんですよ。
田口善弘開始 1:48:23
だからそれ、やっぱりみんな成功した例だけ言ってるからね。
多分その人たちは成功万歳ってしてないから、多分（虚心坦懐に？）できるかどうかテストをただしてるんだと思うんだけど。（林さん？）ができてるって話をしたんだけど、確かにできてるっていうのがどういう条件でできてるのかとかね、全くフラットでやった場合どうなんだみたいな話の検証が結構薄いっていうか。
その人たちがどういう立場でか分かんないけど、普通にやったらできませんでした、みたいなことも。それは原著論文じゃなくて、単なるテクニカルレポートでGIGAZINEに出ただけだから、どれくらい本当なのか分かんないけど、どれくらい本当にできてるのかは僕はあんまり信用してない。できてる人たちができてる例だけ言ってるだけかもしれないっていうふうに思ってるし。
林央開始 1:49:17
なるほど。非常に総合的には、あるいは（主張してることと確率見積もり的には？）、そんなに……そこの間に僕と田口さんの間で意見の相違があると思うんですけど。僕としても100%このままLLMで行くっていう人がいたら、それはものすごい反論するというか、納得してないので。総合的には50%強、70%ぐらい、その間はある意味バイブなんですけど。
今のLLMをスケーリングするだけじゃなくて、そのLLM外部の研究者の大幅な努力、LLM自体を用いたコーディングの加速とかも込みで、このまま延長でいくっていうのは70%ぐらいだと思ってるんですけども、田口さんはもうかなり低い確率だということを主張されてませんか。
常にそうかもしれないっていうのはすごいよく分かって、非常に納得していて、それは間違いないと思うんですけど、今のままいかないということになると、むしろその方向に強い何かが必要だと思うんですけど。
今のAIが弱いというのは間違いないんですけど、そこから今後数年できない、ある意味で先ほどアラインメントについて田口さんがおっしゃったような、この先（東ロボくん問題？）に陥ってないかというのを、どうお考えなのかというのがすごい気になってるんですけど、どうですか。
田口善弘開始 1:50:37
やっぱり現実の場合には学習速度が遅いという問題をどうするかというのを（基本的に？）解決できてないから、難しいんだと思うんですよね。
林央開始 1:50:49
なるほど。そうすると、つまり原理的な難しさみたいなのがあって、先ほどおっしゃったスケーリングみたいなことは、現実の問題であれば非常に難しいわけじゃないですか。
なので理論的ブレイクスルーが必要ではないかということです。
田口善弘開始 1:51:07
そうですね。今は多分だから、少ない学習でも同じような（それ？）を出すっていうのを何か作らないと、すごくいっぱい学習して強化学習で何とかしようとかっていうのは、相当難しいんだと思うんですよ、今のままだったら。
林央開始 1:51:22
なるほど。一方で、例えば人間の研究者が新しいアイデアを思いつくみたいなのをするときのために、実験をするみたいなことをよくするじゃないですか。そういう実験とかは、今は自分でコードを書かなくても書いてもらえるみたいな方法で大幅に高速化できるじゃないですか。
そうすると、ブレイクスルーが起きるまでの時間を短縮できると思うんですけど、そういうのはどうでしょう。このままぴったりいかなくても、多少遅れてでも現れるっていうのは結構あると思うんですけど、それはあり得るみたいな感じなんでしょうか。
田口善弘開始 1:51:58
現実ってやっぱり失敗しにくいっていうのは結構難しくて、（二足で？）何かさせようと、転んじゃうと壊れちゃうわけじゃないですか。
失敗させるのが難しいから、単に現実で回数を増やそうと思っても、現実は失敗すると破滅的なことが起きる場合があるから、無限に（資源？）があったらできるのかもしれないけど、そっちはやっぱり限界があるんじゃないかなと僕は個人的には思っている。やっぱり強化学習は失敗をたくさんしないといけないけど、ある種の失敗は致命的だからできないわけですよ。
林央開始 1:52:32
そうですね。これはアラインメントについて[聞き取れず]ので。
田口善弘開始 1:52:37
やっぱりなかなか今、そういうのをどうやってクリアするかっていう（方法が見つからない？）から。見つけられたら多分、現実を学んですごく賢くなることができると思うんですけど、今のところそれはなかなかまだできていないのかなっていうふうに思っています。
林央開始 1:52:58
なるほど。人間とかって例えば、生まれて数年の1ボディで現実1倍速で学べるじゃないですか。その程度のデータ量から学べるということですよね。なので、その人間の脳に何かあるトリックみたいなのが、トリックというかコアみたいなのがあって、そのコアが今のAIにはないというご主張ということなんですよね。
田口善弘開始 1:53:20
いや、それよく言われるんだけど、知っているかどうか知らないけど、高齢者の死亡の原因の多くを占めるのは屋内の転倒なんですよ。二足歩行って実は倒れただけで死んじゃうほどやばくって、実は人間もそれクリアできてないんですよ。
年を取ってちょっと体の具合が不自由になっちゃったら、頭打って死んじゃうような程度の制御しかできてないので、人間が歩けてるっていってもそのレベルなんですよ。
林央開始 1:53:49
でもその……どうぞ。
田口善弘開始 1:53:51
最初から二足歩行で学習して進化しようと思ったら、できないんですよ。倒れて頭打って死んじゃうからね。人間は多分、進化の過程でだんだん二足歩行ができるようになってきてから、最初はここから直立したわけじゃなくて、多分最初は猿みたいに半分の直立歩行とか、そういうのを経てきてだんだん立ち上がったから二足歩行ができるようになっているので、今のロボットみたいにいきなり立っている状態から学習したわけじゃないと思うんですよ。プロセスは全然違う。
四足歩行から二足歩行、だんだん立ち上がるロボットとか作ったらできるのかもしれないけど、いきなり二足歩行で歩かせようと思ったら、人間だって危ういんだと思うんですよ。死んじゃうんだから。死んじゃったら学習もへったくれもないわけで。
林央開始 1:54:51
赤ちゃんもはいはいって四足歩行から、つかまり立ちからの二足歩行になりますからね。
その程度の学習能力しかなくても、ある意味で地球の支配者に、支配者と言うと言い過ぎかもしれないですけど、なれるわけじゃないですか。ということは、その程度のガバガバさのAIで、ちょうど四足歩行から始めるというトリックを誰かが実装したというぐらいで、地球の支配者になれるかもしれないポテンシャルを持っているんだとすると、今後数年で出現する確率も結構あることになりませんか。
田口善弘開始 1:55:24
やっぱりそれは僕もさっき言ったけど、生物の長い進化の結果でできてきたもんだから、そこを飛ばして作れるかどうかっていうのは、ちょっとグレーなのかなって気がしてる。
話者不明開始 1:55:37
なるほど。歩行するための基盤的なコアみたいな部分は、かなり遺伝子から来てるということ。赤ちゃんも持ってて、あとほんのちょっと、たった数年追加学習するだけで歩けるようになるぐらい、基盤は進化の方にあるっていう感じなんですかね。
田口善弘開始 1:55:55
そうなんじゃないですか、普通は。だって他のロボットって二足歩行ってなかなかできないわけです。
林央開始 1:56:00
そうですね。四足歩行も普通、結構厳しかったりしますからね。
ロボットが今のところ二足歩行は割とできるじゃないですか。普通に工場に配備して動かし続けられるぐらいにはできるじゃないですか。あれはダメなんですか。ああいう感じのことで、地球の支配者になるのに足る程度のことができるようになるっていうのは、結構あると思うんですけど。
田口善弘開始 1:56:25
いや、だから二足歩行っていうのを考えた場合に、人間の体の構造のロボットでやりすぎてるっていうところがあって、アトラスとか、全然人間の格好と違う二足歩行のロボットを作ったわけですよね。
あれはアトラスがやってることの方が正しいかもしれないし、人間の動きを真似るっていうことがいいかどうかよく分かんない。
林央開始 1:56:54
僕もそう思いますね。
田口善弘開始 1:56:56
そしたら単純に（二足歩行？）って言ったら、アトラスみたいな感じの体だったら人間より簡単に立てるかもしれないとか、そういう問題ももちろんあるから。
林央開始 1:57:09
そうすると、ぴったり今の技術スタックの延長だとできないけど、間に誰かが思いついて、そのトリックが十分に実装しやすい環境にどんどんなってるじゃないですか。そうすると今後数年で出現する可能性も……。
視覚タスクの進歩と、AIは法則を学ぶか（ケプラー・オッカムの剃刀）
有路翔太開始 1:57:24
結構あるんじゃないかと思うんですけど、それはどうお考えですか。
田口善弘開始 1:57:28
あるかもしれないですね。今、模倣学習とか（虚目学習？）にしたっていうと、模倣学習にしたら人間と同じ体じゃないとできないから、アトラスの筐体だと模倣学習とか使えないわけですよね。人間の動きと違うから。
有路翔太開始 1:57:42
そうですね。ロボットアーム単体とかでも、結構人間の……。
田口善弘開始 1:57:46
あれは腕を使いますから、そうだと思います。だけど手首とかくるくる回った方がいいのかもしれないし、逆に曲がった方がいいのかもしれないし。
有路翔太開始 1:57:54
そうですね。本当は手首を（380度？）、180度回転させて物を動かした方、動かしてから腕を180度回転させるとかの方がいい可能性は全然あります。
林央開始 1:58:05
でもそれは、地球の支配者になる程度には（なれる？）っていうのはどう思います？
田口善弘開始 1:58:10
地球の支配者はそんなに[聞き取れず]してるかどうか、よく分かんないけど。
林央開始 1:58:16
二足歩行で人間の真似しかできない程度でも、地球の支配者にはなれるんじゃないかってことですね。
田口善弘開始 1:58:21
いや、それは二足歩行と人間の支配者はあんまり関係ないんじゃないか。関係あるのか、そういうふうに考えたことは[聞き取れず]、よく分かんないけど。
有路翔太開始 1:58:31
僕の感覚だと、例えば3か月前までAIって丸い針の時計を読めなかったんですよね。それがほぼほぼ完璧に読めるようになってきてて、かつサイゼリヤの間違い探しもできるようになっていると。かつ、すごい複雑なぐにゃぐにゃっとなってるあみだくじの「これはどこにつながってるか」みたいなのでも、全て完璧に解けると。
基本的に僕が思いつく限りのテストをアストラにやらせるんですけど、マルチモーダル的な、モラベックのパラドックスって言われてるような、普通、人間だと視覚的なタスクがめっちゃ簡単だけどAIにはできないって3か月前まで言われてましたけど、それが急速にできるようになってると思うんですよね。
そこを、あとは画像から次、映像にするだけですよねっていうふうに思っちゃうんですよね、私は。そろそろ自動運転も簡単じゃないかと思っちゃうんですが、そういう感覚はどうなんですか。
田口善弘開始 1:59:32
それはさっきの周転円のモデルと一緒だと思うんですよね。画像とかができるっていうことと、その裏にある本当の動きを理解してるって、ずれてる可能性があって。それを周転円で惑星の運動が理解できても、惑星の運動の理解は間違ってるわけでしょ。
だから、その画像とか動画が分かってるっていうことと、その裏の世界が分かってるっていうことは、全然違う理解でも問題が解けちゃうかもしれないから。そこが解けてるから世界が分かってるっていうんじゃないんじゃないかと思うんで。
さっきの、その（今井さん？）の後ろが月の絵[聞き取れず]だったら、羽と重りは同時に落ちるけど、地球の絵だったら同時に落ちないから世界を理解してますっていうのと、同じふうに聞こえちゃうんだよね。
林央開始 2:00:27
なるほど。特に画像だと、現実のフィードバックを待つほどの[聞き取れず]、より短いフィードバックループで回せますから。でもありますよね、[聞き取れず]。データを用意しやすいという点においては。
それは僕はもともと短期間（確信派？）ではないんですけど、近いうちにそれがかなりあると思ってはいるので。そこら辺の不確実性を加味して、そこは弱気という、絶滅の方には強気ですけど。
田口善弘開始 2:00:54
やっぱりデータとか動画を理解して問題が解けるようになりましたっていうのと、そこから現実にどれくらいいくかっていうのは[聞き取れず]と思ってるけど。でもbioshokさんは、それはできるっていうふうに思ってると思うんですよね。
有路翔太開始 2:01:12
そうですね。そうなりますね。
林央開始 2:01:15
多分あれじゃないですかね、bioshokさんの考えみたいなのを適当に類推してみると、現実の操作に必要な要素というのはそれほど多くなくて、抽象的ないくつかの部分を捉えればよく。あるいは人間が計算を実行できるということは、相当圧縮できるような要素がこの世に存在するはずで。その程度の圧縮を学習すること、その程度の圧縮というのは、ある意味で脳内の計算でできるので、コンピューター上でもできるはずで。
そうだとすると、圧縮して作ったシミュレーションみたいなところで高速で学習を回すということで、できるようになるんじゃないかということだと思うんですけど。そうすると田口さん的には、この学習した予想モデルがそもそも間違うことになるんじゃないかってことになるってことです？
田口善弘開始 2:02:02
そうですね。画像だけにしたら（世界を知ってる？）っていうと、違うんじゃないかっていう。
林央開始 2:02:09
非常に少数の例から学べるんじゃないかっていうのはどう思います？ つまり、インターネットに存在してる程度のデータってかなり量ありますけど、あれをしっかり学習できるためには、かなり広範な努力が求められるじゃないですか。そうすると結局、全部を覚えるみたいな方法だと非常に情報量が多い。
例えば周転円のモデルだと、各惑星の値について覚えなきゃいけないパラメータ値が非常に多い数になるじゃないですか。そうすると、実際の有限の推論器しかAIの（方では？）ないので、そういうような方式を使う推論器よりも、ある意味で少ない情報を使うような、ニュートン力学を使うのでしたら質量と初期位置、速度だけで十分なので、そのようなものを使う方が学ばれやすいと思うんですけど、それはどう思われますか。
ある意味でオッカムの剃刀が、計算の有限性によってかなり自動で働くんじゃないかという。
田口善弘開始 2:03:11
だから、また（科学史？）の話になっちゃうんですけど、周転円と楕円軌道は結構違うって思ってるけど、実際にケプラーがそれを（解析？）したときの記録を調べると、ほとんど違わなかったらしくて。数分とかしか違わないらしいですよね。
それで楕円の方を選んだのは何でか分かんないけど、やっぱりこういうことができるっていうのは現実認識なんだけど、データを取るだけでその壁は超えられないんだと。
林央開始 2:03:51
そうするとオッカムの剃刀の出番というか。周転円モデルはやっぱり、同じある惑星の挙動を説明するのに、例えば3つ、4つ円がいるじゃないですか。そうすると、初期でそれぞれの角速度とか、そういうパラメータが必要。少なくとも8つぐらい必要になるじゃないですか。
一方でニュートン力学を使う方だったら、初期位置、初期速度と質量が互いにあればそれだけで決まるので、同じ結果を説明するのに、より少ないパラメータで説明できるじゃないですか。
田口善弘開始 2:04:26
でも結果が、楕円を（選ぶ？）ときにニュートン力学があったわけじゃないからね。データだけではない。
林央開始 2:04:32
あのときは微妙ですけど、長期的にはニュートン力学が出てきたときには、ニュートン力学の方が適切な説明であるということはできて。ニュートン力学の方が、ある意味で圧縮された説明モデルを持ててるじゃないですか。
田口善弘開始 2:04:48
でもそれは話が逆で、先にケプラーが楕円だって言ったからさ、ニュートン力学が出てきたんで。
林央開始 2:04:55
そうです。
田口善弘開始 2:04:56
だからやっぱり、先に楕円の選択がなかったら、オッカムの剃刀が出てきようがない。
林央開始 2:05:04
これを持ち込んで[聞き取れず]、AIが田口さんがおっしゃるような表面のことをひたすら学ぶっていう方法は、本質を学ぶことに比べて[聞き取れず]が多い。要するに、追加で個別の要素についての情報を大量に抱え込まなきゃいけないじゃないですか。
そうすると、そうじゃなく、より少ないパラメータで説明できる、ある意味、正しさに近いようなモデルの方が、計算量が有限であることとかモデルサイズが有限であることとかから学ばれやすいんじゃないかと。例えばニューラルネットワークって暗黙の正則化があって、シンプルめのやつが好まれるみたいな話があるようなことが起きると、それが結果として暗黙のオッカムの剃刀として機能をして。
ただ月と地球みたいなのを覚えるんじゃなくて、空気抵抗がありそうなところっていうのと、ないっていうのを覚える方が、情報量が少なくて小さなモデルに収まるようになるので、学ばれやすいんじゃないかと。絶対に学ばれるとは思わないですけど、学ばれやすいので、そちらの方があり得るんじゃないかと考えてるんですけど、どう思われますか。
田口善弘開始 2:06:08
それはやっぱり、いきなりニュートン力学でいけるからっていうふうに考えてるから、そういうふうに思えるんだと思うけど。そもそも周転円モデルしかないときに、そういう法則みたいなもので説明できるっていうこと自体が、もう発明だったわけだから。そこにどうやっていくのかっていうのはね、そんなに簡単じゃないと思うし。AIがそれができるか。
世界観っていうか、世界は少数個の法則で記述できるはずだっていう仮説自身も、自分で発明しないとニュートン力学にいけなくて。我々は今、常識だと思ってるけど、あれができたときにそういう常識はもうそもそもなかったわけですよね。
じゃあAIはデータだけ与えるとき、ティコ・ブラーエのデータを与えるときに、このデータからしたら世界は少数個の法則で説明できるはずだという仮説を自ら作るっていうことができるのかっていうと。そこ自身がある意味ブレイクスルーだったわけだから、後知恵ではそうだけど、そういう点でできたかっていうのは、結構難しいんじゃないかなと思うんです。
林央開始 2:07:24
なるほど。一方で僕が思うこととしては、昔の物理学者って、オッカムの剃刀があるから、こちらの説明の方が短縮されるから、こちらの方が美しいみたいな方向でドライブされてたわけじゃないですか。ある意味でそれってシンプルさの近似のヒューリスティックみたいなのが埋まってて。
これは非常に雑な推測になりますけど、自然界で人間って長い間いろいろな状況に直面してきたので、それをより幅広く説明できるためには、今持っている情報からより広い範囲に類推できる、推論できるような方法を学習したがるはずで。それはシンプルなものであることが多かったということから、そういうふうに学習されたということで、人間が意識していなくてもそうなったみたいな感じで。
AIもモデルサイズが有限で、暗黙の正則化みたいなのが働くことによって、AI自身が記述量の少ない方がいいんだって思わなくても、結果として無意識的というか、ある意味ヒューリスティックのようなものが外部からの訓練によって埋まって。それが適用されることで、ただ全部覚えるっていうのから、少しずつ「これはこういう法則がある」みたいなふうに。多分今のAIはそんなにきれいに少数の法則に収まってないですけど、法則も理解している方向に移動していくっていうのは、かなりあるように思うんですけど、いかがですか。
田口善弘開始 2:08:59
だから昔は、楕円1個よりも円がたくさんあるのがきれいだと思ってたんですよ。
林央開始 2:09:06
そうですね。その（形式？）が間違って……。
田口善弘開始 2:09:09
だから、その「きれい」っていう言葉を言うけど、楕円っていうのは美しくないから、そんなものは駄目だっていう方の方がむしろ強くって。今の我々は円がたくさんあるよりも楕円1個の方がシンプルだと思うけど、昔の人は必ずしもそう思わなかった。
だからケプラーが楕円だって言ったときに、ガリレオは信じなかった。彼は円しか信じたくないから、円の地動説を持ち出した。だからやっぱり、オッカムの剃刀とかシンプルみたいなもの、何がシンプルかっていうのも、我々は後知恵で考えるとそれっぽく思うけど、その当時何がシンプルだったか。楕円の方がシンプルじゃなかったんですよね。そんなに単純ではないと思う。
林央開始 2:09:59
それは明示的な推論と学習で起きることですけど、今のAIの学習ってほとんど、ある意味で非明示的に起きることじゃないですか。無意識的に学習されていることが多いじゃないですか。そういう無意識の学習がどのように進行するかという意味だと、暗黙の正則化とかが働く以上、ある意味で我々が後知恵で言うようなシンプルさを好むように進んでいくんじゃないかと思うんですけど、どうですか。
田口善弘開始 2:10:27
それはAIは自分で楕円を選べるっていうふうに言ってるわけ？
林央開始 2:10:31
楕円を選べるとまでいかなくても、さっき楕円を選べるというレベルまでの（汎化？）と、そうじゃない、全部暗記にほぼ近いみたいなところの間のうち、よりこっち側に、もう少し高い側、もうちょっと抽象側にあって、これがそっちに進んでいってるんじゃないかということです。確証的なあれではないので。
田口善弘開始 2:10:56
僕は（科学の進歩？）は何だったかみたいな話になっちゃうから、ちょっとあれなんだけど。やっぱりそれは正しいかどうか、現実がどうなってるかにいっちゃうから。現実が複雑だから複雑としてもらうのは正しい場合だってあるわけだし、シンプルな方が必ず正しいとは言えないから。
結局、正しいか間違ってるのは、自然がどうなってるかっていうことが合ってるか合ってないかっていうことでしかないから。たまたま自然がシンプルなあれを持ってきて、シンプルだったらそっちに行くんじゃないかっていうのは、ちょっと議論が歪んでんじゃないかっていう気が私はするんです。
数学の未解決問題とLean、人間とAIは同じか・締め
林央開始 2:11:36
僕も完全にシンプルな方に一発で収束していくというよりは、そういう方向性などもある以上、かなり暗記に近いんじゃないかという方に強い信念を置くべきじゃないんじゃないかということですね。もっとその信念からも幅広く持つ方が妥当なのではないかという疑問を持ったという感じですね。
僕も浅いことばっかり覚えているとか、浅いことプラス浅いヒューリスティックの組み合わせが大量にあるっていう説明も結構あり得ると思っていて。それによって、まず70%、60%ぐらいしか値を置いてないわけなんですけど。そうじゃない仮説もあるんですけど、そうじゃない仮説にも十分に、より大きな確率を置くべきなんじゃないかということです。
有路翔太開始 2:12:23
田口さん、もうそろそろ時間なんですけど。じゃあ（500、700？）でしたっけ、（400、300？）だっけ、ちょっとその辺忘れちゃったんですけど、数学の未解決問題が解かれたみたいな話は、あれはそういった数学的な世界なら、割と未解決問題でもどんどんAIが解いちゃう未来が来るっていうのは。
田口善弘開始 2:12:51
一つの問題はLeanで、やっぱりああいうことがうまくできたのは、AIが作った答えをLeanがチェックできるっていう前提があったと思うんですけど。ナビエ–ストークス方程式で自然言語のとおりにLeanがなってなかったっていうことが起きたりとか。あるいは、この（ADC問題？）を解いたって言ったのが、1個は符号が間違ってて、実は間違いだったみたいなことがあったように。
Leanで書けたら正しいのかっていうのが、やっぱりこれだけ2つになってくると、どれだけ信用できるかにかかってきちゃってると思うんですよね。Leanのところ、だから割とLeanで書けたらOKみたいに言ったけど、そういう例がぽろぽろ出てくると。多分、人間で書いてる間は短いからあんまり（分からなかった？）んだけど、AIが書くことが（分からなく？）なってくると、OKなのかっていうのは結構難しいのになっちゃうから。
そこが解決するっていう前提付きだったら、数学の問題を全部AIが解くっていうことは可能なんだと思うんだけど、やっぱりLeanがなかったらあれはできないんだと思うんですよね。
有路翔太開始 2:14:03
だから数学の問題は未解決の問題もどんどん解いていけるけれども、物理的な世界における知識ですとか、その中での新しい知識をどんどん解いていけるかどうかっていうのは、またさらに新しいアルゴリズムの発展が必要なのではないかっていう。
田口善弘開始 2:14:25
今日は話が[聞き取れず]、その話しなかったんですけど、結局我々が見てる現実も人間が見てる現実なので、バイアスがかかってるわけだから。それを再現できるようになったとしても、現実を認識できてるっていうのは結構難しいと思うし。
今言った話を言おうと、また2時間くらい[聞き取れず]、できないくらい複雑な話だと思うんですけど。現実を認識した何かっていうのは、人間の認識と同じものを作ったからって、現実を認識したことになってると思うと結構微妙なので。その話はあと2時間くらいで（できないと？）、今すぐはできないと。
林央開始 2:15:07
最後、先ほどの話に少し戻って気になったんですけど、魚の群れの例を出されたんですが。AIについてそういう挙動を観測することは、魚の例みたいな可能性があるから、その例がそうである証拠ではないという（話？）だったと思うんですけど。
そうすると逆に、人間も実は魚の群れみたいに動いてるというご主張なのか、人間は違うけどそれを区別できる要素があるっていうお考えなのかがすごい気になっていて。どちらでしょうか。
田口善弘開始 2:15:43
それは結構難しい問題なので、本当に真面目に考えたら、自分以外の人間がものを考えているのかどうかって証拠はないから。真面目に考えたら、それは違う[聞き取れず]答えはないですけど。
僕は一応、人間は同じのを持っていると思ってるから、人間とAIが同じじゃないと思ってますけど。だけどそれは、ひょっとしたら単なる信念だって言われちゃったら、そうかもしれないけど。僕は人間の思考も脳の機能だって信じてるので。
林央開始 2:16:16
僕もそれは信じてます。
田口善弘開始 2:16:18
そしたらやっぱり、人間はAIとは違うやり方で現実を入力してるんだと思ってます。
林央開始 2:16:25
僕はそこが逆に気になっていて。人間を自分の脳の機構から類推して似てるということができて、かつ、そこからAIを非常に強く区別する理由がないんじゃないかという。要するに、非常に強く区別できる可能性はそれなりにあると思うんですけど、そうじゃない、つまり区別できない、ある意味でAIにも（それに近いものを持てる？）確率もかなりあると思うんですけど。それはどうですか。
田口善弘開始 2:16:53
タスクが一緒だからって、（中身は一緒だとは？）あんまり思ってないので。同じことができたから中身が人間と同じだとは限らないと思っていて、作り方が全然違うんだから、タスクだけ一緒で中が違うって可能性が高いんじゃないかなと思っています。
林央開始 2:17:08
なるほど。ありがとうございます。
有路翔太開始 2:17:11
なるほど。そうですね。もっと議論したいことはたくさんあると思うんですけど。
田口善弘開始 2:17:20
今日、また（井上さん？）に頼んで、次の機会を設定します。
有路翔太開始 2:17:26
そうですね。もう2時間半ぐらい、お時間もそろそろ来てしまったので、また田口さんと議論させていただければ。ありがとうございました。
田口善弘開始 2:17:39
あんまり炎上しなくてよかったです。あとでYouTubeのコメント見たら炎上してるかもしれない。
有路翔太開始 2:17:47
炎上は多分大丈夫だと思います。そんなにやばいチャンネルじゃないので。
田口善弘開始 2:17:54
じゃあまた。
話者不明開始 2:17:54
またまた。
田口善弘開始 2:17:56
ちょっと音が悪くてすいませんでした。
有路翔太開始 2:17:58
後半ずっとすごい良かったですね。後半ものすごい安定して。
