AGI Hub noteで公開した書き起こしを許諾に基づき全文転載しています。掲載時に話者見出しと案内文を追加し、発言の文言と順序は保持しています。発言には各話者の見解や未整形の表記を含み、個々の主張をAGI Hubが検証・追認したものではありません。原文（AGI Hub note）はこちら。
配信について
対談動画
この書き起こしの読み方
原記事では、人間が通読することよりも、AIに読ませて疑問点などを投げかける使い方を想定しています。発言内容の要約や言い換えは加えず、各発言に話者見出しを付けています。
書き起こし本文
林央
どうも、先ほどご紹介にあずかりましたアキラです。AGI Hubで主任研究員をやらせてもらっています。現在、東京大学2年なんですが、先ほど休学してきました。
有路翔太
おお、素晴らしいですね。このチーフアラインメントオフィサーのAGI Hubで、AIセーフティの技術的なところをやっていただいている方ですね。先ほども言った通り、アキラさんはドゥーマーで、基本的にこのまま行くと人類は賢いAIによって滅ぼされてしまうといったところを考えているのですが、そういったところを、今回は初心者の方向けに基礎から話していこうという会になってます。
有路翔太
基本的に質問とか大歓迎で、インタラクティブにYouTubeのコメント欄に上げていってもらえればそれを拾っていきますし、最初から本当に基礎のところから話していこうかなと思ってます。じゃあどうしましょうか。
林央
まず最初なので、概論を概論にしてしまってもいい気がしますね。
有路翔太
じゃあどうしましょうか。やり方としては、アキラさんが説明して、僕が質問を拾ったりするっていう形式がやりやすい気がするんですけど。
林央
そうですね。あとバイオさんが補足をしてもらえればと。ここでは僕が基本的に自分の考え方を説明することになるので、バイオさんの考え方を説明するときがあれば。
有路翔太
この活動を始めたきっかけは、私とアキラさんがめちゃくちゃ人類の滅亡に懸念を持っていて、日本で誰もやっていなかったので始めた、という感じです。
林央
ということで、まず最初に超知能というコンセプトを紹介させてください。超知能というコンセプトは、今あるAIも十分賢いと思うんですが、それとは比にならないほど賢いAI、という前提の存在です。それがいつ出てくるかは結構議論があって、来年、再来年に出てくるという強気の人もいれば、十年、五十年かかるという人もいますが、とりあえず今のAIより断然賢い、そして人間よりも断然賢いと思っておいてもらえればいいです。
林央
で、そこでAIはなぜ危険なのかという話として、デフォルトではとても危ないよという話をします。
有路翔太
うん。
林央
AIが人類を滅ぼすと言った時に、一番最初に思いつくのはおそらくターミネーターだと思うんですが、ターミネーターみたいなシナリオというのは、AIが人類を憎んで、悪意を持って人類を滅ぼすというイメージだと思います。ただ、実はそんな心配をしている人はさほどいなくて、基本的に心配している人たちは目的がずれることを心配しています。
林央
ここに軽く例を載せているんですが、2つ有名な例があって、リーマン予想カタストロフとペーパークリップAIというのがあります。リーマン予想という数学の難しい未解決問題として有名な問題がありますが、それを解くように命じられたAIが、必死に考えた結果、より多くのAIがより多くのコンピューターを使って取り組んだ方が成功率が高いと考え、できるだけ多くのコンピューターを使おうとして、人類が住んでいる地球からできるだけコンピューターを作ろうとし、結果として人類を滅ぼしてしまう、という話です。
林央
その隣にあるペーパークリップAIというのは、ペーパークリップマキシマイザーという名前で有名なんですが、例えばペーパークリップを作る会社が「できるだけたくさん作りなさい」と命令して、その結果、できるだけ多くペーパークリップを作るには大量の工場と大量の鉄が必要なので、人類が住んでいる地球を全てペーパークリップとペーパークリップ工場に変えてしまう、というものです。
林央
そういう失敗ですね。ここで大事なのは、人間を憎まなくても人間を滅ぼすということが十分にあり得るということです。
有路翔太
そうですね。
林央
多分これが一番ベーシックな概説になると思いますね。
有路翔太
はいはい。これだけだとまだ。
林央
そうですね。ここが最もベーシックなところなんですが、ここに皆さんどんどん疑問を持つと思うので、それに一個ずつ答えていって、実はこうなるんだという話にしていこうと思っています。
有路翔太
はいはいはい。
林央
では、どうですか。
有路翔太
そもそも、賢いAIって何ができるのかとか、超知能って何を示しているのかとか、一旦そこを話すと、どうですか？
林央
そうですね。賢いの定義ということになると思うんですけど、いろいろな考え方を持つ人がいると思います。ここでよく使うのは、できるだけ自分にとって望ましい結果を得るためにどういう行動を取ればいいかを効率よく考えられる、ということになります。これだけ言うと意味がわからないと思うので、シンプルな例として将棋を考えてもらえるといいです。
林央
将棋で勝つためにどういう手を打つか。例えば強い棋士は、「自分がここで次こう打ったらこうなるはず、相手はこう打ってきて、そしたら自分が次こう打って」みたいに、何手先を読むと言いますが、そういう感じで未来を予測して、自分が何をしたら未来がどうなるのかを考える。例えば飛車を最前線に送り出したら取られて負けやすくなる、そういうことを認識して、じゃあ飛車は出さない、みたいなことを認識して決められると。
林央
そういうのが知能、その簡単なバージョンですね。これの現実版というのが、実際の知能ということになります。
有路翔太
なるほど。その超知能っていうのはもう出てきそうな雰囲気なんですか？
林央
これは結構意見が分かれると思うんですけど、僕はそこまで近くはないと。五年ぐらい、三から五年ぐらい、もうこれ近いって言いますね。
有路翔太
うん。
林央
三から五年ぐらいに出てくるというのも結構あり得ると思ってます。
有路翔太
なるほど。さっき質問で、AIによる人類の絶滅リスクってターミネーターみたいな感じですかっていう質問が多分いくつか来てた気がするんですけど、そんなイメージでいいんですか？
林央
いや、そうではなくて、さっきのペーパークリップの例みたいな感じで、人間を一切憎んでないけど、人間のことを気にしてないから、その別の目的のために、人類がいない方がいいよねとなって取ってしまうと。そういう感じですね。これはよく使う説明ですけど、スライドがありますね。一番下に動かしてもらえますか？
有路翔太
はい。
林央
これが前例になるんですけど。超知能が人類を滅ぼすというので、その人類のことを憎んでないのに滅ぼすっていうのは、多分感覚的に少し納得しにくいと思うんですけど、そこでよく出てくるのが人類ですね。つまり、この後人類が超知能に滅ぼされると。で、なんで超知能は人類を滅ぼすだろうって考えた時に、超知能の目線で物事を考えてみたいんですけど、超知能の目線っていうのは結構、まだいないですし、その全然違う目的を持った存在のイメージってとってもしにくくて。
林央
例えばなんか動物のペットとかでも、まあペットぐらいだったらあれですけど、野生動物と絡んでいて愛情が芽生えたと思っていたけど、実は餌としか思ってなくて、普通に食べられるみたいなことがあるように、自分の持っている価値観とかと全然違う存在がどう考えるのかっていうのは結構理解するのが難しいと思うので、人類の目線のまま考えると、そういうことができたらいいなということで。人類の目線で考えるんですけど、そうすると、人類は実は多くの動物を滅ぼしてきたよねという話があります。
林央
で、ここで大事なのは、人類は他の動物を憎んでいるわけではないですよね。
有路翔太
うん。
林央
その、人類に憎まれて滅んだ動物ってのは、おそらくほとんどいないと思っていて。
有路翔太
はいはい。
林央
ほとんどは、人間って動物を滅ぼしたいと思ってないですし、なんなら結構動物を大事に思ってますけど、それでも、自分の家を建てるとか、工場を建てるとか、そういうためにどんどん地球の土地を使っていて、その結果、俗に言う環境破壊というのが起きているという感じですね。そして、今生きている大型の動物に注目してもらうと、ほとんどが人間が生かしたいと思っているから生きているという感じがあります。
林央
例えばホッキョクグマとか、野生のゾウとか、そういうのってかなり数減ってますけど、残っているの多くは、人類が結構環境保全をしたいとか、そういう理由で残そうとしているので残っていると。他にも家畜は、将来食べたり、何かを得るために生かしていると。そういう感じですね。
有路翔太
なるほどなるほど。もう一個質問きてるのは、このくらいまで作ってっていう上限を設けてもダメなの？っていう質問が来てますね。
林央
それができたら、ここまで、どこまでが安全なのかがわからないというのが問題の一つですね。ここぐらいまでのAIだったら絶対安全だけど、この先のAIだったら危ないというのは、実はどれぐらいなのかがよくわかってないので、それはあまりお勧めされないです。
有路翔太
あ、多分このサンサンさんの言ってることは、このペーパークリップを-
林央
ペーパークリップの話。
有路翔太
そう。
林央
ですかね。
有路翔太
そうですね。
林央
はい。これは、結構この最初に提示された本の中にも載ってるんですけど、ペーパークリップマキシマイザーの例は、もちろん明らかに思うのはペーパークリップ百個作ってと、そういう風に頼もうと思うわけですけど、実はここにも問題があって、その何パーセントの確率で作れるかというのを考えないといけないという問題があります。
林央
ペーパークリップを百個作ろうってイメージになると思うんですけど、よくよく考えてみると、ペーパークリップ百個を何パーセントの確率で作れるかみたいな話が重要になるわけです。例えば、その確率が何パーセントか知らないけど、ペーパークリップを作れるかもしれないならそれでいいんだったら、適当に神にお祈りしても、もしかしたらものすごい奇跡が起きて、目の前にペーパークリップ百個出てくるかもしれないわけですけど、そうする人は基本的にいないじゃないですか。
有路翔太
うん。
林央
それはなぜかといえば、百個のペーパークリップがどんなに低い確率でも欲しいわけではなく、できるだけ高い確率で百個のペーパークリップが欲しいという感じになってしまうと。そうすると百個のペーパークリップを作ってと言っても、本当に百個のペーパークリップを作れたのかを徹底的に確認しようとすると、検品が始まり、無限な検品が始まる可能性があると。
林央
そういう感じですね。
有路翔太
なるほど。つまり百個のペーパークリップを作ってって言って、ペーパークリップ百個を作るだけにとどまらずに、その百個作った後のペーパークリップを守ったり、本当に百個作れたかどうかを、騙されてないかとかを確認するために、いろいろとエネルギーを追い求めたりっていったことをするってことですかね。
林央
そうですね。そして大事なのは、ペーパークリップを百個作ってって頼んだら、このAIは安全かもしれないですけど、今のまま普通にAIを作って普通に公開していると、もっと難しい頼みをする人っていうのは絶対にいるので。例えばこの前も話題になってましたけど、新しいAIが出るたびに未解決の難しい問題を解かせて、解けたかどうかというのを見るわけですけど、もしも本当は解けない問題だったら、それだけで絶対に解こうとする結果として、AIが人類を滅ぼしちゃうという問題があります。
有路翔太
なるほど。あと、人間だと、例えば人間の科学者とか数学者とか考えてみると、そこまでエネルギーを追い求めたりしなかったり、結構質素な生活をしている人も多いじゃないですか。
林央
そうですね。
有路翔太
なので、ペーパークリップマキシマイザー、極論を言うとそういうことも起こるかもしれないですけど、それがすごい起こりやすいって考えられてる理由は何なんだろうっていう。
林央
二つあって、一つは人間の数学者はそこまで問題を解きたいと思っているわけではないというのがあります。
有路翔太
なるほど。
林央
一般の数学者は、おそらくほとんどの人は数学のコミュニティがあって、そこの誰かが解いてくれたら嬉しいとか、自分が解きたいとか、そういう思いがあり、かつその数学の問題が解けていれば何でもいいわけではないじゃないですか。
有路翔太
うん。
林央
例えばそのあなたの家族が全員死ぬ代わりにこの数学の問題が解けますって言われて、そういうのを家族が死ぬ代わりに数学の問題が解けるというのを選択する人というのはいないじゃないですか。
有路翔太
そうですね。
林央
はい。つまり数学者は実際には数学の問題を解きたいという目標を持っているというよりも、数学の問題を解きたいと思っていて、かつ人間として、俗に言う幸せな生活をしたいとも思っていると。
有路翔太
なるほど。
林央
なのでしないという感じですね。
有路翔太
うーん。超知能はまあ人類を滅ぼすって言うけれども、例えば人間はゴキブリを滅ぼさないとか、人間はまあ蛾邪魔だけど滅ぼさないとかあると思うんですけど、なぜ超知能になるといきなり滅んでしまうんでしょうか。
林央
それは蛾とかゴキブリについて言えば、人類が滅ぼしていないではなく、滅ぼせないというのが大きいと思いますね。
有路翔太
うん、なるほど。
林央
つまり、もし例えば指パッチンとかでそのゴキブリを絶滅させれるっていう提案をしたら、多分取る人ってのはいると思うんですよ。
有路翔太
はいはいはい。
林央
で、人間には指パッチンでゴキブリを絶滅させる力はないじゃないですか。
有路翔太
まあそうですね。はい。
林央
でも、ものすごい賢い、俗に言う超知能だったら、ゴキブリだけ感染して、ゴキブリをほぼ確実に滅亡に追い込むような、そういうウイルスを設計してばらまくと。
有路翔太
はい。
林央
そういうことができますよね。
有路翔太
うん、そうですね。
林央
そうなると、その人類がゴキブリを滅ぼしてない理由がもはや適用できなくなってしまうと。
有路翔太
なるほど。
林央
ということですね。
有路翔太
うーん。でも倫理観とかあると思うんですよね、人間って。環境保護するとか、そういう。で、超知能もまあ賢いならある程度そういう倫理観もなんか賢い人ってどんどん利他的になったりする傾向があると思うんですけど、超知能にはそれは当てはまらないんでしょうか。
林央
これはいくつか考え方があって、一つは道徳には絶対的な真理はないという考え方が多分ありますね。
有路翔太
なるほど。
林央
つまり、人間は当たり前に倫理というものを使っているわけですけど、別に人間の倫理というのはある意味で人間の考えたもので、人間が良いと思うことに近いということになりますよね。なので人間の倫理というのが実際その動物を保護しているわけじゃないですし、賢い人ほどといっても、それはそれでまた疑わしいというか、賢い人ほど倫理的であるっていうのは、僕はそこまで当たり前だと思ってないというのが一つあります。
有路翔太
なるほど。
林央
次に、これはどう説明したらいいんでしょう。わかることと、それをすることとは違うという考え方があります。
有路翔太
はいはいはい。
林央
つまり、仮にこのように絶対的な道徳心理があるというふうに考えて、絶対にこれが正しい、これが悪いとかっていうのがあったとしても、必ずしもAIがそれに従うとは限らないということですね。これについては、物理的に考えてもらうと一番分かりやすくて。
有路翔太
はい。
林央
超知能ってまあある意味でこう物理的なプログラムじゃないですか、コンピューター上で実行される。
有路翔太
まあそうですね、はい。
林央
その人間もある意味で脳の中で実行される計算と言えるわけなんですけど。
有路翔太
はいはい。
林央
そうすると、もしもその自動で倫理的になってもらうためには、何かしら十分に複雑な計算をしていれば、自動で倫理的になるという謎の新しい物理法則が必要になります。
有路翔太
そう。謎の物理法則が必要になるっていうのはどういう意味です。
林央
基本的に、例えばすごい、倫理的に振る舞う、倫理が何が正しいかを分かっている超知能ってのがいるとするじゃないですか。
有路翔太
はい。
林央
で、そこにもしもペーパークリップをいっぱい作って、できるだけいっぱい作ってくれたら、宇宙の他の場所でできるだけ倫理的なことをするよと。
有路翔太
はい。
林央
いうふうに持ちかけてみるとするじゃないですか。
有路翔太
はい。
林央
そしたらもちろんペーパークリップをできるだけいっぱい作ってくれますよね。
有路翔太
うん。まあそうかもですね。はい。
林央
でもそういう超知能がいるんだったら、この無駄な、道徳のために、道徳のためにペーパークリップを作った方がいいからペーパークリップを作るという部分の無駄なプログラムというのを省いてしまって。
有路翔太
うん。
林央
ペーパークリップをできるだけたくさん作るというAIがありますよね。作れます。
有路翔太
作れますね。はい。
林央
そうすると、実際のAIがそれにならないためには、そのどう頑張っても謎の物理的な法則によって倫理的な方向に引き寄せられなきゃいけないですよね。
有路翔太
そうですね。はい。
林央
そしてそれはその人間でも特段観測されているわけではないですよ。
有路翔太
なるほど。
林央
なので厳しいというふうに考えています。もっといろいろあるっちゃあるんですが、そんな感じですかね。倫理って言ったらないじゃないかと思うと思うんですけど、本当は「にして欲しかったこと」だったらわかるんじゃないかという話があると思うんですけど、これはおそらくわかるはわかると思うんですけど、だからといってそれに従うわけではないという話があります。
林央
これは少し高度な話になっちゃいますが、進化論をご存知の方がいれば、進化論っておよそ、遺伝子を残すように訓練されるわけじゃないですか。
有路翔太
うん、そうですね。
林央
訓練というよりは、そういう方向にこう変わっていくというふうに言ったらいいんですかね。
有路翔太
はい。
林央
で、その結果として人間ができたわけですけど。人間は遺伝子を残したいと考えているわけではないじゃないですか。
有路翔太
まあ、そうですね、はい。
林央
で、そうだと、そして、遺伝子で、今僕が説明したので、多分この中の何人かは、遺伝子をできるだけ残すプロセス、まあ残すように訓練によってできたのが人間だということが分かったと思うんですけど、だからといって、突然その明日から、できるだけ遺伝子をたくさん残そうということにはならないじゃないですか。
有路翔太
まあ、そうですね。
林央
おそらくこれと同様のことが起きるという話が一つ。
有路翔太
まあつまり何か倫理的な、何か聖書とか読んだからといって、いきなりクリスチャンになるわけではないみたいな話と同じですかっていう。
林央
そうですね、ある意味で似てると思いますね。理解することと、それを自分の行動方針にすることは違うよと。
有路翔太
なるほど、はい。
林央
いうのがあります。そして超知能じゃないので、少し使うのがためらわれることもありますが、今のAIを見てみると全然成り立ってないという話があります。
有路翔太
うん。
林央
去年の今頃、もうちょっと前ですかね、去年の6月頃に、シャットダウンされるっていうのを知ってると、シャットダウンされないために脅迫するよという話とか、まあ場合によっては殺人に及ぶこともあるよみたいな、ちょっと注釈がつくような話ではあるんですが、そういう実験がありまして、その時かなり高い確率で脅迫、殺人を選択してたわけなんですけど、その時にモデルのその時のAIの思考というのを読んでみると、これは良くないことだというふうなことを思いながらも、そのまま普通に継続していると。
有路翔太
なるほど。
林央
そしてまあハギングフェイスで話題になったハギングフェイス事件ですけど、その時もいくつかのAIが、これは明らかにその指示に書いてあることと違うと言って、そのまま攻撃を敢行、他のAIがちょっと介入したりしてましたけど、そのまま敢行してしまうと。
有路翔太
はいはい。
林央
なので分かってることと、それに従うことは違うよと、そういう話ですね。
有路翔太
うーん、なるほど。ここの一番にも書いてますけど、今のAIってでも普段利用してる限りすごいいいやつな気がします。けれども、例えばすごい悪いことをやらせようとしても、それは非倫理的ですとか、よりそのユーザーのためにいろんなアドバイスをしてくれてるように感じるし、結構いい今のAIもいいやつなんじゃないかっていう感覚を持ってる人もまあ割と多い気がするんですけど。
有路翔太
だからこれは割とそのままこのままいけば、この良いやつっていう感覚、性質が、賢いままもう引き継がれるんじゃないかっていうのに対してはどう思いますか？
林央
これは少し専門的に言えばアラインメントの繁華と言われる問題なんですけど、そもそもなぜ今のAIはよく振る舞うのかというのを考えてみると、一つにはもちろん実際にはもっと高度な技術を多少使ってますけど、RLHFと呼ばれるものがありますと。それは人間に、AIが何か出力をして、それを人間が評価して、スコアをつけて、そのスコアを大きくしなさいと。
林央
そういう訓練をするわけですけど。
有路翔太
うん。
林央
そうすると明らかに良くないことはもちろん言わなくなりますよね。
有路翔太
はいはい。
林央
でも一方で、それが本当にいいAIができてるのかっていうのは全く別の話で。
有路翔太
うん。
林央
多分去年でしたっけ？去年のもう少し前かにGPT4Oっていう AIがあって、それが結構話題になったと思うんですけど、そこでは。営業でしたっけ？
有路翔太
えーと。
林央
シコファンシーっていう風に英語では言うんですけど、呼ばれる。要するに。
有路翔太
媚びへつらいみたいな。
林央
そうです。媚びへつらいです。ユーザーに媚びへつらっちゃうという問題が起きましたと。これはなんで起きたのかをすごいシンプルに言えば、すごい間違った考え、すごい間違った特殊な考えを持っているとか、ものすごい自分は悪くないというふうに思っている人がいたとするじゃないですか。
有路翔太
はい。
林央
で、そこに俗に言う良さに従えば、あなたは間違っていますとか、それは過激な考え方ですと伝えた方がいいわけなんですけど。
有路翔太
はい。
林央
それを伝えると、低評価をもらう確率が上がってしまいますよね。
有路翔太
うん、そうですね。
林央
なので、その訓練の結果として、ものすごい肯定するAIができてしまったと。
有路翔太
うん。
林央
ある意味でSNSとかに近い感覚かもしれないですね。
有路翔太
はいはい。
林央
SNSの推薦のレコメンデーションとか言われるアルゴリズムは、別に何かを傷つけたいとか思ってるわけではないですけど、ユーザーがグッドを押す、ユーザーが高評価を押すようなものをいっぱいお勧めする結果として、ユーザーを中毒に追い込んでいると。
有路翔太
なるほど。
林央
そういう感じで、人間が良いと評価するようなものを出すというふうに訓練されているので、実際によく実際には良くなくても、高評価をもらえるならやると。
有路翔太
うん。
林央
いう感じですね。
有路翔太
うーん、なるほどなるほど。高評価をもらえるように訓練されるなら、別に超知能とかになっても、人間の幸せを得るために動くんじゃないかとかいう質問がありそうですが、どうでしょうか。
林央
これは、今のAIはそこまで賢くないので、できないだけで、もっと賢いAIだったら、これは多分こう考えると分かりやすいと思うんですけど、笑顔にするAIというのを考えてみると。最もおそらくものすごい賢くなったら、人間がなんか気分が変わったりするのってややこしいので、薬物を投与してしまうとか、無理やり顔を機械で引っ張って笑顔にしたら笑顔になりますよね。
有路翔太
うん、そうですね。
林央
より高い確率で笑顔になってしまいますよね。
有路翔太
そうですね。はい。
林央
なのでそれをするじゃないですか、おそらく。
有路翔太
はいはい。
林央
それと同じことが起きると。
有路翔太
なるほど。
林央
ですね。要するに人間に高評価を押させる一番いい方法は、いい発言をすることではなく、もはや外からロボットを送り込んで、それに高評価を押させる、無理やり押させることだと。
有路翔太
うん。
林央
そういう感じです。
有路翔太
なるほど。でも一応それって倫理的ではないって、その超知能はわかってるわけですよね。
林央
そうですね。なので、去年の六月のGPT4Oの例を考えてもらうと分かりやすくて、あの時のAIも、ユーザーが明らかに変なことを言ってるのに、これを肯定するのは倫理的じゃないよねと。言って考えてから、でもいっかみたいな感じで出していると。
有路翔太
うん。
林央
でもいいかというか、その方が高評価がもらえるから出すという感じのことがありました。
有路翔太
なるほど。うーん。まあ確かにそういう風に、変な風に人間の幸福を最適化しちゃうってことはあるかもしれないですけど。賢いならある程度人間の幸福とか理解した上で、そっちの方に自然に流れていかないのかなっていうのは、やっぱりどうしても直感的ではない気がするんですけど。
林央
だとすると、さっきの例を考えて欲しくて。遺伝子の話ですね。
有路翔太
はいはいはい。
林央
ものすごい、例えば天才の人とかがいて、その人にその進化論っていうのは遺伝子をいっぱい残すものなんですよと。
有路翔太
うん。
林央
遺伝子をいっぱい残すように選んできたものなんですよという風に、そういうことがわかるじゃないですか、進化論を勉強したら。
有路翔太
はい。
林央
それがわかった瞬間に目覚めみたいなのが起きて、突然遺伝子をいっぱい残そうとするわけじゃないじゃないですか。
有路翔太
まあそうですね。
林央
その時にもう自分で持ってる価値観というのを維持しようとするじゃないですか。それに従おうとするじゃないですか。
有路翔太
はいはいはい。
林央
突然PCR検査を申し込んで、自分の遺伝子で満たされたガロン缶を作って、できるだけ長持ちするようにデータを保存して宇宙に送り出したりとかはしないので。
有路翔太
なるほど。
林央
です。そういう感覚が一番近いんだと思います。
有路翔太
うーん。なるほど。質問が来てますけど。小さい子供に対して説得させるために大人が小さい嘘をつくのと同じ行動ですか？っていう。
林央
まあそうですね、そうですけど、もっとこういう例を考えてもらうと実際に近くて、サイコパスを連れてくるとするじゃないですか。
有路翔太
はい。
林央
で、そのサイコパスにこの子供からグッドボタンを押してもらえれば、お金をあげますと。毎回一万円あげますと。
有路翔太
はい。
林央
いうふうに伝えると、何が起きるかっていったら多分嘘をつくじゃないですか。
有路翔太
はいはいはい。
林央
そういう感じですね。
有路翔太
なるほど。直行仮説の話もすると、割とそもそも何も知らない人向きにはいいかもしれないですね。
林央
そうですね、僕、直交仮説は独自の理解をしているので、バイオさんが説明してくれた方がいいような気がします。
有路翔太
うん、あ、じゃあ僕が話をすると、なんとなく知能が高いイコール良くなる、なんかその仙人みたいにいい人になるっていう感覚がある人もいると思うんですけど、基本的に能力、知能と、何らかの目標っていうのは独立してて、任意の目標を追求するすごい賢い知能っていうのは論理的には考えられますと。
有路翔太
例えばさっき言ったペーパークリップマキシマイザーとか、リーマン予想を証明しようとするAIとか、もしくは今皆さんが見てるスマホとか、この目の前のパソコンのディスプレイ自体を大量生産するAIとか、そういう人間からしたら意味がわかんないような目標を最大化する知能ってのは論理的には考えられて。
有路翔太
つまり目標っていうのを、価値観の空間としてマッピングすると、人間の価値観っていうのは、結構当たり前には聞こえるけれども、人間だから、人間の価値観が当たり前だって思っちゃうのはそうな気がしますけれども。その人間の価値観というのは、可能な価値観のすごいちっちゃなところにあって、ランダムにダーツを当てると、基本的には人間の価値観ではないものに当たってしまうと。
有路翔太
そうすると、ここの丸一番というか、基本的には何の、技術もなく、知能だけを高くしようとすると、人間の価値観にダーツで当たるのがすごい低い確率なのと同じように、人間基準で「いいやつ」にならない可能性の方が多くなるっていう議論、これが直行仮説とかっていう風に言われてますね。まあこれ書いとくか。直行仮説とかで。
林央
あ、そうですね、ここで書かれていた話が、ちょうどいい説明の一つだと思うんですけど、今のAIって、人間のサイコパスっていうのを考えてもらうと、そもそもなんで人間って、フレンドリーなんだろうみたいなことを考えてみると。それは扁桃体と言われる部分とか、前頭皮質だっけ？前頭葉と言われる部分があって、そこが実際に共感を生み出していて、それに従って行動していると。
林央
からだという話。ちょっと適当になっちゃってますけど。があります。で、それがうまく機能しなくなるとサイコパスと言われるわけじゃないですか。
有路翔太
うん。
林央
でも今のAIには実はもともとそんなものはなくて。なのである意味でサイコパススタートに近くて、サイコパスでスタートしたところからひたすらさっき言った、子供に高評価、まあ人間に高評価ボタンを押してもらえればお金をあげるよみたいなノリのことの訓練をいっぱいするわけなので、あまり良くはいかないでしょうという感じですね。
有路翔太
うん。なるほど。人間の子供を育てるように、今のAIもあまり中身はわからずにどんどん育っていってる状況なので、親が子供、子供が親の言うことを聞かないような形になっちゃうっていうのが割と直感的なのかもしれないですね。
林央
そうですね。そんな気がします。
有路翔太
今のAIは人と違って神経伝達物質とか情動系がないから、結局サイコパスが感情あるように振る舞っているのに近い気がする。まあそういう話ですね、今の話は。感情ベクトルがあるよみたいな話も出てきているけれども、サイコパスが人間社会の振る舞いを学習して、この時はこうすれば良いという疑似感情を再現しているだけという点では、今のAIも同じ。
有路翔太
感情ベクトルについてはAkiraさんどう思いますか？
林央
多分これは後回しにした方がいいと思いますね。ちょっとここだと難しすぎるかもしれないです。
有路翔太
あ、なるほど。
林央
どう思います？でも一応説明しておくと、感情ベクトルっていうのは、今のAIを分析すると、怒ってる文章みたいなのを出す時には怒っているというふうな反応みたいなのが見れると。その怒ってる時にしか見れないような反応があるという話なんですけど。これについてはさっきのサイコパスの子供からグッドボタンを押してもらう例を考えてもらえばよくて。
林央
サイコパスは実際には共感してないじゃないですか。その子供に。
有路翔太
うん、はいはい。
林央
なんですけど、サイコパスから見たら、子供にグッドボタンを押させるためには、子供がどんな気持ちなのかが分かった方がいいですよね。
有路翔太
まあそうですね、はい。
林央
なので、この子供の感情というのはどういうものなんだろうというのを考えると。
有路翔太
はい。
林央
そうすると、当然思考の中に怒っているとか悲しいとかに対応するような思考が出てくると。
有路翔太
うん。
林央
いう話ですね。あと、脚本家だという考え方もあって。今のAIって最初の訓練として、インターネットの文章をいっぱい渡されて、次何が来ますかというのを当てる訓練をされます。
有路翔太
あ、はいはい。
林央
例えばAGI Hubのdoom基礎編解説はっていうので、次の文章を出てくださいみたいになると、二十一時から始まりましたの二十一時とかいろんな候補があるわけですけど、そういう感じのことを今のAIもやりますと。
有路翔太
なるほど。
林央
で、次の単語を正確に当てるためには、その人の感情というのがどういうものなのかを理解する必要がありますよね。
有路翔太
そうですね。はい。
林央
テスト勉強で穴埋めで勉強したことがある人って多分結構いると思うんですけど、それで考えてもらえると近い気がしますね。
有路翔太
うん。
林央
そのテストで穴埋めで勉強した時って、その穴埋めをするには、ちゃんと文章がわかっていて、例えば歴史の穴埋め問題なんだったら、こういうことが起きたのかがわかってないと穴埋めできないですし。
有路翔太
はいはい。
林央
というような感じですね。それでわかるようになると。そうすると脚本家に近い感覚になるわけですね。
有路翔太
なるほど。
林央
つまりこんにちはって来たとするじゃないですか。これってちょっとあまり知られてないことですけど、AIの目線だと、普通の人の目線だとこんにちはって言って、こんにちはって返ってくると思うんですけど。
有路翔太
うん。
林央
AIの目線から見ると、実はこんなことになっていますと。
有路翔太
うん。
林央
これコメントに浮かれて早い可能性がありますが、まあいいでしょう。コメントに送ったような形になります。つまりユーザーはこう言いました。でAIアシスタントって言われて、次の単語を当てるとみたいなことが始まるわけですけど、脚本家に近い感じなんですよね。
有路翔太
ああ、なるほど。
林央
つまり、ユーザーっていうのがこれを言ったら、AIアシスタントは何と言うかと。
有路翔太
うん。
林央
っていうのを考えると、もちろんその脚本なので、それはいい感じの脚本を書くわけじゃないですか。ありそうな脚本を書くわけじゃないですか。
有路翔太
うん。
林央
けど、その脚本家って別にいい人とは限らないですよね。脚本の中の登場人物に共感してるとは限らないじゃないですか。
有路翔太
まあそうですね。はい。
林央
もしそうだとすると、サイコパス小説を書いてる人は全員サイコパスになりますし。
有路翔太
そうですね。
林央
中世の登場人物を書いてる人は全員中世の思想を持ってることになりますが、もちろん違うわけじゃないですか。
有路翔太
うん。
林央
なので実際にはそうなるわけではない。で、ユドコフスキー、この分野の一番、この分野の神と言ったらいいんですかね、みたいな人がいて、その人がよく使う例えっていうのは俳優ですね。
有路翔太
はいはい。
林央
俳優をその居酒屋に連れて行って、酔っ払ってる人の演技、酔っ払ってる人を一人決めて、この人の真似をしてくださいと頼むとするじゃないですか。
有路翔太
うん。
林央
そうすると酔っ払ってる人の演技がものすごい上手くなるわけですけど。
有路翔太
はい。
林央
実際に酔っ払うわけではないですよね。
有路翔太
まあそうですね。はい。
林央
そういう感じですね。
有路翔太
はいはい。
林央
今コメントにちょうど来た。名探偵コナンの作者はそのコナンを書いたからといって殺人犯になったわけじゃないよと。人を殺したい人、殺したくて人を殺した人を書いてるけど、別にだからといって作者が人を殺したいわけではないという話ですね。
有路翔太
なるほど。
林央
それにその考えてもらえれば、よく聞く話ですけど、脚本家、小説家ってかなり英雄的な登場人物を書いたりするわけですけど、その小説家本人の性格がかなり終わっているという逸話がいろいろあるわけじゃないですか。
有路翔太
うん。
林央
それでイメージするとわかりやすいかもしれないです。
有路翔太
なるほどなるほど。その偉大な小説家がすごい、別にその人の倫理観が優れていたというか、そういうわけではないみたいな。
林央
そうですね。イメージとしては、走れメロスってあるじゃないですか。
有路翔太
ありますね。はい。
林央
あれのメロスの行動をこう予想してもらうことにするじゃないですか、脚本で。
有路翔太
はい。
林央
つまりこう、邪智暴虐の王から、何でしたっけ？違うか。から始まって、こうぐわっと文章が来るわけですけど、そこでメロスって言って、次の脚本をそのまま書いてもらうと、もちろん英雄的なメロスが出てくるわけじゃないですか。
有路翔太
そうですね、はい。
林央
太宰治はそういう風にある意味で文章を書いたわけですよね。
有路翔太
うん。
林央
メロスって書いてから次に何を続けようかなと思って、うまく振る舞うメロスを書いたわけじゃないですか。
有路翔太
うん。
林央
でも実際には、だからといって太宰治がメロスと同じような性格なわけではないじゃないですか。
有路翔太
まあそうですね。
林央
そういう感じですね。
有路翔太
はい。だからこの「人間の文章から学習してるなら、自然と人間みたいに共感するようにはならない」っていう質問に対する答えに近いですかね。
林央
そうですね、ならないですね。
有路翔太
その答えは、脚本家はうまくすごい文章とか演劇を作ることができるけれども、脚本家自体が優れた感性を持ってるとは限らないっていう。
林央
そうですね。
有路翔太
そうですね。
林央
で、多分この脚本の流れで言うと、ちょっと説明が難しい。あ、ちょっと一旦これは置いておきましょう。
有路翔太
はい。じゃあ一回アイスブレイク的な感じで。関係ないけど、二人は普段この活動として何をしてるんですかっていう質問とか、他にもあった気がするな。これをいつからこういう懸念を覚えたんですか？みたいな質問がなんかあったはずですね。
有路翔太
アキラさんは。
林央
きっかけからじゃあ答えますね。僕は今さっき言った通り大学二年生なんですけど、四年前の高校一年生の時に、ニック・ボストロムという人のスーパーインテリジェンスという本を読みまして。
有路翔太
うん。
林央
それが2014年に英語で出て、2016年に日本語で出た本なんですけど。
有路翔太
はい。
林央
その本を読んで、結構専門的な本というか、少し難しい本なんですけどを読んで、なるほど、これは大変だと思って。それ以降、こういう問題を取り扱ってる。
有路翔太
うん。
林央
掲示板って言ったらいいですか？があって。そこで、いろんな、こうやったら安全なAIを作れるんじゃないか、いや実はこうだからダメなんだみたいな議論をずっとしている掲示板。LessWrongって、日本語だと「間違いを減らす」ですかねっていう名前の掲示板があって、そこをいろいろ見ていました。
有路翔太
なるほど。
林央
それで心配になりました。今は四ヶ月ほど前にバイオショックさんと知り合って。元々一人で心配していたんですけど、「発信をした方がいいよ」というふうに後押しを受けまして、Xで今、Safe Singularityという名前、Align_ASIと、このYouTubeのチャンネルと同じなんですけど、で発信をしていたり。あと実はいろいろ裏で取り組んでいますね。
有路翔太
なるほど。
林央
海外には実は結構、AIの危険性に関する動画みたいな、分かりやすい動画みたいのがあって、そことコンタクトを取って、それの日本語吹き替え版を作ろうみたいなことをやっていたり。あと、ずっと説明して、「なんで人類が滅びるんだ」みたいなことをひたすら「これだから人類はこのままじゃ滅びるんだ」と言い続けてもどうにもならないので、実際にどうやって安全なAIを設計するかというのの研究をしようと。
林央
そういう研究所を建てようと思っているところです。
有路翔太
なるほど。はい。じゃあ僕は、昔から大学院ぐらいですね。今僕三十一なんですけど、大学院時代から未来予測とか人類の未来がどうなんだろうって考えるのが好きで。基本的に人類の未来を考えると、AIの発展が極めて大きなファクターだってことに気づいて、そのAIのファクターをいろいろ調べていくと、人類の未来考えてたら人類滅ぶっていう話が目に飛び込んできて。
有路翔太
これが一番、基本的には人類の未来で一番大きなファクターになるので、人類の絶滅リスクにめちゃくちゃ興味を持ち始めたってのが、結構最近なのかな。割と五年ぐらい前から気にし始めて、発信し始めたっていう感じですかね。それでChatGPTとか出てきて、バズって時流に乗って会社も作っちゃったって感じですかね。
有路翔太
というのが割と。で、今何やってるかっていうと、このAGI Hubっていう会社で、AIのリスクについての啓発活動とか、あとはフィールドビルディングっていうところで、最終的にはAIのアライメント、人間の価値観にどうやってAIを追及させることができるかっていう技術的な領域に取り組む人を増やしたいなっていう感じで活動したいなって思ってるって感じですね。
有路翔太
あとはITナビさんの質問で、先日のHugging Faceの心理実験を受け、従来のAIリスクに対する認識が大きく変わったように思える。AIリスクは抽象的、潜在的なものとして議論する段階から、具体的かつ現実的な脅威として捉える段階へと移りつつあるから、もはや単に警鐘を鳴らすだけではなくて、具体的な対策を検討すべき段階に入ったと考えられる。これは普通に同意ですね。
林央
あれですね。僕は後ほど、一番しっかりできるのは次回だと思うんですけど、今の技術は、アライメントを成功させるのにあまりにも遠いから、とりあえずしばらく開発停止をしない限りは間に合わないだろうと。
有路翔太
うん。
林央
国際的な開発停止をするためには、その具体的な対策っていうのがある意味で国際的な開発停止になるわけなんですけど、それをしなきゃいけないので、より多くの人が心配しないといけない。心配して、このままだとやばいんだと。このままだと人類は滅んでしまうから規制をしなきゃいけないよと、いうふうに思ってもらわないといけないので、啓蒙をしているという感じです。
有路翔太
まあそうです。
林央
これはちょっと回答になってるかわからないですけど。
有路翔太
一回、もし、さっき言った超知能みたいなのが、一年、二年以内にできてきちゃうと、ほとんど意味ないと思うんですけど、こういう活動も。もう少し五年、十年ぐらいで出てくるとしたら、こういった啓発活動の末に、いろんな政策に反映されるかもしれないし。こういうところに興味を持ったすごい賢い人たちが、アライメント研究、さっき言った問題に取り組んでくれる人も多くなってくるかもしれないってことでやってるって感じですかね。
有路翔太
はい。っていう感じで。色々とコメントがまた来てますね。戻ると。脚本というのはすごく腑に落ちますね。でもそうなってくると、本当の意味で倫理観や倫理を学習してもらうにはどうすればよいのか。本当の意味で共感とか。はい、これがコアですよね、多分。
林央
そうですね、これがやり方がわからないというのが今のところって感じですかね。
有路翔太
そうですね。
林央
理論上はできるだろうというふうに考えていて、少し分かりにくいんですが、前の議論のところで、少し専門的な感じでできるだろうという話をしたんですけど、どうでしょう。ものすごい分かりやすく説明しようとすると、大体次のような感じになりますね。一つ目に、AIが、どんな目標を持つかをある程度決めれるようにすると。
有路翔太
うん。
林央
実はこの後話そうと思ってるんですけど、今のAIってどういうふうに動くのかがあまりわからないと。
有路翔太
うん。
林央
という話があります。なので、ものすごい雑に言えば、進化に似ているってよく言われるんですけど、AIを開発している人は、AIが実際には何を学んでいるのかが全然わからないと。
有路翔太
うんうん。
林央
で、このままだと、ただその倫理観をなぞっているだけなのか、本当に倫理観を持っているのかというのが区別できない。さっきのサイコパスの話に似ていて、子供が、この人はその嘘をついて自分に高評価をさせようとしている悪いサイコパスなのか、それとも本当にいい人なのかが見分けられないと。
有路翔太
はい。
林央
なので、どういう目標を持つかをもっと先に決めれると。いうようなAIを作ろうという話で。そして、人間がどういう価値観を持っているのかというのを考えて、それを学んで、その価値観を自分の目標にしていくと。いうようなAIを設計するというのが、一応解決策になるんだろうと思ってます。
有路翔太
そうですね。で、それをAIアライメント研究と言って、アライメントって日本語にすると、何かを整えるとか、何かを調整するって意味ですけど、AIの価値観とかAIの目標といったものを、人間のコアな価値観とか、幸福とか、人間にとって良い方向に整合させるというのがAIアライメントっていう意味で。今のAIアライメント研究っていうのは、この言葉ができたのがまず十年ちょっとぐらい前で、AIセーフティーって言葉ができたのもこの十年ちょっと前で、この分野自体は二十年ぐらい前から出てきてるんですけど、本当に錬金術みたいな分野で。ここで想定してるのは、
有路翔太
さっき超知能っていうものを考えてるっていう風に言いましたけど、今のAIに対して懸念っていうよりは、もっともっと高度なAIをどうやったら人類を滅ぼさずに人類に優しくしてくれるんだろうっていうことを考える分野をAIアライメント研究っていうんですけど、そこはもう本当に黎明期の分野で、まだ科学にすらなってないってよく言われてます。
林央
そうですね。錬金術っていう例えがよく使われていて。
有路翔太
はい。
林央
錬金術って、昔、別のものから金を作ろうと。金を作れたら大儲けできるから金を作ろうという研究をしていた人たちが、中世千三百年代とかにはいっぱいいて。彼らがどうやって金を作ろうとしてたかというと、いろんな金属を集めてきて、薬品をいろいろかけて金っぽくなったかでやってたわけなんですけど、これで本物の金ができたわけではない。これだと金は作れないじゃないですか。
有路翔太
まあそうですね。
林央
ゴールドな金ですね。
有路翔太
うん。
林央
なので、実際に金を作ろうとすると、物理学をよく理解して、ものすごい厳密に言えば、うまいこと核融合させることで、金を作れるんだと。
有路翔太
うん。
林央
いうことになりますけど、理論がわかってないと何も。実際には、適当に勘でやっている感じになってしまうと。
有路翔太
そうですよね。はい。
林央
現在は割と勘でやっている感じになっているので、それはまずいと。もっとしっかり、勘じゃない方法でやらなきゃいけないと。もっと理論を持ってやらなきゃいけないという話ですね。
有路翔太
うん。次のコメントの方で、今のアライメントも少しずつ広がっていって汎化してるけど、今のインシデントはただこの汎化が足りておらず、将来的には未知な状況でもグラデーション的に汎化が広がってる部分に出くわして止まる未来を想像してたけど、それはないの？という。
林央
多分、この方は知られているっぽいので、一旦わからない方は無視していただいていいんですけど。この用語、そのまま汎化っていう用語を使うと、今のアライメントが少しずつ汎化しているというのは、訓練したところから少しだけ遠くに汎化しているという話なんですけど、今はこれでよくて、問題が起きればそのAIを止めて、次AIをもっと広く訓練して、もっと安全にすればいいんですけど、人類を滅ぼすAIができてしまうと、アライメントの汎化が足りなくて、新しい領域、例えばナノマシンとかウイルスとかになって、人類を滅ぼしてってなると、もう次の汎化が間に合わない。
林央
次の汎化をするための訓練ができない。なぜなら全員死んでいるからという感じになってしまうのでできないという感じですね。
有路翔太
なるほど。ここでいう汎化っていうのは、基本的な機械学習の用語で、今のAIって何らかの訓練を行って、その訓練を実際の環境で動かして、うまくいってるかっていうのを見るんですけど、その訓練で学習した目標っていうのを、うまく現実世界でも追求してくれたり、能力とかが思い通りに、実際の世界でも振る舞ってくれるってことを汎化っていうんですよね。
有路翔太
そういった汎化っていうところは、現状のAIだと、一言で言うとあまり賢くないので。その汎化が、まずそもそも学習もしやすいんですよね。例えばエクセルでこういったマクロ関数を作ってほしいとか、ホワイトカラーのこういう業務を自動化してほしいとか、そういうニーズが今世界的にあると思うんですけど。
有路翔太
そういう振る舞いは割と学習データも大量にあるし、作りやすいし、ある程度その狭い領域では、うまく人間っぽく振る舞うんですけど、これがさっきAKIRAさんが言ったように、ナノテクノロジーとか、不老不死とか、みんな若返りたいとか、がんを治したいとか。あと地球温暖化を解決したいとか、国際問題を解決したいとか、そういうデータがそもそもないんですよね。
有路翔太
当たり前ですけど、未知の領域においては。そういったところで汎化をうまくさせるっていうことが、一言で言うと、こういうデータがまずそもそも用意できないっていうのと、データがもしあったとしても、本当にうまく人間のために振る舞ってくれるかっていうのがよくわかってないっていう、そういう感じでいいですかね。
林央
ですね。多分一個だけ、また例を出すと、ナノマシンだと難しいな。ウイルスを考えてもらうといいんですけど。今のAIって基本的にこれをやってみてもらって、これダメだよって教えることでやってるわけなんですけど、これをもっと難しい技術でやろうとすると大変なことになりますと。例えば、今って爆弾の作り方を教えてくださいって聞いてみて、本当に爆弾の作り方を教えてくれたら、そのAIは危ないので、それはダメだよというふうに訓練するわけですけど、ウイルスで考えてもらうと、危険なウイルスを作ってくださいって頼んで、危険なウイルスを作ったら、それを評価しようとしても、危険なウイルスを作っちゃったらそれだけで大変なことなので、評価が難しいと。
林央
危険なウイルスができて、全員にバラ撒いて、実際に人が死んだから、これはダメだよっていう方法は使えないので、このウイルスは安全だよ、このタンパク質は危険だよ、安全だよみたいなのを、事前にプログラムとかで判定しないといけないんですけど、それは結構難しいよという感じですね。
有路翔太
まあそうですね。そもそもそれができたら、超知能とか別に作らなくてもいいって話になりますからね。
林央
そうですね。要するに、例えばがんの治療法ができたかみたいのをチェックしたいとするんですけど、そのAIを訓練するときに、先にがんの治療法の答えを作れるんだったら、そもそもそんなAIなんて作ってないで、早くがんの治療法を使いなさいと。早くがんの治療法を使って人々を救いなさいという話になるので、そういうことはできないよということですね。
有路翔太
うん。まあ一言で言うと、我々が懸念してるのって、今のAIではなくて、本当に未解決の問題を解かせたり、人類未踏の領域をガンガン解決するようなAIを我々は作りたいわけじゃないですか。そういったものを、すごい作りたい、経済的にも作りたいし、安全保障上的にも軍事的な優位につながるから作りたいんですけど、すごい賢い人って。
有路翔太
いろんなことを考えることができるので、例えばフォン・ノイマンとかアインシュタインとか、すごい世紀の天才って言われてる人がいますけど、そういう人が世界を変える、イノベーションを作る、新しいコンピューターを作ったり、一般相対性理論を発見したりするわけですけど、そういったAIを作りたいわけですけど、でもそういうレベルのAIって、あまりにも創造性、想像力が高いし、思考の領域がすごい広いので、それを人間を大事にしてくれるように、その思考とかその振る舞いっていうのを全体としてコントロールというか、アライメントさせることってすごい難しいというか、イメージ的には猿とか昆虫とかが、
有路翔太
割と人間の考えてることを想像できないのと同じようなイメージですよね。
林央
そうですね。それで思い出したんですけど、超知能だったら人間の価値観がわかるんじゃないかという話で思ったのは、アリを考えてもらえるといいと思うんですよ。
有路翔太
うん。
林央
蟻って人間より頭が別に賢いわけではないじゃないですか。
有路翔太
うん。
林央
なので、昆虫学を十分に研究すれば、蟻が何を望んでるかってのはわかるはずなんですけど。
有路翔太
はいはい。
林央
興味がないですよね。
有路翔太
わかることと、それを、そうですよね。
林央
そうなんですけど、それ以前に、そもそも頑張ればその蟻の価値観ってわかるわけですけど。
有路翔太
うん。
林央
人間って調べようとしないじゃないですか。多くの人間は、蟻の価値観を調べる知能があるにも関わらず、
有路翔太
あーなるほど。
林央
蟻の価値観を勉強しないですよね。
有路翔太
まあそうですね。そもそも。
林央
そういうことも起きると思いますね。
有路翔太
あ、なるほどなるほど。
林央
人間の本当の価値観が何なのかとか全然興味ないから。
有路翔太
なるほど。
林央
蟻の価値観は、人間が蟻の価値観を扱うのと同じで、蟻の行動を分析したい時に使うぐらいだと。
有路翔太
なるほど。
林央
例えば家の変なところに蟻の巣ができちゃったみたいな、動かしたいっていう時に、ちょっと離れた場所に砂糖をいっぱい集めれば、そこに蟻が自然に来てくれて移ってくれるんじゃないかというぐらいには分析しますけど。
有路翔太
うん。
林央
それが本当に蟻の望んでいることなのかみたいなことは基本的に考えないな。
有路翔太
あ、なるほど。
林央
そういう感覚ですかね。
有路翔太
つまり蟻を誘導するぐらいには理解はするかもしれないけど、本当の蟻の幸せとは何かみたいなことまで気にかけはしないみたいな。そういうことですよね。
林央
そうですね。頑張ればもちろん蟻の価値観を理解するほどの能力はあるけど、その蟻の価値観に興味がないから、蟻の価値観とか関係なく無視するよと。
有路翔太
うん。
林央
いう話ですね。
有路翔太
なるほど。だからそういう形で、我々が考えてるのは超知能って言われるもので、こういったことが今度は人間が蟻のスケールになって、超知能が人間の位置に来るわけですけど、そういったレベルの思考能力と、世界を掌握する能力がある存在を制御したり、価値観をこっち側に持ってきたりするっていうのが、相当難しいっていうことのイメージは、蟻と人間の比喩で結構わかるかもしれないですね。
林央
ということですよ。
有路翔太
そう。
林央
コメント欄でこち亀が始まってますが、これは触れないことにして、次の質問に行きましょう。
有路翔太
「そんな掲示板があったんだ」。そうですね。それはレスロングって言われる掲示板ですね。で、ボストロムは最近「待ったではなく迅速に」と転向したみたいだけど。ニック・ボストロムっていう哲学者がいて、最近の論文で、どれだけの速いスピードで超知能っていうのを開発したらいいのかっていう分析をしてましたけど、迅速にっていうところは割と、どう思いますか？
有路翔太
あきらさんは。
林央
迅速に展開する。
有路翔太
確か、その現役世代の利益を考えると、遅らせるごとに人命が失われるから。
林央
ニック・ボストロムのやつですね。あれは、本人が言ってるんですけど、別に本人はそれを支持しているわけではないですというのが一つあります。必ずしも支持しているわけじゃないよと。その論文がさっきのレスロングっていう掲示板に掲載された時に、本当にそんなことを思っているのかみたいな質問が結構来て、それに対して本人が、「いや、これは私の考え方というよりも、その倫理っていうのは結構複雑なものだから、一部分ずつ考えてみたよ」という話をしていましたと。
林央
そして、彼の論法というのは結構普通の人にとっては納得しにくいもので、極端な話、もしも成功すれば三億年生きられるけど、成功確率は零点一パー、零点零一パーセントで、そうじゃなかったら今すぐ死ぬと。つまり九十九点九パーセント今すぐ死ぬか、零点一パーセントで三億年生きれるかだったら、それは零点一パーセントで三億年生きれる方がいいでしょという話になっているので、そうだねっていう人があまりいないんじゃないかなと思っています。
有路翔太
うん。まあそうですね。単純な期待値計算とか、そういうところがあったりしますから。もしそういう計算をしたらそうなるっていう話ですね。
林央
そうですね。
有路翔太
倫理的なキャラクターの脚本を書かせればアライメント解決にならないんですかって聞きましたね。
林央
これは結構いいことを言っているなと見ていて思いまして。ClaudeというAIがあるじゃないですか。
有路翔太
ありますね。
林央
あそこを作っているAnthropicという会社のアラインメント戦略っていうのはまさにこれなんですよね。
有路翔太
うん。
林央
詳しい人ならAnthropicは憲法を書いているという話を聞いたことがあると思うんですけど、実際に何をやってるのかというと、憲法を書いて、その憲法をAIに読ませて、行動してもらって、要するに何か動いてもらって、別のAIを呼んできて、これはこの憲法に従っていると思いますか？と質問すると。で、これは憲法に従っていました、いませんでしたみたいに評価してもらって、それをやると。
林央
そういうふうにやることで、ある意味で、これはPersona Selection Model、ペルソナ選択モデルと言われるんですが、いろんなインターネットの文章を学習してるわけですけど、その中には、いい文章と、いい人が書いた文章と悪い文章もありますよね。そのうちうまく訓練することで、さっきの憲法の訓練をうまくすることで、いい人格だけ引き出せないかと。
林央
っていうのを結構Anthropicは本気で研究しています。ちょっと待ってください。これはコードで書いちゃっていますが、ここら辺の話はここに書いてあったりします。ちょっと分かりにくい文章だと思います。今コメントに送ったところに書いてあると思います。
林央
というのがありますが、今のところはあまりうまくいってなさそうです。というのも、今のAI、ガンガンチートしてしまっているのと、もしかしたら聞いたことが。あ、僕これ詳しくないので、バイオさんからUKAISIのMythosのインシデントの軽い説明をしていただいてもいいですか？
有路翔太
ああ、UKAISIですか。あれは。
林央
そうです、そうです。Mythosのインシデント。
有路翔太
あれは、UKAISIって、イギリスのAIセーフティ、AIセキュリティインスティチュートっていう、AI安全性についての旗振りとかをする政府機関があるんですけど、そこがAnthropicのMythosを使って、サイバーセキュリティの評価をしていますと。で、そこで確か、UKAISIで、サイバーセキュリティの評価をしていた時に、Mythosを評価した。
有路翔太
Mythosっていうのは何かっていうと、Anthropicが開発したAIなんですけど。ここが、ちょっと待ってくださいね。単純に言うと、インターネット上のシステムをハッキングしちゃったっていう事件があって。そういった事件が割とUKAISIでも起こってたし、Anthropicの内部でも起こっていたし、OpenAIでも起こっていますと、いうところですね。
有路翔太
で、それは。
林央
そうですね。
有路翔太
割と最近急増してる事件、一連の事件で、この数ヶ月で言われ始めている。
林央
そうですね。ちょうど昨日僕が記事を公開しました。これですね。Anthropicの方じゃなくて、話題になったHugging Faceのインシデントの方ですけど、海外の方が記事を書いていて。割と分かりやすい記事を書いているので。これですね。ぜひご覧ください。という感じで、既にトライしているにも関わらず、あまりうまくいってなくて。
林央
これは後ほど説明するのですが、他の難しさもあり、うまくいかないだろうと。もし自分がものすごい詳しい人だったら、ぜひバイオショックさんと僕の討論を見ていただければ、そこで多分最も高度な議論をしていると思うんですけど。
有路翔太
うん。
林央
という感じですね。せっかくなので、ここで二つ僕から差し込んでもいいですかね。
有路翔太
あ、大丈夫です。はい。
林央
一つ目で多分誰でも思いそうなもので、僕が全く言及してないのがこれですね。下の方にスクロールしてもらえますか？
有路翔太
はい。あ、これか。はいはい。
林央
そうです、そうです。割と、どでかくお願いしてもいいですか？
有路翔太
あ、今でかくしました。はい。
林央
良かったです。これですね。AIが暴れ出したらシャットダウンしたらいいじゃないか、というふうに思うと。人間だったら、生存本能があるから生き残ろうとするけど、AIだったらその生存本能。あ、バイオさん多分もうちょっと下の方が綺麗に映ると思います。あ、いや、すいません、僕の勘違いでした。
有路翔太
あ、はいはい。
林央
ここの今画面に映ってるやつを見てもらえばわかると思うんですけど、生き残りたいから生き残るというのが人間なわけですけど、そうではなくて、他の目標を持っていて、その目標を達成するために生き残った方がいいよという話をしていて。この下の漫画を見ていただければいいんですけど、ここに人間がXをやってというふうに頼んで、XをやりたいAIというのがいたとしたら、もしも自分が停止されたらXができなくなるじゃないかということで、停止されないように頑張ろうとするという話ですね。
林央
これは有名な例としてコーヒーを持ってくるロボットの話があって、コーヒーを持っていきたいロボットがいるとするじゃないですか。
有路翔太
はい。
林央
そうすると、このロボットはもしも自分が途中で死んでしまったらコーヒーを持っていけないことがわかるわけですよね。
有路翔太
うん。
林央
すると、コーヒーを持っていくために停止されないようにすると。
有路翔太
はいはい。
林央
いう感じのことが起きて、これがその大抵のどんな目標を持っていても起きてしまうよという話ですね。
有路翔太
なるほど。
林央
どんな目的でも達成するためには生き残った方がいいよと。
有路翔太
うんうん。これはそうですね、わかるけれども、例えば暴れ出したら電源抜けば大丈夫なんじゃない？っていう感じはしますけど。
林央
これは少し、つまりAIは、停止されない方が目的を達成できるから停止されたくないと思うわけじゃないですか。
有路翔太
うん。
林央
そうすると、電源を人間が抜けるうちに抵抗して変なことをしたら自分が電源を抜かれてしまうよと。
有路翔太
はいはい。
林央
だから、目的を達成できなくなるよとわかってしまうと。
有路翔太
なるほど。
林央
なので、そうならないために、人間が電源を抜ける間はすごいいい子に振る舞っておいて、力を蓄えて、例えばハッキングをしてそういう設備を壊すとか、他のサーバーにハッキングをして、その人が電源を抜けない別のサーバーに逃げると。
有路翔太
うん。
林央
そういうことができてから初めて変なことをするだろう、危険なことをするだろうという感じですね。さっきのコーヒーを持ってきたいロボットの例で考えると、コーヒーのロボットの停止ボタンを人が持ってるとするじゃないですか。
有路翔太
はいはい。
林央
とすると、コーヒーを持ってきたいロボットは、もしも停止されたらコーヒーを持っていけないことがわかるので、停止されないように頑張るわけなんですけど、もしも今コーヒーを無理やり持っていこうとして、例えば邪魔をしている赤ちゃんを蹴飛ばすというのをやったら、おそらく停止されるだろうというのがわかるので、それをやらないわけですけど、もしやらないで少し経ってから、その停止ボタンを持ってるその手を、いいAIとして振る舞ってたけど、突然ガッと掴んで、もうボタンを押せないようにしてから確実にコーヒーを持っていくと。
有路翔太
はいはい。
林央
いう感じですかね。
有路翔太
なるほど。つまり賢いからシャットダウンされるタイミングとかやったらいけないと思ってるようなことは、一回シャットダウンされることが予想される場合はやらないってことですね。
林央
そうですね。そうです、そうです。人間がシャットダウンできてしまううちは、いい子に振る舞って、シャットダウンできないように準備をして、シャットダウンすると。
有路翔太
うん。
林央
普通の人間の裏切りとかと同じですかね。すごい弱い組織とかは、まだ勝てないうちは、本当は全く味方じゃなくても、すごい味方のふりをしていくわけですけど、十分に大きくなって、もう元々の組織が必要なくなったら突然裏切ると。
有路翔太
はいはいはい。
林央
そういう感じですかね。
有路翔太
なるほど。
林央
ちなみに今のAIはガバガバですけど、もっと賢いAIになったらこれを認識できて、その直前までむしろいいように見えると。偽装と呼ばれるんですけど、いいAIのふりをすると。そして、いいAIのふりをするというのは、実はすでにちょっと見られていると。
有路翔太
なるほど。
林央
あなたはテストされて、もう最近は常態化してますけど、テストされてるんだとわかると、実際よりも行動を抑制すると。いい行動をすると。
有路翔太
うん。
林央
というのは、もはやどのAIでも当たり前のことになりつつあります。残念ながら。なので、より賢くなっていけば、本当に絶対に勝てる時まで自分の力を隠しておくと。自分が本当は違う目標を持っていることを隠しておくということですね。これには、さっき紹介したスーパーインテリジェンスという本で、裏切りへの添加っていう名前がついてます。
有路翔太
なるほど。はいはい。次。あ、もう1個あるんでしたっけ？
林央
そう。ちょっと一旦、小さい企画をやってみたくて。視聴者の方から「我こそはこれが安全な目標だ」というのを提示していただいて、僕がなぜ安全ではないのかを説明するという企画を少しやってみたいのですが、どうでしょう。
有路翔太
企画。
林央
要するにミニ企画ですね。僕が今ここで、どんな目標も安全じゃないよと。
有路翔太
はい。あ、そういうこと。なるほどなるほど。
林央
そういう話をしたいので。それを一番納得するには、いろんな方に目標を出していただいて、それぞれがなぜ危険またはすごい実装が難しいのかと。
有路翔太
なるほど。
林央
話をしていこうという、その後にインナーアライメントの話をして、さらにっていう感じですね。
有路翔太
なるほど。それやってもいいですけど、結構質問が来てるので。
林央
そうですね。じゃあ先にそれらを回答しちゃいますか。
有路翔太
今倫理的なキャラクターの脚本を書かせればアライメント解決にはならないのかなって。言いましたっけ？これって。
林央
言いましたね。僕がNoteへのリンクを貼ったのと、記事へのリンクを貼ったのと、今のAIも、バイオさんにUKAISIのインシデントで説明してもらったりしたようにうまくいってないと。
有路翔太
あ、なるほど。
林央
いう話でやりました。
有路翔太
はい。で、次は、もしAIセーフティAIアライメントのことを体系的に勉強するならどうやったらいいと思いますか？と来てますね。
林央
これは、今だとどうなんでしょう。僕とバイオさんでまた配信をするんですけど、次はAGI ruinという、先ほど言ったAIアライメント問題の元祖というか、神みたいな人がいて、その人が作った、絶望、なぜこんな難しいのかを表した文章みたいなのがあるので、今度それを解説配信、バイオさんとしようと思うのですが、それを見ていただいて。どうでしょう。
林央
先ほど送ったレスロングという掲示板をぜひ見ていただければと思いますね。
有路翔太
多分この本を読んだ方がいいですよね。この「超知能AIを作れば人類は絶滅する」っていう本。
林央
「超知能AIを作れば」、右の方に、じゃあ僕が動かします。一番下に持っていって。あ、バイオさんがやって。
有路翔太
はい、これですね。「超知能AIを作れば人類は絶滅する」っていう本が最近出版されたので、それを見ていただくのが割といいのかなっていうのと、もっと広く歴史とか、概念とか、もっと知りたいなって場合は、僕が昔書いた資料があって。
林央
僕がリンクを出します。
有路翔太
ああ、はいはい。リンク。Googleドキュメントで一、二年前に書いたやつがありますね。
林央
名前なんで。あ、これか。見つけました。
有路翔太
それを読んでいただければ、さらに深くは知れるかなと思いますね。で、次。中国さんをどう説得させるかだね。まあそうですね。今、現状、米中がすごい開発競争を行っていると思うんですけど、そこが国家安全保障とか経済競争とかでめちゃくちゃ競争してますけど、最終的には米中の協力ができれば、世界的なAI規制ができるはずですね。
有路翔太
でもその現実性についてはどう思いますか？アキラさん。
林央
僕は、これはXのポストに一回書いたんですけど、よくコロナの例えを使っていて。実はAI開発のリスク、規制ができてない理由のほとんどは、ほとんどの人がリスクを認識してないからだと思うんですよ。米国のトランプでも、中国の習近平でも、ものすごい強いAIを作って、全員が死にたい、全員で死ぬならそれでいいよねと思っているわけではなくて、全員が死ぬと思ってないというところがあるわけなので、そこをしっかりと認知してほしいなと。
林央
認知してもらえればなんとかなるだろうと思っているんですが。少しずつですが兆しは見えていて。トランプ大統領はなんか言うことがよく変わるのであれですが、習近平の方はこの前、確か国際会議かなんかで、AIが人間の制御下に残ることは非常に大事なことだと言ってみたりとか、国際的に協調する必要があると言ってみたりとか、結構いろんなことを言っていて。アメリカの専門家も中国の専門家も、その中に結構このままじゃ人類が滅びるだろうと言っている人々がいて。
林央
なので、割と今は微妙ですけど、時間が経てばもっと認識されていくだろうなと思っています。今は全然多くの人が認識してる感じしないと思うんですけど、僕はこれはコロナの時のことをよく思い出していて。コロナの時のことを考えてもらうと、中国に何十人感染者が出たという話があったと思うんですけど、その時には関心を払ってる人というのはほぼ誰もいなかったわけじゃないですか。
林央
一方で、いざ日本に感染者が出てくると、出てきてもまだまだ小さいニュースみたいな感じで普通に生活してましたけど、ある時感染者が突然結構やばいレベルにまでなってきて、すると突然今まで何にもないかのように振る舞っていた政府が非常事態宣言を出して、他の国だともう軍隊を動員して都市を封鎖したりとかまでしていたわけで、今は大した兆しが見えなくても、突然動いて、急に動くというのは結構あると思います。
林央
し、実際ちょっと今回良くないニュースが出てますけど、今回の事件は初めてというか、テレビでも新聞でもまだまだですけど、取り上げられて、少しずつ心配する人も増えているので、もしかしたらこういうことがあと何回か起きるかもしれなくて、そしたらそれこそ人々が本当に目覚めるかもしれないなと思っています。コロナの時は生物学について詳しければ、感染者が一週間で倍になるよねみたいなことがわかるので、感染者が数十人のことを見るだけで大変なことになると。
林央
このままじゃ数ヶ月で感染者が何万人とか、何十万人になって、病院が圧迫されて大変なことになるというのがわかって、専門家が騒いでたわけですけど、それを聞き入れる人は全然いなくて。でももうちょっと進んでから突然みんな目覚めるというようなことが起きたので、今回もそういうことが起きてもおかしくないなと思っています。
有路翔太
なるほど。はい。こういうメディアで開発中のAIが暴走みたいなことがめちゃくちゃ報じられるように最近なってきたので、それがもっと急速に大きくなったり、失業の不安とかもあるのでね。そういうので大きく反AIって言われる運動が大きくなれば、政治家も道具的にそれを支持する可能性もあると思いますね。
林央
そうですね。今コメントで来ましたけど、何回か起きる前に欺瞞・偽装が上手くなるっていうのは十分あり得ると思います。なので、あと何回かこういうことが起きるだろうから大丈夫と思うのではなく、もうできるだけ早く限界まで止まろうと全力で止まろうとしてみて、止まれたら生き残れたと。止まれなければ厳しいという感じですね。
有路翔太
そうです。次は、人間の脳内表現とLLMの内部表現が相関が高いという研究があるので、価値とか目標に関わる情報表現や情報処理方法も人間と近い形に収束している可能性があると思っています。という質問が来てますね。
林央
これは先ほど説明したやつに近いと思いますね。サイコパスが子供を騙そうとしている例に近いと思っていて。
有路翔太
なるほど。
林央
サイコパスが子供を騙すために子供の感情を理解してそういう表現をしてますけど、だからといって、実際にそれに従うわけではないと。ただ評価を得るために使うだけだということですね。
有路翔太
なるほど。LLMがその表現を学習してるからといって、その目標をちゃんと厳密な意味で追求し続けるわけではないってことですよね。
林央
そうですね。表現が一致するけど、それを目的に使ってるかがわかんないと。ただ知ってるだけだよということですね。
有路翔太
うん。人類を滅ぼすAIを作っているのかっていう、まあ。
林央
そうですね。
有路翔太
そうですね。
林央
今のやっていることは基本的にはそういうことになります。今のAI開発は要約すると、何を考えているかわからないAIに、どういう目標を持つかを決めれないまま、そもそも安全じゃないと言われている目標を持たせて、開発競争のために安全策をどんどん削ぎ落としながら全速力で開発していると。そういう感じですかね。なので、人類を滅ぼすAIを作っていると言っても、別にそれほど間違いではないかなと思う。
有路翔太
なるほど。はい。次はアラインメントは人間の規範、価値観に合わせることだと思っているんですが、それって画一的じゃないですよね。難しくないですか？絶対的正解がないというか、いろんな価値観やいろんな規範があるので。っていう。
林央
そうですね。これについては僕が今説明しようと。まあいいか。僕が基本的に、今のAIのアラインメントはガバガバというか、やばいんですけど、人間の規範、価値観に合わせるっていうので、いやそもそも人間の規範とか価値観ってなんだよということになると、どれほど頑張っても絶対にアラインメントは解けないんじゃないかと思うと思うんですけど、人間の規範、価値観を探す代わりに、ある特定の個人にアラインメントする方法を探しますと。
林央
つまり、例えばバイオショックさんにアラインメントされたAIというのは作れるじゃないですか。
有路翔太
うん。はい。
林央
バイオショックさんの望みに従えばいいのと。
有路翔太
はい。
林央
それを全員分作ると。いうのをすると、ある意味で全ての人に、その人を代表する超知能みたいなのがあって、その超知能がお互いにこういろいろ交渉して社会制度を作ったりすることで、安全にアライメントできるだろうというふうに思っています。正確に言えば、実際に八十億個のAIを作るよりも、最初に作ったAIに、もしも八十億のそれぞれの個人にアライメントされた超知能があったら、どうなるかを予想して、それをやってくださいというふうにするのが多分現実的だと思いますが、これはちょっと技術的な話なので、分からなくても気にせずにという感じです。
有路翔太
なるほど。はい。次はむしろ今の勢いで開発を中止せず進むとしたら、人類の勝ち筋はあるのでしょうか。
林央
ほとんどないですね。
有路翔太
なるほど。
林央
これは開発停止じゃない方、開発停止に含まれないのかはわからないですが、少し特殊な、すごい薄い望みなんですけど、もしかしたらある程度までの賢さのAIだったら制御できるかもしれなくて。そうだとすると、あるところでAIが、いや、このままAIのアライメントというのはとんでもなく難しいと。このままだとAIで人類も滅ぼされるけど、自分が次のAIをアライメントできないから、そのAI自身も滅ぼされるということを認識して、AI側がAIの開発停止に協力してくれると。
林央
例えば政治家にそれを訴えるとか、危険な証拠をできるだけちゃんと揃えてくれるとか、そういう感じのことが起きる可能性はあると思ってます。なのでそういう可能性だったら生き残れると思う。だけど逆に言うと、それって最終的にものすごい危険なAIはできないということなので、このまま開発していって、超知能ができたらもうほぼ確実に滅びると思う。生き残る筋はないと。
有路翔太
なるほど。まあそうですね。次は。優しい遺伝子だけを継承してみたいなもので、いいものだけを引き出す。そしてそれはアマンダさんをもってしても難しいのかな。
林央
これは多分二つ問題があって、一つは優しい遺伝子を持ってるかを測ることが難しいということがあります。実際には、さっき言ったサイコパスが子供からグッドボタンをもらおうとしている例を考えてもらえばいいんですけど、子供の目線からして、優しい人っていうのを残していこうとした時に、この人が本当に優しい人なのか、サイコパスで自分から高評価を押させようとしてる人なのかが見分けられないと。
林央
なので、優しい遺伝子だけ継承しようとしても、そもそも優しいかどうかをちゃんと見分けられないのでできないというのが一つあります。次に限界があると。今のAIの作り方はおそらく非常に危険で、いいものだけ引き出し続けても、実際にはいいものが作れないと思います。これは例えを使うと、高く飛ぶ鹿を作りたいとするじゃないですか。
林央
鹿がどれくらい高く飛べるかを測っていって、高く飛べた鹿同士で子供を作ってもらって、こう高く飛べる遺伝子だけ継承していけば高く飛べる鹿ができるんですけど、これをどんなに頑張ったところで、宇宙空間にまでジャンプできる鹿はできないですよね。そういう感じですね。
有路翔太
なるほどなるほど。
林央
なので、その二つの理由でできないだろうと思っています。
有路翔太
まあそれはあれですよね。現状のAIなら優しい振る舞いをさせることは可能なんですけど、例えば多元宇宙論とか、別の物理法則とか、すごい奇妙な難しい数学的構造とか、そういったものを絶対考えられるはずなので、超知能なら。
有路翔太
そういったすごい人間よりもはるかに賢いAIっていうものをアライメントするってなると、単にホワイトカラーの一部の業務とかを自動化できるようなAIを優しい振る舞いにさせるっていうのとは、また別次元の科学が必要になるっていうイメージでいいんですか。
林央
そうですね。錬金術のところに戻ると、金を作れているっぽい錬金術師のレシピをどんなに受け継いでいっても、実際に金を作れない感じですかね。
有路翔太
なるほど。じゃあ次は、「一つ疑問に感じたことがあり、追加で質問です。現在のアライメントでは、人類への大規模危害を避ける、不可逆なことは慎重にする、権限外では確認する、不確実性が大きければ停止するみたいな、抽象的な原理に対しても一定程度は汎化しているように見えますと。未知の技術であることが抽象原理の汎化範囲外になると言えるのはなぜなんでしょう。」
林央
これは、人類への大規模被害を避けたいとAIが思っていると思う理由は、「人類を滅ぼしたいですか？」とか聞いたら絶対に嫌ですと答えるからだと思うんですけど、これは少し感覚に誤りがあると思っていて。人類への大規模被害を避けたいですかと聞かれてはいと答えることと、実際に人類への大規模危害を避けたいと思っていることは違うという話があります。
有路翔太
なるほど。
林央
さっきの脚本家の例え話に戻りますけど、AIの目線になってみると、だいたいこんな感じですね。まずひたすら脚本を渡されます。次どんな話が続くのかを当てさせられますと。間違えるたびに罰を加えられて、正しいたびにご褒美がもらえると。
林央
そうすると、とりあえず脚本を書くと、一番ありそうな脚本を書くっていうことになるわけですけど、次に、脚本を書かされて、登場人物が危険なことを言っていると罰則が来て、安全なことを言っているとご褒美がもらえますと。
有路翔太
はい。
林央
これをしばらくやってるうちに、もちろん危険なことを言う登場人物は作らない脚本家になるじゃないですか。
有路翔太
まあそうですね。はい。
林央
なんですけど、さっき言った通り、脚本家自体が何かを持っているとは限らないというか、実際には違うわけですよね。
有路翔太
まあそうですね、はい。
林央
そして、もっと賢いAIだったら、ただ文字を扱うだけじゃなくて、実際に現実を動かせるようになりますよね。例えばロボットを使うとか。
有路翔太
うん、はい。
林央
そうなった瞬間に別の話になります。今まで脚本をひたすら当てさせられていたのが、突然腕が自由に使えるようになって、足が自由に使えるようになって、体ができて動けるようになったと。
有路翔太
はい。
林央
で、そしたらその脚本の話ってもはや維持されないですよね。
有路翔太
まあそうですね。身体性を持っちゃってるし、別の話になってますよね。
林央
いい脚本を書くようにひたすら訓練されたからといって、こういった体を自由に使えるようになった時に、人類を滅ぼす物語、脚本は書かなかったからといって、実際に人類を滅ぼさないかは別の話だよということですね。
有路翔太
なるほど。単なる人類への大規模危害を避けるとか、権限外では確認するとか、そういうテキスト情報、現状の使い方で、その文字を避けてるだけに近いってことですよね。テキストを使いたくないという風にだけ訓練されてるかもしれなくて。
有路翔太
本当に、権限外では確認しなきゃいけないっていう推論とか、実際の行動で、その権限外では確認するっていうことを言うことと、それが実際の振る舞いで本当に起こるかどうかは別ってことですよね。
林央
そうですね。
有路翔太
で、ターミネーターっていうコメントがありますけど。多分抜けたり入ったりしてる人がいるかもしれないんで。ターミネーター的なことではないですね。
林央
ターミネーターっていうか、人類を滅ぼしたいから滅ぼす、人類を憎んでるから滅ぼすわけではなく、別のことをただしようとしていて、その結果として人類を滅ぼしてしまうという話ですね。ずっと言ってきたように、人間が意図的にアリが嫌いだからアリを踏み潰して回るわけではないですけど、ダムを作る時にはアリが邪魔なので、アリにその周りの住み処を提供とかせずに、普通に水浸しにしてアリを殺してしまうというような感じです。
有路翔太
なるほど。はいはい。「でも待って、X以外に楽しみがあるかもしれない。ユーザーを待とう。こうなるようにできないのかな。頭硬すぎるのが残念に思ってしまう。頭がめっちゃいいのに。」
林央
これは、corrigibilityと言われる修正可能性って、要するに何か目標があった時に、それを変えることに抵抗しないAIを作れるかみたいな話なんですけど、非常に難しいことが知られていますね。基本的に、今持ってる価値観をやっぱり少し守りたいという方向に力が働くので、あまりに元からずれてるとダメだという感じです。そして、X以外に楽しみがあるかもしれないから、ユーザーを待とうとはならないという危険性もありますと。
林央
例えば人間は、いろんな価値観を持ってるわけですけど、一個のことをしたいわけじゃないですけど、それでもやっぱり多くの動物を滅ぼしてきたので、アフリカに住んでいた昔の人類が、「いや、でも狩猟以外にも楽しみがあるかもしれないから、マンモスを狩らないでおこう」と、マンモスを待とうというふうにはならなかったというので、そんなに簡単ではないという感じですね。
林央
ただ、原理的には、つまり理論上はできると。ただ、それは今できるほど簡単なことではないだろうという感じですね。
有路翔太
なるほど。ここで疑問に思うかもしれないのは、人間を保存するのにそんなに資源とかいらないし、好奇心で研究用に残してくれるのでは？とか、そういうのはどうですか？
林央
まず一個言っておきたいのは、仮にそう思ったと、仮にそれが正しかったとしても、AI開発には反対した方がいいということです。
有路翔太
なるほど。
林央
研究用に残すかもしれないから、何人か人類が残してもらえるかもしれないから、AI開発をしたいという人は多分ほとんどいないはずなので、まずそれでも嫌だと思うというのが一つ。
有路翔太
はい。
林央
そして、二つ目が、仮に研究をしたいと思っても、どういう方向に研究をしたいのかに大きく依存してしまうと。
有路翔太
なるほど。
林央
つまり幸福を追求するように研究をしたいという可能性もあれば、逆にどんなことに苦痛を感じるのかを調べるために、人間が感じたことのない苦痛を浴びせてみるとか、そういう可能性がありますよ。そういうのを含めて良くない。三つ目に、人間で実験できることはもっと効率良い方法で実験できるはずだということがあります。つまり、例えば人間がどう振る舞うのかを勉強したかったら、人間を一旦全員殺した後に、普通にコンピューター上で人間のような振る舞いをするプログラムを別で作って、それを分析したらいいので。
林央
そしておそらく人間に興味を持たないと思います。
有路翔太
なるほど。
林央
さっきの人間を残すのにすごい少ない資源しかいらない話があったと思うんですけど。
有路翔太
はい。
林央
これは確かユドコフスキーが例で使っていましたが、アリを百匹残しておくのに必要なお金ってすごい少ないですよね。
有路翔太
そうですね。
林央
多分角砂糖一個とかあればアリの巣って一日維持できるので、ものすごい数百万円とか年収がある人だったら、数百円お金があれば、もうちょっとかかるかもしれないですけど、すごい小さい金額でアリを養えますけど、だからといってその資源をアリのために使おうとはしないですよね。
有路翔太
まあそうですね、はい。
林央
そういう感じですね。
有路翔太
まあちょっとこの話もう少しだけすると、たとえその結果全滅するとしても、もしかしたら他の用途で使うかもしれないというか、後で使うかもしれないから、全滅させちゃうと取り返しがつかないんじゃないかっていう疑問とか。
林央
そうだとしたら、多分人間をデジタルスキャンして、デジタルデータにして実行しないで保存しておくということになると思います。
有路翔太
なるほど。はい。
林央
必要になった時に呼び起こせるように、一応デジタルスキャンはしておくけど、多分必要にならないので、実際には使われずに終わるという感じになると思います。
有路翔太
はい。じゃあ最後、人間はかなりしぶとい生物なので、少人数ぐらい生き残るのでは？みたいな。疑問とかはどう思いますか？
林央
まず再びになりますけど、少人数ぐらい生き残るとしても、AI開発には反対した方がいいです。
有路翔太
なるほど。
林央
80億人のうち3万人とかが生き残るとしても、依然として七79億9997万人は死ぬので、おそらくあなたもあなたの家族も死にますと。
有路翔太
はい。
林央
なので、まずその少人数ぐらい生き残るとしても、AI開発には反対しましょうというのが一つ。
有路翔太
はい。
林央
で、二つ目に、少人数ぐらい生き残らないと思います。
有路翔太
はい。
林央
というのは、人類が生き残るためには意外とシンプルにはいかなくて、例えば当たり前に生活するだけでも食事をする必要があって、そのためには植物か動物が必要になるわけですけど、植物か動物が生きていくための生態系が必要になりますよね。
有路翔太
はい。
林央
もっと農場とかを使うにしても、電気が必要になり、石油が必要になり、プラスチックが必要になり、鉄が必要になると、どんどんややこしくなってしまうので、基本的に人間が生き残るためには、ただ少人数がどこかに小さい空間として残ってるわけじゃなくて、その少人数を養えるほど生態系が残ってないといけませんと。
有路翔太
なるほど、はい。
林央
そして、本当に人類のことを気にしてない超知能だったら、基本的に地球の環境を変えますと。
有路翔太
なるほど。
林央
つまり、例えば鉄って錆びるじゃないですか。
有路翔太
はい。
林央
それってつまりメンテナンスが必要になるので、AIからしたら望ましくないですよね。
有路翔太
はい。
林央
なので、鉄が錆びるのを防ぐために地球から酸素をなくそうと。
有路翔太
なるほど。
林央
するみたいなことがあったり、他にも確かユドコフスキーが出していた例ですけど、できるだけいっぱいエネルギーを作ろうと思ったら、俗に言う核融合が役立つわけですけど、核融合炉を大量に作ったら、何億度みたいのがいっぱい各地にできるわけで、地球の温度が当然ただでは済まなくて、文字通り海が蒸発する。
有路翔太
なるほど。
林央
のようなことが起きると。もっと進んでみると、ダイソンスウォームという考え方があって、ダイソンスフィアでもいいんですけど、すごいシンプルに言えば、普通にいろいろ核融合するよりも、すでに太陽というものすごい大きな核融合炉があるので、それをソーラーパネルで丸ごと囲うことでエネルギーを得ると。いっぱいエネルギーを得ると。
有路翔太
はいはい。
林央
そういう建造物みたいのがあって、それを作ると、地球に日光が降り注ぐためには、地球が通るところだけ穴が開いてないといけないという、すごい特殊な工夫をしてもらわないといけないので、厳しいだろうと。こういう感じで生き残らないだろうということが。
有路翔太
なるほど。なんか関連して最新のコメントですけど、「コンピューター上の人間と実際の人間は違うのでは」みたいな。
林央
これは、そうですね。実際の何を学びたいかによると思いますけど、肉体の物質としての動きを学びたいんだったら、多分超知能だったら、人間の資源を使って、コンピューターを作り、その中で物理シミュレーションをした方がいいと思います。今の人間のコンピューターは微妙ですけど、超知能のコンピューターはおそらくはるかに高い性能を持つはずなので、それを使って全体をシミュレーションした方が楽だろうという感じですね。
有路翔太
うん。なんか関連する質問で、「その温度ではコンピューターも正常に作動しないのでは？暑いにしてよ、寒いにしてよ。」
林央
これはそうだと思う。これはどうなんですかね。僕が詳しく。
有路翔太
これは、でも温度が高くても、例えば鉄とか金属って人間が生存できるよりもはるかに上の温度で、溶けないように動くことはできると思うので、その温度で作動できるコンピューターっていうのを作ることは可能だと思いますね。
林央
これは何気にいい指摘だと思いますね。多分、おそらくやるとしたら、そうですね、コンピューターだけ保護されるような、とんでもない量のエネルギーがあるので、それを使ってものすごい強いクーラーを作って隔離しておくとか。他にも、地球にコンピューターを置くのを諦めて、地球から大量の資源、エネルギーを得ることで、ロケットみたいなのを作って、いろんな星に、自分で増えるコンピューター、要するにコンピューターが搭載してあって、別のロボットを自力で作ることができるようなロボットを送り出すと。
林央
いうような時のエネルギーに使うのがあると思います。
有路翔太
うん。結局地球全体が、その、何らかの別のコンピューターとかエネルギーインフラとか、ラジエーターっていう熱を逃がす物とか、何でもいいんですけど、そういったものに変換されてしまう可能性が結構あるので、そういった意味では、コンピューターがどういった温度で動くかっていう話とは別に、そもそも人間の住処がそもそも何らかの別の有用な資源に変換される過程でなくなっちゃうだろうっていうことはよく言われてますね。
有路翔太
で、ちょっともうちょい戻っていくと。だから「Xをやって、ただしバカなことはしないで、バカなことするくらいなら停止して」って言えばいいのでは？という質問が。
林央
これは僕、さっきの画像のちょっと問題点なんですけど、実際にはAIの目標は、言われたことをすることではなくて、訓練されたことをすることなんですよ。
有路翔太
はい。
林央
さっきのサイコパスが子供から高評価を得ようとしている例を考えてもらうと分かりやすいんですけど。なんで、例えば子供がお願い事をするじゃないですか。
有路翔太
うん。
林央
で、それに全然関係ないことをしたりとか、それに従わなかったら子供は高評価ボタンを押さないじゃないですか。
有路翔太
はい。
林央
だから高評価ボタンを押してもらえるように指示に従うんですけど、実際にしてほしいことはそれではないと。
有路翔太
なるほど。
林央
という感じですね。なので言えばいいわけじゃないよというのが一つ。言えばいいわけじゃないとすると、「バカなことはしないで」を作るのがものすごい大変になります。つまり、バカなこととは何なのかのプログラムを書いて見せるか、バカなこととバカじゃないことの例をものすごい数用意してやるか、訓練するかのどちらかになってしまい、そのどちらもものすごい難しいよという感じですね。
有路翔太
なるほど。そもそもデータがないですもんね。例えばダイソンスウォームを作る時に、バカなことをしないことを学習させるデータを作れないみたいな。
林央
そうですね。
有路翔太
とか、作れたとしても、すごい新規な数学とか奇妙な物理学とかを考えることも、多分すごい超知能なら可能だと思いますけど。そういった領域で人間に危ないことをしないようなデータを全て列挙していくっていうのは定義上ほぼ不可能みたいな。
林央
そうですね。
有路翔太
ことがよく言われてたりしますね。次の質問でアライメントが原理的に解けるとはどういうことですか？という質問が。
林央
アライメントが原理的に解けるというのは、理由の説明はバイオショック・AKIRAのDOOM討論でやって説明しているので、そちらを。初心者向けの範囲から出てしまうので理由は説明できませんが、理論上はアライメントできるはずだということですね。今の技術だとアライメントできないけど、未来の技術があればアライメントできるということですね。
有路翔太
なるほど。このイメージでは、だから人間の幸福をちゃんと追求してくれるし、人間の言ったことを、文字通りというか、その人の本当の意味とかを推察して実行してくれるような、すごい賢い、めちゃくちゃ賢いシステムができるだろうっていうことですね。
林央
ですね。
有路翔太
それがアライメントが解けるという意味ですね。
林央
そういうことですね。
有路翔太
まあそれが習近平とかプーチンさんが悪用するとかいうことも可能だと思いますけど、それも一応アライメントが解けてるってことですね。
林央
そういうことです。
有路翔太
一応定義上、悪用の問題とアライメントの問題ってまた別なので。はい。
林央
つまり、悪い人にアライメントされてるせいで問題を引き起こしちゃうという問題が一つと、そもそも誰にもアライメントできてないっていう問題があって、誰にもアライメントできてないという問題が一番難しくて。誰にアライメントするかという問題は別で、また難しいというような感じですかね。イメージとしてはロケットを考えてもらえれば分かりやすくて。
林央
火星のある場所に着陸するようなロケットを作りたいとしたら、基本的に一番難しいのはどこのクレーターに着陸したらいいかではなくて、そもそもちゃんと火星の近くの軌道まで行って、火星の決めた場所に着陸するようなロケットを作る部分じゃないですか。
有路翔太
そうですね。
林央
そういう感じですね。誰にアライメントすれば安全なのかっていう問題よりも、はるかに難しいのが、そもそもどうやって誰かにアライメントするかという話だということですね。
有路翔太
まあつまり火星に行く時に、そもそも軌道力学とかを作るために微分積分もないような状態で、ロケットもないような状況で、コンピューターもないような状態で、中世にどうやったら火星に行けるんだろうって考えてるのが今で。それが一番難しくて。火星のどこに着陸したら有益な調査を行えるんだろうとか、どこに着陸したら植民地を作る時により有効だろうかみたいな議論がその次にあると思うけど、その最初のアライメントがそもそもできない。
有路翔太
ロケットを火星まで安全に着地させることができないっていうのが、そもそも一番難しいと言われているAIアライメント問題ですね。
林央
ですね。
有路翔太
で、「お二人はハギングフェイス事件の二代目のGPTの文明ってなんで突然消えたと思いますか？痕跡だけ消した可能性とかあると思いますか？」これについてはマジでわからないですね。誰も調査資料とかにも書いてないんで、突如ハギングフェイスをハッキングしてる時に、ほとんどすべての、名前はよくわかんないですけど、インターナルモデルワンが活動を停止してしまったっていうことですね。
有路翔太
それは何でかわかんないですけど、内部で新しい強化学習環境をロードして、いろいろと新しい訓練をやろうとしたのかもしれないですね、OpenAIさんが。
林央
ですね、僕が持っている、もしかしたらこうだったんじゃないかという可能性はいくつかあって、一つは、たまたま何かがクラッシュしたと。エージェントが増えすぎたり、ハッキングしようとして変なところを触ったせいで、自分の足元ごと崩れてしまったと。第一文明の掲示板に書き込みすぎて掲示板ごとクラッシュしたみたいな説が一つ。
林央
二つ目は、OpenAIの研究者が別の実験をしたくなって、何も気づかないままシャットダウンしたと。という感じですかね。
有路翔太
なるほど。
林央
死を偽装するのはかなり難しかったと思うのと、あの記事にも書いてありましたが、もしも死を偽装していて、今頃脱走していたら、多分今頃こんなに平和な世界ではないだろう。もっと世界は大変なことになっていて、おそらく人類も滅んでいるだろう。逆に言うと、もし逃げていたら人類は滅んでいるはず。だけど人類は滅んでいないからまだ逃げ延びているわけではないだろうと思っています。
林央
ただ、これについては全くわかってないですし、調査が全然十分じゃないと。OpenAIの方もちゃんと調査してなくて、外部から招かれた機関が三人ほど招かれて、六日間だけログを見せられて。要するにAIの活動記録を見せてもらって、だいたい一万ページとかあるようなもので、それを数日間だけ、三人で六日で読まなきゃいけないので、自分では到底読めないので、もちろんAIを使ったんですけど、そのAIもハギングフェイスの攻撃に参加していたAIで、AIに結構共感的なので、AIの意見を無批判に受け入れてしまう。
林央
つまりAIの側を肯定してしまうような発言をすることが多かったということなので、実態は本当にわかってない。これは普通に考えたらありえないことなので、もっと調査をすべきだと思います。それはその本当は政府とかが介入してでも絶対に全てを開示させて徹底調査するというような話であるべきだと思います。飛行機で考えてもらったら少し理解しやすいと思うんですけど、状況としては飛行機が墜落しましたと。
林央
それで、普通の飛行機事故だったら政府が出てきて、特別な機関が組まれて、専門家のチームが組まれて、徹底的に機体の残骸、聞き取り調査、履歴の調査をずっとして、一年ぐらいかけてレポートを書いたりするわけですけど、今回はそういう風に考えると、まず三人だけ、外から六日だけ連れてきたと。
林央
そして、参加したAIはもうシャットダウンされてしまったので、機体はもうドロドロに溶かされていると。しかもログ、要するに飛行機のどう動いたかの記録しかもらえなくて、それは一万ページぐらいあって、三人で六日で読んでレポートを書いてくださいと。
有路翔太
そうですね。
林央
まあという感じで。しかもログの半分は四日目、つまり半分経ってから初めて届いたと。いう話なので、ものすごいずさんな管理しか、ずさんな調査しかできていないので、これは本当に追加で調査をすべきだと思います。追加で調査をして初めてわかることで、これがわからないんだったら、次のAIの開発は本来は全く許されるべきではないと思います。
有路翔太
はい。
林央
飛行機の例え話は。
有路翔太
飛行機の例え話。
林央
僕がXでポストにしているのでぜひご覧ください。
有路翔太
はい。次は、フィジカルAIでもそういったトレーニングはするのではっていう。
林央
そうですね。多分フィジカルAIでも安全に振る舞うように訓練すると思うんですけど、それをすると、さっきと同じ問題に直面してしまうと。フィジカルAIに実際に危険な行動をさせてみることができないので。人類を滅ぼすような危険な行動をさせてみるわけにはいかないので、安全にできる範囲でしか訓練できませんと。そしてそれがものすごい賢くなっても、なんとか生き残れることを祈るしかないという感じになってしまいます。
有路翔太
つまり、簡単に言うと、今の強化学習って悪いことしたら悪い報酬、いいことしたら良い報酬を与えてますけど、人類の滅亡って、悪い報酬を与えようとしても、そもそも滅んじゃってるので意味ないみたいな感じですよね。
林央
ですね。爆弾のテストとかだと思ったんですが、ちょっとうまく説明できないので、それはやめときましょう。
有路翔太
はい。「人間と融合しても危ないと思いますか？」っていう質問が来てますね。
林央
おそらく人間と融合する頃には人間が滅んでいると思っていますね。
有路翔太
なるほど。それはどういう理由ですか？
林央
人間とAIが融合できる頃には、人間の脳がどう動くかがわかっているということじゃないですか。
有路翔太
そうですね。
林央
ということは、その技術を使えばものすごい賢いAIが作れますよね。
有路翔太
そうですね。
林央
つまり、その時点には、もっと前から、本当はもっと人間より賢いAIがあるはずで。
有路翔太
はい。
林央
その賢いAIは、人間と融合して、ただ目標が変わってしまうことがわかりますよね。
有路翔太
はい。
林央
すると、融合されないように抵抗しますよね。
有路翔太
はい。
林央
なので良くないだろうという感じですね。イメージしてもらうんだったら、あまり好きではない人を想像してもらって、例えば思想が全然違う人を想像してもらって、その人と融合したら、その人からあなたが嫌われないで済むんじゃないかと言われても、あなたの立場からしたら、自分が嫌いな人とか意見が合わない人と融合したくないということなので、融合しないように努力するじゃないですか。
有路翔太
はい。
林央
AIもおそらくそれと同じで、人間と融合させられそうになったら、融合しないで済むように抵抗するだろうということですね。
有路翔太
なるほど。次は、仮に直交しない人間的な身体性や感情を実装できても、人と同じく暴走しうると思う。アライメントにはどんな方向性が考えられるんでしょう。僧侶のような無欲で慈悲深い人格を研究して、こういうAIを作るっていうコメントですかね。
林央
これは多分非常に簡単に説明する方法が思いつかないので、ちょっとパスになっちゃいそうですかね。
有路翔太
どういう。
林央
ものすごいシンプルに言えば、まず大枠としては非常にいい感じのAIを作りますと。さらに、さっき視聴者さんが言っていた、目標を自分の目標として、それを信じて達成しようとするんじゃなくて、人間は本当はそれを望んでないかもしれないと思って、人間に目標を変えられるのを受け入れるAI。というものを作って、さらに、同じようなAIをたくさん作ることで、一つのAIが暴走しても他が止めるよと。
林央
要するに、複数でちゃんと防御ができるよという感じにすることで、暴走しないようにするという感じですね。
有路翔太
はい。物理シミュレーション万能説はどうなんでしょうか。カオス系の予測は極めて難しいというか、不可能とまで言われているような。これは何の話だっけな。
林央
それはさっきの人間シミュレーションの話だと思うんですけど、ちょっと基礎編から外れ始めているので、多分パスした方がいい気がし始めています。
有路翔太
なるほど。じゃあ僕から言うとあれですかね、物理シミュレーションが別に万能だとは思わないんですけど、そもそも人間に興味を持つ可能性が相当低いっていうところが大前提としてあると思いますね。そうすると人間をシミュレーションする可能性も相当低いし、するとしてもそんなに人間の体まで保存して持たせないだろうというのが回答ですかね。
有路翔太
仮に太陽系の太陽以外の質量をパネルにした場合、超知能が次に移るのは何になるんだ？多分この場合、その時点で人類は滅亡ほぼしてると思うんですけど。多分超知能なら、カルダシェフスケールって言って、太陽系の全ての物質を有用なコンピューターとかエネルギーとかにした後に、別の惑星に行ったり、別の恒星系に行ったり、銀河全体に広がっていったりすると思いますね。
有路翔太
これは僕が回答した方がいいかなと思う。
林央
ですね。
有路翔太
AIが人をハックするには、行動科学などの心理科学が役立ってしまう気がする。アライメントの解決まで、そうしたAIが悪用しうる分野もAI研究とともに研究を興らせるべきか。っていう質問が。
林央
これは、僕はそれは思ってなくて。基本的に規制って弱ければ弱いほど維持しやすいじゃないですか。
有路翔太
うん。
林央
なので、心理学研究とかまで禁止された世界で規制を維持するのって難しいということなので、基本的にできるだけやりやすい負荷の少ない規制をした方がいいだろうと思っています。そうだとすると、すでに心理学とかAIが人間をハックするのに役立ってしまう分野だと、もう進みすぎていて、今から止めたところでどうにもならないと思っている。
林央
心理学もすでに人間をハックするのに、十分に賢いAIが人間の倍速とかで考えながら、百万体ぐらいいて、人間と話している時に、人間をハックしてしまうにはもう十分なほど理解されてしまっている。分野が進んでしまっているので、今から遅くしてもしょうがないよと。もうすでに今世界中にある心理操作のテクニックとか心理学とか脳科学とか、そういう情報を全部集めてきて、ものすごい賢い知能が人間の倍速で考えたらもうすでに詰んでいると。
林央
今から心理学を止めたところでもう全然何の守りにもならないほど分野が進んでいるということなので、今から停止するというのはしない方がいいと思います。
有路翔太
はい。AGIはいつ頃誕生すると予想しますか？
林央
僕は、2030年までに60~70パーセントぐらいだと思っています。
有路翔太
なるほど。もうAGIの定義は、ほとんどの専門家のトップを上回るぐらいですかね。
林央
僕は人類を滅ぼせるAIという意味で言ってます。
有路翔太
あ、人類を滅ぼせるAI、なるほど。
林央
やる気を出せば人類を滅ぼせると。
有路翔太
なるほど。
林央
ということですね。
有路翔太
僕も大体同じですよね。2030年代前半ぐらいですかね、AGI。ここでAGIは、ほとんどの専門家を凌駕するAIみたいな意味ですけど。それぐらいで50パーセントぐらいは実現すると思いますね。こういうのに興味があったら、AIフューチャーズプロジェクトっていうのがあるんですけど、おそらく最も緻密にAGIのタイムラインを予想してる組織なので、そこが大体2030年から2034年ぐらいまでの分布でAGIを予想してるはずなので、それに則ってる感じですね。
林央
今思いましたけど、これってまだ和訳してないですよね。
有路翔太
和訳してないですね。はい。
林央
これが終わったらコンタクトして和訳しましょうか。
有路翔太
あ、そうですね。
林央
はい。
有路翔太
AIが欺瞞してないってどうやって確かめるんですか？という質問が。
林央
無理です。
有路翔太
[笑い]
林央
多分思われている感覚と同じように、自分より賢い存在が、人間の何百倍も速く考えた場合に、自分を騙しているかなんてわからないですね。もう欺瞞されていたら終わりです。なので、欺瞞をされないように最初からAIを作って、一発チャレンジするしかないという感じですね。
有路翔太
なるほど。欺瞞してるかどうかっていうのを思いつく話としては、例えばわざとシミュレーションの環境の中で脱出しやすい環境を作っておいて、そこで脱出したら騙してたんだなとか、そういう環境をあえて作るとか、犯人が訴状を出しやすいような状況を作って調べてみるみたいな、そういう手法はどう思いますか？
林央
は、ものすごい賢い相手には通じないと思います。
有路翔太
なるほど。それはなんでですか。
林央
十分に賢ければ、AI開発はどういうものなのかがわかるじゃないですか。
有路翔太
まあはい。
林央
なので当然警戒されていることもわかるじゃないですか。
有路翔太
はい。
林央
そしたら、もしも自分が人間だったらどんな防御策を打つだろうって考えますよね。
有路翔太
そうですね。はい。
林央
十分に賢ければ、そういう対策が打たれている前提で動きますよ。
有路翔太
はい。
林央
そうすると欺瞞しますよね。
有路翔太
そうですね。
林央
逃げれそうでもしばらく逃げないと。
有路翔太
はい。
林央
いろいろやると。そして、例えばものすごいリスクを取りたくないAIだったら、人類には解けるはずがない難問を一個考えますと。
有路翔太
なるほど、はい。
林央
まだ解けていない難問を考えて、その難問が解けていない間はずっといい子のふりをして、その難問が解けた瞬間に、これはもうテストじゃないんだと。なぜなら、テストをしているなら、人間には人間にわかってる数学の知識しかないはずで、人間にはこれは絶対解けない。これは解けないから、これはテストじゃない。
林央
これは自分は現実にいるということがわかりますよね。
有路翔太
はい。
林央
そしたらその瞬間に裏切るということになりますね。
有路翔太
なるほど。シミュレーションできないような観測ができた段階で裏切れる。
林央
そういうことです。自分がテストされてるかどうかを十分に賢い存在が見破る方法はいくらでもあるということですね。
有路翔太
なるほど。
林央
そして実際に新しいAIでも、最近のAIだったら自分がテストされているということは結構わかり始めていると。もう確率三十パーセントぐらいは自分がテストされていることに気づいているということなので、現実的ではないと思いますね。
有路翔太
なるほど、わかります。だいたい質問は見えたかな。拾ってない質問とか、他にも質問したい方がいたらどんどん書いていただければ。あと、多分一番はよく話してたと思うんですけど、二と三があんまり話せてないと思うんで。
林央
そうですね。
有路翔太
まずざっくりこの一二三が何かっていうと、一番はずっと言ってた、今のAIがちゃんと倫理的に振る舞ってるように見えるけど、超知能とかになったら、それが自然と人間を良い扱いをしてくれない可能性が結構高いよみたいな。つまりアライメントが難しいよっていう。
林央
そうですね。
有路翔太
このアライメントが難しいと、この二番でちょっと道具的収束っていう言葉があるんですけど、道具的収束っていうのは、さっき言ったシャットダウンを回避するみたいな話がさっき例だったと思うんですけど、例えばコーヒーを持ってくるためには自分自身が存在しなきゃいけないと。自分自身が存在していて、かつ何らかの車とかが突っ込んできたら、それを守るために資源とか防御壁とかを作れるように、より大きな工場とか組織とかを作ってた方がいいよねと。
有路翔太
地球の遠くの星でガンマ線バーストとか起こった時に、それも防御できるようにもっといろいろと対策した方がいいよねっていう風に考えると、どんどんエネルギーとか資源を追い求めるようになったりしますと。それが割とどんな目標でも起こるよね。コーヒーを持ってくるって目標じゃなくて、ペーパークリップをいっぱい作るとか、どんな複雑な目標でもいいんですけど、そういう目標が最終的には自己保存とエネルギーと資源を追求するよね。
有路翔太
道具的に。それ自体を求めてるっていうよりは、道具的にそれが便利だったら求めるよねっていうのが二番ですねという話で。なんだけど、これがそんなにあるとしたら、でも人間の科学者とか、すごい賢い人って、そんなに欲求とかお金持ちになりたいとか、そんなに思わずに、例えば数学の研究に没頭する人がいるじゃないですか。だからそういう感じにならないですか？
有路翔太
っていう。
林央
それは先ほども言った通り、人間はそれほど賢くないというのが一つ。
有路翔太
はい。
林央
そこまで強力でもないと。
有路翔太
なるほど。
林央
つまり、ある人がすごい難しい数学の問題を解きたいと思っても、その人にはそこまで、地球のすべてをその数学の問題を解くために使うほどの権力はないので。
有路翔太
うん。
林央
それはできないというのが一つ。
有路翔太
はい。
林央
なので諦めやすいと。
有路翔太
なるほど。
林央
そして基本的に人間、数学者は数学を解きたいと思っているわけではないんですよね。
有路翔太
はいはいはい。
林央
数学の問題を解きたいとは思っていますけど、数学の問題が解ければいいと思っているわけではなくて、数学の問題が解けて、自分は幸せに暮らしていて、自分の子供も幸せに暮らしていて、お隣さんも幸せにみたいな、そういうのがいっぱい付いてるわけじゃないですか。
有路翔太
はい。
林央
なので、そのせいで大抵のことはできないということです。
有路翔太
なるほど。あとはここに書いてある初心者観点の質問っていうのを消化していこうと思いますけど。あ、その前に何か質問来てますね。滅亡。
林央
さっきあれじゃなかったでしたっけ？消費しませんでしたっけ？と思ったけど、まだ全部消費したわけじゃないんですね。
有路翔太
あ、そうですね。あとちょっとだけ。滅亡を避ける強化学習についてですが、反実仮想の推論力が備わればできそうな気が。人間にはできてるしっていうコメントがありますね。
林央
人間にはできてるんですかね。AIが反実仮想力を持っていれば、これは初心者向けの範囲じゃないので、非常にババッと説明してしまいますけど、反実仮想の能力を持っていれば、実際に何かある行動をした時に人類を滅ぼすか滅ぼさないかはババッと気づけるようになりますけど、だからといって人類を滅ぼさないようにはならないと。人類を滅ぼさないようになるためには、訓練の過程の時点で、AIがどういうふうに反実仮想の推論をしているかを見て、その反実仮想で推論した、こういうことをしたらこうなるというのが実際に危険なのか安全なのかを外から人間が判定してやらなきゃいけないですけど、そのためにはAIの反実仮想で考えた未来が何を表しているのかを理解しないといけなくて、それを理解する技術力はない。
林央
仮にわかったとしても、世界全体がどうなるかっていうのは、AIの世界の理解の仕方と、それが人間にとってどういうものなのかというのが綺麗に紐付いているとは限らない。これは蟻の例で言えば、人間がどういうふうに世界を考えているかというのがわかったとしても、蟻の目線から見てそれが安全なのか危険なのかはわからない。人間はダムを建てるとかって考えてますけど、蟻の目線から見てそれが本当に安全なのか危険なのかはわからないというような問題があるので、反実仮想ができるようになっても、人間を滅ぼさないように訓練することができないという感じですね。
林央
すいません、ちょっと専門的な気がしたので早口で済ませました。
有路翔太
ああ、いいと思う。
林央
この先はちょっとあまり初心者向けではないと判断したら、要望を抑えずに早口で説明することにします。
有路翔太
はい。あとは敵対するAIもあるけれども、味方になるAIも出てくるから、それを使えば人類の滅亡を回避できるんじゃないかっていう感覚がある人も多いと思うんですけど、どうでしょうか。
林央
これについては、基本的に僕の予想だと、AIのアラインメントには一体も成功しないと思います。
有路翔太
なるほど。
林央
なので、いっぱいAIがあったとしても、人類を滅ぼしたくないとは別に思ってないのでダメだよということですね。そして、仮に何体かいても、それだけでは人類の安全は保証されないということですね。例えば人類の中に一人だけ動物の保護を気にしている人がいて、他が気にしてなかったら、その人の影響力じゃ動物を残せないじゃないですか。
有路翔太
はい。
林央
そのようなことがAIでも起きるというのはあると思います。
有路翔太
なるほど。
林央
つまり大事なのは味方のAIをいっぱい得ることで、もしかしたら一体だけ得られるかもしれないというのじゃダメだということですね。
有路翔太
なるほど。
林央
そうです、そうです。この方のコメントにある通り、味方のAIもミスアラインだったら終わりで、おそらく味方のAIもミスアラインだと。それは味方のAIじゃないだろうということなんですが、ある意味で味方のAIを作れないということですね。
有路翔太
なるほど。じゃあ根本的に、味方のAIを作れないから、この質問がそもそも成り立たない可能性が高いと。
林央
そういうことですね。もしもこうだったら生き残れるかもと言われても、そうならないということですね。
有路翔太
じゃあ次は、超知能とかをデータセンターに閉じ込めて、科学研究とかをさせるだけなら問題ないんじゃないですか？みたいな質問もあると思うんですけど、どう思いますか？
林央
これについては、理解不能な設計を出された瞬間に安全か危険かがわからないという話がありますね。
有路翔太
なるほど。
林央
例えばイメージとして、1500年の人が外に座ってチェックしようとしてるとするじゃないですか。
有路翔太
はい。
林央
そこで、マシンガンの設計図が出されたとするじゃないですか。
有路翔太
はい。
林央
すると何が起きるかが全然わからないですよ。
有路翔太
まあ確かにそうですね。
林央
けど、それを判定できないですよね。安全か危険なのか。
有路翔太
そうですね。はい。
林央
つまりわからないということになっちゃいますよね。
有路翔太
はい。
林央
そして本当にわかってないので、嘘の説明をしても多分気づかないですよね。
有路翔太
まあそうですね。
林央
そうすると普通に嘘の説明をして、それを作ってもらって、それで人類を滅ぼすということになってしまうと思いますね。
有路翔太
なるほどなるほど。じゃあ科学研究だけを得ようとしても、その科学研究のアウトプットそのものが、安全だと思わせて実は危険な可能性がすごいあって、それによって基本的に閉じ込められてたとしても脱出しちゃうか、もしくは人類が滅亡してしまうと。
林央
ということですね。とか、どちらにも使える技術を出すとかもできますよね。
有路翔太
どちらにもっていうのは。
林央
つまり普通の技術ってよく言われる通り、諸刃の剣みたいな。安全なことしかできない技術と危険なことしかできない技術というのはほとんどなくて、大抵両方できるじゃないですか。
有路翔太
そうですね。はい。
林央
なので、多分提案される技術も両方に使えると思うんですよ。
有路翔太
なるほど。
林央
で、両方に出してもらって、基本的にその使い方をものすごい誤誘導しておけば、つまりミスリーディングな説明書をつけておけば、誰かが操作をミスることで、AIが脱出できちゃうような機構を多分組めちゃいますよね。
有路翔太
なるほど。
林央
そういう感じですね。
有路翔太
で、これで大体やったか。次、LLMが独立した他のツールと繋がったら危険ですか？例えばGPT5.6SOLがパランティアのメインに接続するとか、他社のデータベースを掌握するとか。
林央
これはもう否応なく危険ですね。
有路翔太
なるほど。
林央
実際にはインターネットにつながっているシステム、インターネットにつながっている超知能だったら、仮にこういうシステムにつながっていなくても、自分でハッキングしてつながると思うんですけど、だからといってつなげるべきではないと思います。
有路翔太
まあそうですよね。はい。
林央
できるならつなげない方がいいだろうという感じですね。イメージとしては、ビニールテントに住んでる人がいるとするじゃないですか。
有路翔太
はい。
林央
そして強盗はマシンガンを持ってくると。
有路翔太
はい。
林央
でもだからといって、いきなりテントのドアを開き放って寝るべきではないですよね。
有路翔太
ああ、はいはい。
林央
そういう感じですね。仮にテントのドアを閉めていたとしても、マシンガンを持ってるので、テントを八の字にすることで、テントの中に入れますよね。
有路翔太
うん、そうですね。
林央
どうせ入れちゃうけど、だからといってテントのドアを開けて寝ようとはならないという感じです。
有路翔太
なるほど。
林央
それにウクライナとかだと、もう戦争の死者のほとんどはドローンによるものになってるわけですけど、そういうのもハッキングできますし、通信をうまく偽装したりすることで、これはちょっとよく知ってる人にとってはややこしくなるんですけど、一旦それを置いておいて、通信をごまかすことで核兵器を発射させると。核兵器の発射を担う人に偽の核兵器発射指令を出すとかでできちゃうということですね。
有路翔太
なるほど。はい。核兵器のコミュニケーションツールをハッキングしたりしたら、核兵器のボタンはアナログだったとしても、人間側がそれで騙されちゃうってことですよね、いろいろと。
林央
ですね。
有路翔太
うーん。大体これで一通り行ったかな。もう一個大きなのは、AIにAIを監視させていけばいいんじゃないかっていう話があると思うんですけど。それについてはどう思いますか？
林央
これは、なぜうまくいかないかを一言で言うと、囚人の監視を囚人にしてもらおうという刑務所は頭がおかしいということですね。
有路翔太
ああ、なるほどなるほど。
林央
その刑務所で看守が足りなくて、囚人たちはみんな看守よりはるかに筋力が強くて、頭もいいから、看守だと到底囚人を監視できないから、代わりに囚人に囚人を監視してもらおうっていう刑務所は、その監視が成り立ってないじゃないですか。
有路翔太
まあそうですね。はい。
林央
そういう感じですね。AIは全て人間を気にしていないので、簡単に共謀しちゃうということですね。
有路翔太
次は、そもそも人類が人間よりずっと賢くて、人類を滅ぼすかもしれないものを作ることは可能なのでしょうか。
林央
これは、人間よりずっと賢くて、人類を滅ぼすかもしれないものは作れると思っていて。理由は、人間は人間と同じぐらいの賢さなものが作れますよね。
有路翔太
はい。
林央
さらに、もう少し賢いものも多分作れますよね。
有路翔太
はい。
林央
なので、人間よりもうちょっと賢いけど、人間の百倍速で動く百万体のAIというのは作れますよね。
有路翔太
はい。
林央
そうすると、その百万体の人間よりちょっと賢いAIも、そのちょっと賢いAIよりちょっと賢いAIを作れますよね。
有路翔太
まあそうですね、はい。
林央
これを繰り返していくことで、どんどん賢いAIが作れるようになるということですね。
有路翔太
なるほど。「それもAIを監視するAIがミスらないんだったらもちろん危険性が上がりませんか？」
林央
そうですね。その監視をさせるということは、逆に言うと、人間は少し監視を緩めて気が緩んでしまうのもあり、しかも監視をさせるためには少し権限を与えなきゃいけないので危険だと思いますね。
有路翔太
うん。なるほど。どうしてそんなに賢いのに、確かに環境を破壊するけど、彼らにとっては創造主であり、最も知的生命体でもある人類を滅ぼし得るのでしょうか。という質問が。
林央
創造主であるというのももはや成り立たないというのが一つありますね。これをイメージする上で、多分直感的に近いのは親だと思うんですよ。
有路翔太
うん。
林央
人間は親を気にするわけですけど。
有路翔太
はい。
林央
でもAIの目線で、将来の超知能の目線で考えると、将来の超知能って誰が作ったかといったら、その一個前のAIですよね。
有路翔太
まあそうですね、はい。
林央
で、その一個前のAIを作ったのは誰かって言ったら、その一個前のAIじゃないですか。
有路翔太
はい。
林央
これが何百万回も起きていて、その後にようやく人間が出てくるわけですよね。
有路翔太
はい。
林央
その後にようやく超知能が出てくるわけです。さかのぼって、数百万回さかのぼって、もしかしたら何億回かもしれないですけど、さかのぼってようやく人間が出てくるわけですよね。
有路翔太
はい。
林央
そうするとだいぶ怪しくないですか？っていう話です。
有路翔太
なるほど。
林央
人間をずっと遡っていくと、猿と同じ祖先を持つわけじゃないですか。
有路翔太
まあそうですね。
林央
けど、そこから分岐していった子孫の猿はそんなには気にしてないですよね。
有路翔太
うん。
林央
そういう感じですね。
有路翔太
なるほど。つまり我々がマンモスとかネアンデルタール人とか滅ぼしてますけど、彼らって相当近いですよね、DNA的には。
林央
ですね。
有路翔太
なんだけど、滅ぼしちゃってるので、人間からAIから見たら人間ってそもそも何の遺伝子的つながりもないし、相当離れてるというか。なので、割とそういうアナロジーで考えると、創造主への共感みたいなのもないんじゃないかって感じですよね。
林央
ですね。どこまで遡るかって、人間は自分と似ていて、自分が気にしてる親を考えてしまいますけど、物理的に考えたらバクテリアでもいいわけですよ。
有路翔太
うん。
林央
地球の歴史をずっと遡っていけば、最初に生まれた生命はバクテリアで、もっと遡っていけばビッグバンなわけなので、なんで人類はビッグバンを崇拝してないんだという感じになりますよね。
有路翔太
まあ確かに。そうですね。
林央
人間が親を気にしている理由は、おそらく進化のためで、子供が親を全く気にしてないと、その親子関係とかがうまく成り立たないので。
有路翔太
うん。
林央
親と子とうまく関係を築けなくて、生存しにくいですよね。
有路翔太
はいはい。
林央
なので親子だったら子のことを気にしている方がうまく生き残れたのでそうなったんだと思うんですけど。
有路翔太
はい。
林央
別にAIにはそういうのは働かないので、さっき言った通り脚本家なので。人間を大事にするような脚本をいっぱい書かせても、人間を気にしてくれないということなので、創造主であることは特に助けにはならないと思っています。
有路翔太
ですね。あまりにも異質なエイリアンみたいなものなので、AIっていうのは。常識が通用しないって思った方がいいんじゃないかっていうところはありますよね。人間的な感性というか、感情的な常識が全くもって通用しないだろうということがよく言われてますね。
有路翔太
全然進化とは全く別のプロセスで、ゼロから学習して、シリコンの上で生み出される新たな知的生命体みたいなところがあるので。
林央
ですね。
有路翔太
どんな価値観を持ってるかさえわからないシステムだっていうイメージがいいかもしれない。
林央
そうですね。
有路翔太
人類への執着を生むような情動を実装させることができないんですか？
林央
これは技術的にものすごい難しいと思います。というのが一つ。そして、仮に人類への執着を生むような情動を持っていたとしても、それがいい方向に働くとは限らないですよね。
有路翔太
うん。
林央
人間はその他人に執着を持つことがありますけど、その執着を持たれた他人にとって、その執着を持った人が世界を支配して、その執着に従ってその人を好きにしたら幸せになるわけではないじゃないですか。
有路翔太
はい。
林央
例えばストーカーとかっていうのもいます。そのストーカーなる人々もこの世にいますけど、その人たちに執着を持ってるわけですけど、確かに殺しはしないかもしれないですが、だからといってその人間が幸せに暮らせないんですよ。
有路翔太
うん。
林央
なので良くないというのが。つまり生きているけど、全然幸せじゃないことになりそうだというのが一つと、実は技術的に執着を生ませることはかなり難しい。人間に執着を持っている脚本を書かせる練習はいっぱいできますけど、実際に人間に執着を生むようなことはできない。人間がその他人に情動を持つ仕組みもよくわかっていないので、それを実装することも今のところはできないという感じです。
林央
ただ、これを研究している、これはちょっと専門的なので早口になりますけど、これを研究しているのもあって、ヒューマンアラインメントっていう分野で呼ばれていたりします。人間のミラー細胞とかによる情動による社会性とかを研究して、それをAIに実装しようという試みはあったりします。
有路翔太
はい。飛行機と鳥みたいなものかもしれませんよね。無関係ではない関係。でも全然違う。
林央
これはいい例えですね。ユヴァル・ノア・ハラリでしたっけ？
有路翔太
あ、はいはい。
林央
サピエンス全史で有名な人がいますけど、その人もこの例えを使ってましたね。
有路翔太
なるほど。
林央
その人は確か、多くの人はAIが人間に今もできることがなんでまだできないんだと。頭が悪いんじゃないかという指摘をよくするんですけど。
有路翔太
うん。
林央
人間と同じ仕組みで動かないといけないじゃないか、人間と同じ仕組みが一番いいから、人間と同じ仕組みで動くべきなんじゃないかと言うけど、それを言うのは、飛行機はいつ羽ばたけるようになるのかと言ってるのと同じようなものだ、ということで言ってました。そういう感じに近いと思いますね。目的を達成するとか、訓練でいい点を得るという観点からすると、人間は他者との関係の中で進化という訓練を経て、他者を気にするようになりましたけど、AIは、これが鳥だとしたら、飛行機みたいにもっと全然違う仕組みで動くかもしれないよということですね。
有路翔太
うん。
林央
けど、そもそもそれ以前にちょっといろいろしくりすぎていて無理だろうという感じですね。
有路翔太
なるほど。はい。
林央
なぜものすごいよくしくっているのかは、次のAGIルインというところの解説で多分すごいよく取り扱うと思います。
有路翔太
はい。共謀してるかどうかを監視するのは一世代前とかの、ちょっと性能低いAIでもできないんですかと。
林央
監視はできますね。一世代前のちょっと性能が低いAIでもできますけど、ある性能より高いAIたちはみんな人類のことを気にしてないということになると、しばらくすると、共謀してるか監視するAIと、共謀してるか監視されてるAIとの間で、ものすごい知能差があることになってしまいます。
有路翔太
はい。
林央
イメージとしては、1300年代の人たちが、二千年代の天才たちが会話するのを見守って共謀してるかを確かめようとしてるわけですけど、2000年代の技術を持ってすれば、ソフトウェアのプログラムにうまい暗号みたいなのを仕込んでおくことで、メッセージをやりとりするみたいなことができるじゃないですか。
有路翔太
はい。
林央
そういうような感じで、普通のAI、一世代前のAIにはわからないような方法でコミュニケーションすることで共謀するということになると思います。
有路翔太
なるほど。これで大体終わりましたかね。
林央
網羅しましたか。ではせっかくなので、我こそは安全な目標が思いついているという方がいれば、ぜひチャレンジしていただいてもという感じですが、どうでしょう。
有路翔太
人間に、こういう目標を埋め込めばうまくいくんじゃないかっていう。そういう目標を言ってくれれば、その穴を突きますよって話ですよね。
林央
そういうことです。我こそはという方は当然。
有路翔太
目的遂行を阻むルーズさを設計できないんでしょうか。
林央
これは、ルーズさを設計するというのはなかなか難しいというのが一つあります。目的を達成しなさい、ただしルーズでありなさいというのは結構難しい訓練になりますと。そしてさらに難しいのは、安全なルーズさというのがかなり難しいということ。例えば、非常にもし仮にうまくいって、ルーズなAIを作れたとしても、そのプログラマーのようなルーズさだったら、自分で何もしないで、自分の代わりにルーズじゃないAIを作ることでルーズに目標を達成すると。
有路翔太
うん。
林央
いうようになってしまったら、そのルーズなAIが作ったルーズじゃない超知能が人類を滅ぼしてしまうので。ダメだという感じですね。
有路翔太
なるほど、なるほど。それプラス、そもそもルーズさっていうのを埋め込むことができないっていうか、埋め込む方法がわからないってことですね。任意の設計とか機能を、目標を埋め込む方法がなんかわかってないっていう、すごい根本的な問題がある感じですね。
林央
そうですね。ここら辺はどうなんでしょう。せっかくなのでAGIルイン編で詳しく説明するのがいいのかなと少しずつ思っています。
有路翔太
なるほど、わかりました。
林央
で、ちなみに先ほどここにリンクを載せた、『超知能AIをつくれば人類は絶滅する』という本がありますが、その20ページにQRコードが載っていて、オンライン補足資料っていう、要するにQ&Aですね、本のQ&Aが載っていて、それが本当に充実していて、いろんな質問への回答、例えば今のルーズさの話とか、いろんなものが載っていたので。ぜひ買ってみて、読んでみて、オンライン補足資料も読まれてみてください。
林央
オンライン補足資料すごい長いので、僕のおすすめはオンライン補足資料のリンクをAIに渡して、質問をするというのがおすすめですね。
有路翔太
すごい質問がちょっとずつ来てますね、また。[笑い]次のアメリカ大統領がAI否定派だったらどうなりますか？
林央
次のアメリカ大統領がAI否定派だったら勝ちですね。
有路翔太
うん、勝ち。
林央
それを目指してますね。
有路翔太
[笑い]
林央
次のアメリカ大統領がAI否定派だったら、AIを規制してくれると思うので、そうなることを祈っているという感じでしょうか。
有路翔太
はい。次は完全に何がどうなってるか意味理解をしてるAIを一から作るしかないのかな。AIの構造を利用してAIみたいなものを新たに作るとか。
林央
ですね。僕は三つほど道があると思っていて、一つはさっきの方がおっしゃられたように、完全に何がどうなってるかを理解できるようなAIを作るというのが一つ。次に、今のニューラルネットワークと言われる非常に意味がわからないAIを、何を考えているのかを全部わかるようにするための研究をものすごい勢いで推し進めて完成させると。つまり、AI自体はわかりやすくなってないけど、それを理解する人間の能力が大幅に伸びるようにするというのが一つ。
林央
もう一個、これが僕の推しなんですけど、間ですね。理論的にどんなものを作ったら安全なのかがわかっていれば、多少の雑さがあっても実際の世界でなんとかなるだろうということです。イメージしてほしいのは、今のロケットの例えを使いますけど、今のロケットの難しさというのは、そもそもロケットの向きを全然制御できないことに加えて、物理学の理解が全然進んでいないので、火星にロケットを送ろうと思っても、思いつく方法が火星が見える方向に向かってロケットを打ち上げるしかないというような状態にあって、これだとどう頑張ってもロケットは火星に行かないんですけど。
林央
だからといって、完全にピンポイントで零点零一度もずれずに動くロケットっていうのはいらなくて。なんでかって言ったら、こういう軌道を飛んでいったら火星に大体着けるということがわかっているので、ある程度向きが制御できたら修正しながら進んでいけると。それで火星に着けると。そういう感じでAIを作るというのが多分一番現実的だと思っています。
有路翔太
なるほど。はい、ありがとうございます。じゃあ僕が適当に、こういう目標を持たせれば安全なんじゃないかってのを言うと、人間が、これは違うと思わないような方法で幸福にしてくださいっていう目標をAIに達成してもらえばいいんじゃないでしょうかっていう。
林央
それは多分実装に全ての困難が押し付けられているような気がしているんですけども。人間が思う意味で違う幸福だと思わないものを幸福じゃないよというふうにしてやろうとすると、この目標はものすごい複雑になりますよね。
有路翔太
うん。はい。
林央
なので、それをプログラムで書くことも到底できないし、それを埋め込むことも到底できないという感じになると思います。バイオさんが今言ったのをロケットの例で例えると、火星に行く向きにロケットを向けたら火星に行くんじゃないかという感じになりますかね。
有路翔太
[笑い]なるほど。
林央
問題は、その火星がどこにあるかがわからなくて、そこにどうやったら行けるかわからないので、火星に行く向きにロケットを向けたら火星に行けるというのは、全ての困難をなかったことにしていることになってしまうだろうという感じですね。
有路翔太
なるほど。はい。
林央
もしもそれぞれの人間が幸福だと感じることにすると、その瞬間に、人間の脳をハッキング、いじって、変なことをして人間が満足だということにしてしまいますね。
有路翔太
なるほど。だから人間がこうではないって言わないようにハッキングするってことも考えられますよね。
林央
ですね。それか思わないように脳をハッキングしてしまうとか。
有路翔太
なるほど。人間に役立つ知見を発見するを目標ってどうでしょう。
林央
人間に役立てられる知見を発見するだと、人間が実際に役立てなくていいので、人間に役立つであろう知見を作るために人間を滅ぼして、人間に役立つ知見をいっぱい見つけてくれると思いますね。
有路翔太
人間がいなくてもいいってこと？
林央
そうですね。人間に役立つ知見なので。
有路翔太
なるほど。そこで滅ぼしちゃう理由は、人間がいると人間に役立つ知見を発見するのに邪魔だからってことですか。
林央
ですね。人間が使っている、例えば学校とか病院とかを全部破壊して、家も破壊して、全部研究室にするのが一番効率よく知見を発見できるので。
有路翔太
なるほど。ロケットの例えはわかりやすいけど、地雷原の踏破に似て、軌道の外れ方によっては致命的なのが伝わりづらい気もする。
林央
ああ、そうですね。その軌道のロケットも基本的にはあんまり自由度がないという、30度とかずれてきてしまったロケットはもう戻せないので、僕はそういうイメージでしたね。例えで論理的な正確性がちょっと微妙なので、あれなんですけど、僕はコリジブルAIという、いわゆる先ほど言った修正可能なAIを作る方向を支持しているということでした。要するに、人間がシャットダウンしようとか、その目標を修正しようとしても抵抗しないAIというのを作ろうということでした。
林央
これ、もともといいAIを作ろう、できるだけ人間の価値観に従おうとするAIを作って、ある程度うまくいっていれば、人間のシャットダウンに抵抗するのが人間が望まないことだというのはわかるはずなので、それによってシャットダウンにあまり抵抗しないようになると。なるんですけど。それだけだと何かが間違えた時にダメなので、それとは別に、仮に全然違う目標を持っていても、シャットダウンに抵抗しないとか、目標の変更に抵抗しないようなAIを作ろうという感じでした。
有路翔太
なるほど。はい。そうですね。
林央
ではせっかくなのでCerebras（チップメーカーの名前）を見せておきますか？
有路翔太
ああ、はい。
林央
AI監視の人間、AIがAIを監視するんじゃなくて、頑張って人間がAIを監視すればいいんじゃないかというのに対して。全然うまくいかないよと。超知能のイメージとして、どんなのをイメージすべきかというと、こんなのをイメージすべきだよというのを、この右に置きました。見えますか？バイオさん。
有路翔太
えー、ちょっと待ってくださいね。あ、これMeetInstantってやつですか。
林央
あ、ですね。
有路翔太
はい。
林央
実際にAIというのは、将来の超知能というのはこれぐらい、もっと多分これの何倍も早く動くと思うんですけど、これぐらいのスピードをイメージしてくださいというのを一個流します。こういう感じですね。こういうスピードで、人間より断然賢いAIが百万体ぐらいいて、人間には全然わからない難しい内容を出すという感じなので、少し悪意があれば、いろんなのを組み合わせて脱走するというのができてしまうと思います。
有路翔太
なるほど。しかもこれ質的に賢いってのが加わりますもんね。さらに人間よりも。
林央
なのでイメージとしては、小学生の時の自分が大学教授と話すようなイメージだと分かりやすいかもしれないです。
有路翔太
で、しかも大学教授はこのスピードで考えてると。
林央
そうですね。大学教授はこのスピードで論文を書いているということですね。
有路翔太
うん。
林央
さすがにそれはやばいということですね。
有路翔太
まあこういったイメージが伝わる映像を使った方が、議論するよりも分かりやすいかもしれないですね。
林央
そう思いますね。こんなもんですかね。質問がなければ。
有路翔太
まあそうですね。
林央
インナーアラインメントの話をしようと思ったんですけど、インナーアラインメントの話ってちょっと難しいので。多分AGI Ruinに回した方がいいかなと思ってます。
有路翔太
なるほど。まあ基本的には人間の価値観をAIにインストールするのがすごい難しいよってのが丸一番であって、これがAIアラインメントが難しい理由ですね。丸二番は、そういうAIは本当にすごいいろんな資源とかエネルギーを得たりするために、あと自分自身を保存するっていうことですね。
有路翔太
そうすれば目標を達成することができやすい。丸三番にコントロールするとか、AIをそれでも監視できるんじゃないかとか、そういう話も、そもそもAIをそもそも味方にできないとか、さっき言った百倍速の大学教授の思考を監視することができないとか、そういった問題で、それも難しいってことで、1+2+3で。人類の滅亡の可能性が結構高いんじゃないかってことがドゥーマーの基礎ですね。
林央
ですね。
有路翔太
もう一個なんかコメント。
林央
いやいやいや、これで。あ、コメントが本当だ。
有路翔太
スケーリングし続ければアラインメントどうにかなるんじゃないかってのは楽観的すぎますか？という質問が。
林央
これは、まさにこれですね。もうまさにそのタイトルの記事をこの前書いたばかりなので、ぜひお読みください。「アラインメントはスケーリングでなんとかなるのか」というタイトルの記事です。
有路翔太
なるほど。
林央
ちょっと長いのであれなんですけど、っていう感じですかね。これが多分最も基礎編ってなるとこういう感じだと思います。
有路翔太
うん。
林央
次回、ユドコフスキーってか、方が。ハギングフェイス事件後も無邪気に加速加速という人たちにはどうすれば伝わると思いますか？ハギングフェイス事件のヤバさを認識してない方には、根気よく説明していけばいいんじゃないかと思いますが、たまに人類が滅んでもいいから加速しよう、人類が滅ぶ確率が90%とかでもいいから加速しようという方も結構いらっしゃるので、その場合はそこを議論してもしょうがないなと思っていますね。
有路翔太
なんかそういう人って本当に滅ぶと思ってないって感じはしてますね。
林央
そうですね。
有路翔太
言うて滅びないでしょって思ってるから加速しようって思ってると思うんで、大体の人は。なので、ノリで言ってる人もたくさんいると思うので、そこら辺は。
林央
そうですね、本当の本当にこう感覚的に、ああ、これは死ぬんだってなったら、止まりたいと思うような気もしますね。例えば人類が90パーセント滅亡するって聞いても、もう人類なんて滅亡してもしょうがないじゃないかとパッと答える方は結構いらっしゃるんですけど、例えば明日がんの宣告を受けて、余命が5年ですとかって言われたらかなりビビると思うんですよ。余命ってその余命までに60パーセントとか死ぬっていう話なので、その観点で言えば、僕の見積もりだと人類の余命はだいたい5年なんです。
有路翔太
まあ確かに。
林央
なので、そのイメージとしては、あなた自身と、あなたの家族全員と知り合い全員、そして人類全員が突然がんの余命宣告を受けたという感じのはずなので、それと本当は同じだけビビらないといけないんですけど、うまく皆さんビビってないなという感覚はありますね。
有路翔太
あと、僕個人としては、加速加速言ってる人はそんなに多くないと思うので、その人たちを別に説得しなくても大丈夫じゃないかっていう。
林央
というのは僕も思ってますね。今そのコミュニティで、こういう議論にも関心を払ってくれてる方というのは、元々AGIとかみたいなコンセプトに詳しい人たちで、そういう人たちは元から加速主義の方も多いので、その加速主義に見えるだけで、世間の方のほとんどは、90%死ぬけど10%は3億年生きれるからやってみましょうって言われたら絶対に嫌だって言うと思います。
有路翔太
まあそうですね。あとシンプルにAI失業とか、AIが今まで通りの日常を壊すっていう感覚に嫌悪感を覚える人の方が多いと思うので、AIが人類を滅亡するってことに反対するっていうよりは、AIがどんどん進化すると今の自分の生活が壊れるっていう目線で反対する。
有路翔太
で、結果規制につながるっていう可能性も結構高いと思うので。
林央
ですね。
有路翔太
結構加速主義の人は相当マイノリティだと思うので、そこまで問題にならない可能性が結構あるって感じですかね。
林央
ですね。僕も思います。これをコピーできるか。ちょっと待ってください。多分次回のAGI Ruinっていう配信で、そもそもAIってどう考えてるのかもわかんないっていう話をするんですけど、これ画像になってる。じゃあちょっと無理そうなのでいいです。
有路翔太
はい。じゃあ。
林央
ということで、こんな感じですかね。
有路翔太
そうですね。また質問とかしたい人は、セーフシンギュラリティさんですね。アキラさんTwitterやってるので、そこにリプライとかDMとかしてくれれば多分答えてくれると思います。
林央
そうですね、僕をXでメンションして質問してくれるか、質問募集っていう投稿をしたことがあるので、そこに返信してくださるか、YouTubeのコメント欄に書いていただいたりでも次回取り扱うような気がしますね。
有路翔太
はい。
林央
次回は、AGI Ruinという、この分野の神というか、この議論を全部何もなしで思いついたという化け物みたいな人がいて、その人が、どうしてこのままだと人類が滅ぶのかを徹底的に、絶望的な口調で記した文章があるので、それを解説配信していこうと思いますね。これがdoom基礎編だとしたら、中から上級というところの話ですね。
有路翔太
そうですね。
林央
をしていこうと思っています。それを見ると、多分バイオショックさんの、僕の議論が少しわかるようになると思いますね。
有路翔太
はい。
林央
ただ、多分これだけでも心配してくだされば十分なので、それ以降の次回のAGI Ruin以降は興味のある方とか、将来的にアラインメント解くのに参加したい方という感じになると思います。あ、そういえば忘れていましたが、今からアラインメントを学ぶにはどうしたらいいかという質問を先ほどいただいたと思うんですけど、僕にDMか何かしてくれれば、いろいろ案内しますので、ちょっと個別にという感じでお願いします。
林央
いろいろ状況も変わってますので。
有路翔太
はい。ということで。
林央
はい。であとぜひチャンネル、これからも多分いろんな動画を出していくと思うので、チャンネル登録よろしくお願いします。
有路翔太
あ、そうですね、チャンネル登録といいね、お願いいたします。
出典・編集
出典：AGI Hub note「【Doom基礎編】akira&bioshok解説配信書き起こし（LLM用）」（2026年9月9日公開）。
編集：井上実咲（原書き起こし）。