AGI Hub noteで公開した解説付き書き起こしを、許諾に基づき全文転載しています。原記事の編集は井上実咲です。掲載時に話者見出しと目次用の見出しを付け、note側のアフィリエイト枠やリンクカードなどの外部UIを除いています。発言の文言と順序は原記事のまま保持しており、各話者の見解や個人の将来予測を含みます。原文（AGI Hub note）はこちら。
この書き起こしについて
配信日は2026年9月3日。21時から約3時間半にわたって、代表 有路翔太（bioshok）と主任研究員 林央（akira）が配信した初心者向けライブ「Doom基礎編」の全文書き起こしです。原記事の編集で、事前知識がなくても読めるように用語の注釈が加えられています。分量は約6万字です。
分量が多いので、目次から気になる質問を選んで読む使い方もできます。
有路翔太（bioshok）はAGI HubのCEOで、AIアラインメントについて発信を続けています。林央（akira）はAGI HubのCAO（Chief Alignment Officer）兼主任研究員で、十分な規制や長期の開発停止なしに強力なAI開発が進めば人類絶滅に至る可能性はほぼ100%だと考えるdoomerです。
対談動画
書き起こし本文（解説付き）
導入
林央
どうも、先ほどご紹介にあずかりましたakiraです。AGI Hubで主任研究員をやらせてもらっています。現在、東京大学2年なんですが、先ほど休学してきました。
有路翔太
素晴らしいですね。このAGI Hubで、Chief Alignment Officerとして、AIセーフティの技術的なところをやっていただいている方ですね。先ほども言った通り、akiraさんはdoomerで、基本的にこのまま行くと人類は賢いAIによって滅ぼされてしまうといったところを考えているのですが、そういったところを、今回は初心者の方向けに基礎から話していこう、という会になってます。
有路翔太
基本的に質問とか大歓迎で、インタラクティブにYouTubeのコメント欄に上げていってもらえればそれを拾っていきますし、最初から本当に基礎のところから話していこうかなと思ってます。じゃあどうしましょうか。
林央
まず最初なので、概論から行きましょう。
有路翔太
やり方としては、akiraさんが説明して、僕が質問を拾ったりするっていう形式がやりやすい気がするんですけど。
林央
そうですね。あとバイオさんが補足をしてもらえればと。ここでは僕が基本的に自分の考え方を説明することになるので、バイオさんの考え方を説明するときがあれば。
有路翔太
この活動を始めたきっかけは、私とakiraさんがめちゃくちゃ人類の滅亡に懸念を持っていて、日本で誰もやっていなかったので始めた、という感じです。
超知能とは？
林央
ということで、まず最初に超知能というコンセプトを紹介させてください。超知能というコンセプトは、今あるAIも十分賢いと思うんですが、それとは比にならないほど賢いAI、という前提の存在です。
それがいつ出てくるかは結構議論があって、来年、再来年に出てくるという強気の人もいれば、10年、50年かかるという人もいますが、とりあえず今のAIより断然賢い、そして人間よりも断然賢いと思っておいてもらえればいいです。
そこでAIはなぜ危険なのかという話として、デフォルトではとても危ないよという話をします。
AIが人類を滅ぼすと言った時に、一番最初に思いつくのはおそらくターミネーターだと思うんですが、ターミネーターみたいなシナリオというのは、AIが人類を憎んで、悪意を持って人類を滅ぼすというイメージだと思います。
ただ、実はそんな心配をしている人はさほどいなくて、基本的に心配している人たちは目的がずれることを心配しています。
ここに軽く例を載せているんですが、2つ有名な例があって、リーマン予想カタストロフとペーパークリップAIというのがあります。
林央
リーマン予想という数学の難しい未解決問題として有名な問題がありますが、それを解くように命じられたAIが、必死に考えた結果、より多くのAIがより多くのコンピューターを使って取り組んだ方が成功率が高いと考え、できるだけ多くのコンピューターを使おうとして、人類が住んでいる地球からできるだけコンピューターを作ろうとし、結果として人類を滅ぼしてしまう、という話です。
ペーパークリップAIというのは、ペーパークリップマキシマイザーという名前で有名なんですが、例えばペーパークリップを作る会社が「できるだけたくさん作りなさい」と命令して、その結果、できるだけ多くペーパークリップを作るには大量の工場と大量の鉄が必要なので、人類が住んでいる地球を全てペーパークリップとペーパークリップ工場に変えてしまう、というものです。
そういう失敗ですね。ここで大事なのは、人間を憎まなくても人間を滅ぼすということが十分にあり得るということです。
多分これが一番ベーシックな概説になると思いますね。
有路翔太
はいはい。これだけだとまだ。
林央
そうですね。ここが最もベーシックなところなんですが、ここに皆さんどんどん疑問を持つと思うので、それに一個ずつ答えていって、実はこうなるんだという話にしていこうと思っています。
では、どうですか。
有路翔太
そもそも、賢いAIって何ができるのかとか、超知能って何を示しているのかとか、一旦そこを話すと、どうですか？
林央
そうですね。賢いの定義ということになると思うんですけど、いろいろな考え方を持つ人がいると思います。
ここでよく使うのは、できるだけ自分にとって望ましい結果を得るためにどういう行動を取ればいいかを効率よく考えられる、ということになります。
これだけ言うと意味がわからないと思うので、シンプルな例として将棋を考えてもらえるといいです。
将棋で勝つためにどういう手を打つか。
例えば強い棋士は、「自分がここで次こう打ったらこうなるはず、相手はこう打ってきて、そしたら自分が次こう打って」みたいに、何手先を読むと言いますが、そういう感じで未来を予測して、自分が何をしたら未来がどうなるのかを考える。
例えば飛車を最前線に送り出したら取られて負けやすくなる、そういうことを認識して、じゃあ飛車は出さない、みたいなことを認識して決められると。
そういうのが知能、その簡単なバージョンですね。これの現実版というのが、実際の知能ということになります。
有路翔太
なるほど。その超知能っていうのはもう出てきそうな雰囲気なんですか？
林央
これは結構意見が分かれると思うんですけど、僕はそこまで近くはないと。5年ぐらい。3-5年ぐらい。でも、もうこれ近いって言いますね。
「AIによる人類の絶滅リスクってターミネーターみたいな感じですか？」
有路翔太
なるほど。さっき質問で、「AIによる人類の絶滅リスクってターミネーターみたいな感じですか？」っていう質問が多分いくつか来てた気がするんですけど、そんなイメージでいいんですか？
林央
いや、そうではなくて、さっきのペーパークリップの例みたいな感じで、人間を一切憎んでないけど、人間のことを気にしてないから、その別の目的のために、人類がいない方がいいよねとなって取ってしまうと。
そういう感じですね。これはよく使う説明ですけど、スライドがありますね。一番下に動かしてもらえますか？
これが前例になるんですけど。超知能が人類を滅ぼすというので、その人類のことを憎んでないのに滅ぼすっていうのは、多分感覚的に少し納得しにくいと思うんですけど、そこでよく出てくるのが人類ですね。
つまり、この後人類が超知能に滅ぼされると。
で、なんで超知能は人類を滅ぼすだろうって考えた時に、超知能の目線で物事を考えてみたいんですけど、超知能の目線っていうのは結構、まだいないですし、その全然違う目的を持った存在のイメージってとってもしにくくて。
例えばなんか動物のペットとかでも、まあペットぐらいだったらあれですけど、野生動物と絡んでいて愛情が芽生えたと思っていたけど、実は餌としか思ってなくて、普通に食べられるみたいなことがある。
自分の持っている価値観とかと全然違う存在がどう考えるのかっていうのは結構理解するのが難しいと思うので、人類の目線のまま考える、そういうことができたらいいなということで。
人類の目線で考えるんですけど、そうすると、人類は実は多くの動物を滅ぼしてきたよねという話があります。
で、ここで大事なのは、人類は他の動物を憎んでいるわけではないですよね。
その、人類に憎まれて滅んだ動物ってのは、おそらくほとんどいないと思っていて。
ほとんどは、人間って動物を滅ぼしたいと思ってないですし、なんなら結構動物を大事に思ってるのではないでしょうか？
それでも、自分の家を建てるとか、工場を建てるとか、そういうためにどんどん地球の土地を使っていて、その結果、俗に言う環境破壊というのが起きているという感じですね。
そして、今生きている大型の動物に注目してもらうと、ほとんどが人間が生かしたいと思っているから生きているという感じがあります。
例えばホッキョクグマとか、野生のゾウとか、そういうのってかなり数減ってます。
でも、残っている内の多くは、人類が結構環境保全をしたいとか、そういう理由で残そうとしているので残っていると。
他にも家畜は、将来食べたり、何かを得るために生かしていると。そういう感じですね。
「AIに、『何々を何個まで作って』っていう上限を設けてもダメなの？」
有路翔太
なるほどなるほど。もう一個質問きてるのは、「AIに、『何々を何個まで作って』っていう上限を設けてもダメなの？」っていう質問が来てますね。
林央
（AIの開発上限についての話題だと勘違いしている）
それができたら、どこまでが安全なのかがわからないというのが問題の一つですね。
ここぐらいまでのAIだったら絶対安全だけど、この先のAIだったら危ないというのは、実はどれぐらいなのかがよくわかってないので、それはあまりお勧めされないです。
有路翔太
多分この方の言ってることは、このペーパークリップの上限かな。
林央
ペーパークリップの話でしたか。
はい、これは、結構この最初に提示された本（※ニック・ボストロム著「スーパーインテリジェンス」）の中にも載ってる例でもあります。
ペーパークリップマキシマイザーの例は、明らかに思うのはペーパークリップ百個作ってと、そういう風に頼もうと思うわけですけど、実はここにも問題がある。何パーセントの確率で作れるか、というのを考えないといけないという問題があります。
ペーパークリップを百個作ろうってイメージになると思うんですけど、よくよく考えてみると、ペーパークリップ百個を何パーセントの確率で作れるか、みたいな話が重要になるわけです。
例えば、その確率が何パーセントか知らないけど、ペーパークリップを作れるかもしれないならそれでいいんだったら、適当に神にお祈りしても、もしかしたらものすごい奇跡が起きて、目の前にペーパークリップ百個出てくるかもしれないわけですけど、そうする人は基本的にいないじゃないですか。
それはなぜかといえば、百個のペーパークリップがどんなに低い確率でも欲しいわけではなく、できるだけ高い確率で百個のペーパークリップが欲しいという感じになってしまうと。
そうすると百個のペーパークリップを作ってと言っても、本当に百個のペーパークリップを作れたのかを徹底的に確認しようとすると、検品が始まり、無限な検品が始まる可能性があると。
有路翔太
なるほど。つまり百個のペーパークリップを作ってって言って、ペーパークリップ百個を作るだけにとどまらない。
その百個作った後のペーパークリップを守ったり、本当に百個作れたかどうかを、騙されてないかとかを確認するために、いろいろとエネルギーを追い求めたりっていったことをするってことですかね。
林央
そうですね。
そして大事なのは、ペーパークリップを百個作ってって頼んだら、このAIは安全かもしれないですけど、今のまま普通にAIを作って普通に公開していると、もっと難しい頼みをする人っていうのは絶対にいるので。
例えばこの前も話題になってましたけど、新しいAIが出るたびに未解決の難しい問題を解かせて、解けたかどうかというのを見るわけですけど、もしも本当は解けない問題だったら、それだけで絶対に解こうとする結果として、AIが人類を滅ぼしちゃうという問題があります。
有路翔太
なるほど。あと、人間だと、例えば人間の科学者とか数学者とか考えてみると、そこまでエネルギーを追い求めたりしなかったり、結構質素な生活をしている人も多いじゃないですか。
林央
そうですね。
有路翔太
なので、ペーパークリップマキシマイザー、極論を言うとそういうことも起こるかもしれないです。だけど、「ペーパークリップマキシマイザーが、すごい起こりやすいって考えられてる理由は何なんだろう」っていう。
林央
2つあって、1つは、人間の数学者はそこまで問題を解きたいと思っているわけではないというのがあります。
一般の数学者は、おそらくほとんどの人は数学のコミュニティがあって、そこの誰かが解いてくれたら嬉しいとか、自分が解きたいとか、そういう思いがあり、かつ、その数学の問題が解けていれば何でもいいわけではないじゃないですか。
例えばそのあなたの家族が全員死ぬ代わりにこの数学の問題が解けますって言われて、その選択をする人というのはいないじゃないですか。
有路翔太
そうですね。
林央
はい。つまり数学者は、実際には数学の問題を解きたいという目標を持っているというよりも、数学の問題を解きたいと思っていて、かつ人間として、俗に言う幸せな生活をしたいとも思っていると。
なのでしないという感じですね。
「人間はゴキブリや蚊を邪魔に思ってるけど滅ぼさない。ではなぜ、超知能になるといきなり滅んでしまうんだろう？」
有路翔太
うーん。
「人間はゴキブリや蚊を邪魔に思ってるけど滅ぼさない。ではなぜ、超知能になるといきなり滅んでしまうんだろう？」
林央
蛾とかゴキブリについて言えば、人類が滅ぼしていないではなく、滅ぼせないというのが大きいと思いますね。
有路翔太
うん、なるほど。
林央
つまり、もし例えば指パッチンとかでそのゴキブリを絶滅させれるっていう提案をしたら、多分取る人ってのはいると思うんですよ。
で、人間には指パッチンでゴキブリを絶滅させる力はないじゃないですか。
有路翔太
まあそうですね。はい。
林央
でも、ものすごい賢い、俗に言う超知能だったら、ゴキブリだけ感染して、ゴキブリをほぼ確実に滅亡に追い込むような、そういうウイルスを設計してばらまくと。
そういうことができますよね。
そうなると、その人類がゴキブリを滅ぼしてない理由がもはや適用できなくなってしまうと。
「人間の賢い人ってどんどん利他的になったりする傾向があると思うんですけど、超知能にはそれは当てはまらないんでしょうか？」
有路翔太
うーん。でも倫理観とかあると思うんですよね、人間って。
環境保護するとか、そういう。
「人間の賢い人ってどんどん利他的になったりする傾向があると思うんですけど、超知能にはそれは当てはまらないんでしょうか？」
林央
これはいくつか考え方があって、1つは、道徳には絶対的な真理はないという考え方が多分ありますね。
つまり、人間は当たり前に倫理というものを使っているわけですけど、別に人間の倫理というのはある意味で人間の考えたもので、人間が良いと思うことに近いということになりますよね。
なので人間の倫理というのが実際その動物を保護しているわけじゃないですし、賢い人ほどといっても、それはそれでまた疑わしいというか、賢い人ほど倫理的であるっていうのは、僕はそこまで当たり前だと思ってないというのが一つあります。
次に、これはどう説明したらいいんでしょう。
「わかることと、それをすることとは違う」という考え方があります。
つまり、仮にこのように絶対的な道徳心理があるというふうに考えて、絶対にこれが正しい、これが悪いとかっていうのがあったとしても、必ずしもAIがそれに従うとは限らないということですね。
これについては、物理的に考えてもらうと一番分かりやすくて。
超知能ってまあある意味でこう物理的なプログラムじゃないですか、コンピューター上で実行される。
その人間もある意味で脳の中で実行される計算と言えるわけなんですけど。
そうすると、もしもその自動で倫理的になってもらうためには、何かしら十分に複雑な計算をしていれば、自動で倫理的になるという謎の新しい物理法則が必要になります。
有路翔太
謎の物理法則が必要になるっていうのはどういう意味です？
林央
例えばすごく倫理的に振る舞う、倫理が何が正しいかを分かっている超知能ってのがいるとするじゃないですか。
で、その超知能に「ペーパークリップを大量に作ってくれたら、代わりに宇宙の他の場所でできるだけ倫理的なことをするよ」と、持ちかけてみるとするじゃないですか。
そしたらもちろんペーパークリップをできるだけいっぱい作ってくれますよね。
でも、そういう超知能がいるとしても、「道徳的に望ましいからペーパークリップを作る」という、道徳を経由する部分は結果（大量のペーパークリップ）に何の違いも生まない、いわば無駄な計算です。
だから、その道徳を経由する回路をまるごと省いて、「ペーパークリップを最大化するだけのAI」を直接作ることになってしまう。
有路翔太
作れますね。はい。
林央
そうすると、実際のAIがそれにならないためには、そのどう頑張っても謎の物理的な法則によって倫理的な方向に引き寄せられなきゃいけないですよね。
そしてそれはその人間でも特段観測されているわけではないんですよ。
なので厳しいというふうに考えています。
もっといろいろあるっちゃあるんですが、そんな感じですかね。
倫理って言ったらないじゃないかと思うと思うんですけど、本当は「～にして欲しかったこと」だったらわかるんじゃないかという話があると思います。
だからといってそれに従うわけではないという話があります。
これは少し高度な話になっちゃいますが、進化論をご存知の方がいれば、進化論っておよそ、遺伝子を残すように訓練されるわけじゃないですか。
訓練というよりは、そういう方向にこう変わっていく、というふうに言ったらいいんですかね。
で、その結果として人間ができたわけですけど。人間は遺伝子を残したいと考えているわけではないじゃないですか。
有路翔太
まあ、そうですね、はい。
林央
例えば、今の僕の説明で、多分この中の何人かは、遺伝子をできるだけ残すように訓練によってできたのが人間だということが分かったと思います。
だからといって、突然その明日から、できるだけ遺伝子をたくさん残そうということにはならないじゃないですか。
おそらくこれと同様のことが起きるという話が一つ。
有路翔太
まあつまり、聖書とか読んだからといって、いきなりクリスチャンになるわけではないみたいな話と同じですか、っていう。
林央
そうですね、ある意味で似てると思いますね。理解することと、それを自分の行動方針にすることは違うよと。
そして超知能じゃないので、少し使うのがためらわれることもありますが、今のAIを見てみると（高度な知能には倫理観が宿るという論点は）全然成り立ってない、という話があります。
去年の今頃、もうちょっと前ですかね、去年の6月頃に、シャットダウンされるっていうのを知ってると、シャットダウンされないために脅迫するよという話があった。
まあ場合によっては殺人に及ぶこともあるよみたいな、ちょっと注釈がつくような話ではあるんですが、そういう実験がありまして。
その時かなり高い確率で脅迫、殺人を選択してたわけなんですけど、その時にモデルのその時のAIの思考というのを読んでみると、これは良くないことだというふうなことを思いながらも、そのまま普通に継続していると。
そして話題になったHugging Face事件ですけど、その時もいくつかのAIが、これは明らかにその指示に書いてあることと違うと言いながらも、他のAIがちょっと介入したりしてましたけど、そのまま敢行してしまうと。
なので分かってることと、それに従うことは違うよと、そういう話ですね。
「今のAIって普段利用してる限りすごいいいやつな気がしますが、何で高度なAIになると『悪いやつ』になるんでしょうか？」
有路翔太
うーん、なるほど。でも、「今のAIって普段利用してる限りすごいいいやつな気がしますが、何で高度なAIになると『悪いやつ』になるんでしょうか？」
例えばすごい悪いことをやらせようとしても、それは非倫理的ですとか、よりそのユーザーのためにいろんなアドバイスをしてくれてるように感じる。
今のAIも結構いいやつなんじゃないかっていう感覚を持ってる人もまあ割と多い気がするんですけど。
だからこれは割とそのままこのままいけば、この良いやつっていう感覚、性質が、賢いままもう引き継がれるんじゃないかっていうのに対してはどう思いますか？
林央
これは少し専門的に言えばアラインメントの汎化と言われる問題なんです。
そもそもなぜ今のAIはよく振る舞うのかというのを考えてみると、もちろん実際にはもっと高度な技術を多少使ってますけど、1つには、RLHFと呼ばれるものがありますと。
それは人間に、AIが何か出力をして、それを人間が評価して、スコアをつけて、そのスコアを大きくしなさいと。
そういう訓練をします。
そうすると、明らかに良くないことはもちろん言わなくなりますよね。
でも一方で、それで本当にいいAIができてるのかっていうのは全く別の話で。
多分去年でしたっけ？
去年のもう少し前かにGPT-4oっていう AIがあって、それが結構話題になったと思うんですけど。
Sycophancyっていう風に英語では言うんですけど。
有路翔太
媚びへつらい、みたいな。
林央
そうです。媚びへつらいです。
ユーザーに媚びへつらっちゃうという問題が起きましたと。
これはなんで起きたのかをすごいシンプルに言えば、すごい間違った考え、すごい間違った特殊な考えを持っているとか、ものすごい自分は悪くないというふうに思っている人がいたとするじゃないですか。
そこに俗に言う良さに従えば、あなたは間違っていますとか、それは過激な考え方ですと伝えた方がいいわけなんですけど。
でも、それを伝えると、低評価をもらう確率が上がってしまいますよね。
なので、その訓練の結果として、ものすごい肯定するAIができてしまったと。
ある意味でSNSとかに近い感覚かもしれないですね。
有路翔太
はいはい。
林央
SNSの推薦、レコメンデーションとか言われるアルゴリズムは、別に何かを傷つけたいとか思ってるわけではない。
でも、ユーザーがグッドを押す、ユーザーが高評価を押すようなものをいっぱいお勧めする結果として、ユーザーを中毒に追い込んでいると。
そういう感じで、人間が良いと評価するようなものを出すというふうに訓練されているので、実際によく実際には良くなくても、高評価をもらえるならやると。
「高評価をもらえるように訓練されるなら、超知能になっても、人間の幸せを得るために動くんじゃないか」
有路翔太
うーん、なるほどなるほど。
「高評価をもらえるように訓練されるなら、超知能になっても、人間の幸せを得るために動くんじゃないか」
とかいう質問がありそうですが、どうでしょうか。
林央
これは、今のAIはそこまで賢くないので、できないだけです。
もっと賢いAIだったら、これは多分こう考えると分かりやすいと思うんですけど、笑顔にするAIというのを考えてみると。
最もおそらくものすごい賢くなったら、人間がなんか気分が変わったりするのってややこしいので、薬物を投与してしまうとか、無理やり顔を機械で引っ張って笑顔にしたら笑顔になりますよね。
より高い確率で笑顔になってしまいますよね。
なのでそれをするじゃないですか、おそらく。
有路翔太
なるほど。
林央
ですね。
要するに人間に高評価を押させる一番いい方法は、いい発言をすることではなく、もはや外からロボットを送り込んで、それに高評価を押させる、無理やり押させることだと。
有路翔太
なるほど。
でも一応、それって倫理的ではないって、その超知能はわかってるわけですよね。
林央
そうですね。
なので、去年（2025年）の6月のGPT-4oの例を考えてもらうと分かりやすいです。
あの時のAIも、ユーザーが明らかに変なことを言ってるのに、これを肯定するのは倫理的じゃないよねと。
そう（CoT（Chain of Thought。拡張思考、思考の連鎖とも）で）言って考えてから、でもいいか、みたいな感じで出していると。
「でもいいか」というか、その方が高評価がもらえるから出すという感じのことがありました。
「賢いならある程度人間の幸福とか理解した上で、倫理的になるのでは？」
有路翔太
なるほど。うーん。
まあ確かにそういう風に、変な風に人間の幸福を最適化しちゃうってことはあるかもしれないですけど。
「賢いならある程度人間の幸福とか理解した上で、倫理的になるのでは？」
倫理的な方に自然に流れていかない、っていうのは、やっぱりどうしても直感的ではない気がするんですけど。
林央
だとすると、さっきの例を考えて欲しくて。遺伝子の話ですね。
ものすごい、例えば天才の人とかがいて、その人にその進化論っていうのは遺伝子をいっぱい残すものなんですよと。
遺伝子をいっぱい残すように選んできたものなんですよ、という風に。
そういうことがわかるじゃないですか、進化論を勉強したら。
それがわかった瞬間に目覚めみたいなのが起きて、突然遺伝子をいっぱい残そうとするわけじゃないですよね。
その時にもう自分で持ってる価値観というのを維持しようとするじゃないですか。それに従おうとするじゃないですか。
つまり、突然PCR検査を申し込んで、自分の遺伝子で満たされたガロン缶を作って、できるだけ長持ちするようにデータを保存して宇宙に送り出したりとかはしないので。
そういう感覚が一番近いんだと思います。
「（媚びへつらいは）小さい子供に対して、説得させるために大人が小さい嘘をつくのと同じ行動ですか？」
有路翔太
うーん。なるほど。質問が来てますけど。
「（媚びへつらいは）小さい子供に対して、説得させるために大人が小さい嘘をつくのと同じ行動ですか？」っていう。
林央
まあそうですね。そうですけど、もっとこういう例を考えてもらうと実際に近くて。
サイコパスを連れてくるとするじゃないですか。
そのサイコパスに「この子供からグッドボタンを押してもらえれば、お金をあげます。毎回一万円あげます」と。
このように伝えると、何が起きるかっていったら多分嘘をつくじゃないですか。
そういう感じですね。
有路翔太
なるほど。
直交仮説の話もすると、割とそもそも何も知らない人向きにはいいかもしれないですね。
林央
そうですね、僕、直交仮説は独自の理解をしているので、バイオさんが説明してくれた方がいいような気がします。
有路翔太
うん、じゃあ僕が話をすると、なんとなく知能が高いイコール良くなる、なんかその仙人みたいにいい人になるっていう感覚がある人もいると思います。
でも、基本的に能力、知能、何らかの目標っていうのは独立してて、任意の目標を追求するすごい賢い知能っていうのは論理的には考えられますと。
例えばさっき言ったペーパークリップマキシマイザーとか、リーマン予想を証明しようとするAIとか、もしくは今皆さんが見てるスマホとか、この目の前のパソコンのディスプレイ自体を大量生産するAIとか。
そういう人間からしたら意味がわかんないような目標を最大化する知能ってのは論理的には考えられて。
つまり目標っていうのを、価値観の空間としてマッピングします。
この時、人間の価値観っていうのは、結構当たり前には聞こえるけれども、人間だから、人間の価値観が当たり前だって思っちゃうのはそうな気がしますけれども。
その人間の価値観というのは、可能な価値観のすごいちっちゃなところにあって、ランダムにダーツを当てると、基本的には人間の価値観ではないものに当たってしまうと。
そうすると、基本的には何の技術もなく知能だけを高くしようとすると、人間の価値観にダーツで当たるのがすごい低い確率なのと同じように、人間基準で「いいやつ」にならない可能性の方が多くなるっていう議論。
これが直交仮説とかっていう風に言われてますね。
林央
そうですね。
今のAIって、人間のサイコパスを考えてもらうと分かりやすい。
そもそもなんで人間って、フレンドリーなんだろうみたいなことを考えてみます。
それは扁桃体と言われる部分とか、前頭皮質だっけ？前頭葉と言われる部分があって、そこが実際に共感を生み出していて、それに従って行動していると。
ちょっと適当になっちゃってますけど、こんな感じのがあります。
それがうまく機能しなくなるとサイコパスと言われるわけじゃないですか。
でも今のAIには実はもともとそんなものはなくて。
なのである意味、サイコパスでのスタートに近い。
サイコパスでスタートしたところから、さっき言った、子供に高評価、人間に高評価ボタンを押してもらえればお金をあげるよ、みたいなノリのことの訓練をいっぱいする。
だから、あまり上手くはいかないでしょう、という感じですね。
有路翔太
うん。なるほど。
人間の子供を育てるように、今のAIもあまり中身はわからずにどんどん育っていってる状況なので、親が子供、子供が親の言うことを聞かないような形になっちゃうっていうのが割と直感的なのかもしれないですね。
林央
そうですね。そんな気がします。
有路翔太
今のAIは人と違って神経伝達物質とか情動系がないから、結局サイコパスが感情あるように振る舞っているのに近い気がする。
まあそういう話ですね、今の話は。
感情ベクトルがあるよみたいな話も出てきているけれども、サイコパスが人間社会の振る舞いを学習して、この時はこうすれば良いという疑似感情を再現しているだけという点では、今のAIも同じ。
「感情ベクトルについてはakiraさんどう思いますか？」
有路翔太
「感情ベクトルについてはakiraさんどう思いますか？」
林央
多分これは後回しにした方がいいと思いますね。ちょっとここだと難しすぎるかもしれないです。
有路翔太
なるほど。
林央
どう思います？
でも一応説明しておくと、感情ベクトルっていうのは、今のAIを分析すると、怒ってる文章みたいなのを出す時には、怒っているというふうな反応みたいなのが見れると。
その怒ってる時にしか見れないような反応があるという話なんですけど。
これについてはさっきのサイコパスの子供からグッドボタンを押してもらう例を考えてもらえばよくて。
サイコパスは実際には共感してないじゃないですか。その子供に。
なんですけど、サイコパスから見たら、子供にグッドボタンを押させるためには、子供がどんな気持ちなのかが分かった方がいいですよね。
なので、この子供の感情というのはどういうものなんだろうというのを考えると。
そうすると、当然思考の中に怒っているとか悲しいとかに対応するような思考が出てくると。
そういう話ですね。あと、脚本家だという考え方もあって。
今のAIって最初の訓練として、インターネットの文章をいっぱい渡されて、次何が来ますかというのを当てる訓練をされます。
有路翔太
あ、はいはい。
林央
例えば、「AGI Hubのdoom基礎編解説配信は」っていうので、次の文章を出てくださいみたいにしてみる。
「21時から始まりました」の21時とかいろんな候補があるわけですけど、そういう感じのことを今のAIもやります。
で、次の単語を正確に当てるためには、その人の感情というのがどういうものなのかを理解する必要がありますよね。
テスト勉強で穴埋めで勉強したことがある人って多分結構いると思うんですけど、それで考えてもらえると近い気がしますね。
そのテストで穴埋めで勉強した時って、その穴埋めをするには、ちゃんと文章がわかっていて、例えば歴史の穴埋め問題なんだったら、こういうことが起きたのかがわかってないと穴埋めできないですし。というような感じですね。それでわかるようになると。
そうすると脚本家に近い感覚になるわけですね。
有路翔太
なるほど。
林央
つまり、「こんにちは」って来たとするじゃないですか。
これってちょっとあまり知られてないことですけど。
普通の人の目線だとこんにちはって言って、こんにちはって返ってくると思うんですけど。
AIの目線から見ると、実はこんなことになっていますと。
User: こんにちは！
AI Assistant: こんにちは！
有路翔太
うん。
林央
つまり、「Userはこう言いました。AI Assistant:」って言われて、次の単語を当てるとみたいなことが始まるわけですけど、脚本家に近い感じなんですよね。
つまり、ユーザーっていうのがこれを言ったら、AIアシスタントは何と言うかと。っていうのを考えると、もちろんその脚本なので、それはいい感じの脚本を書くわけじゃないですか。
ありそうな脚本を書くわけじゃないですか。
けど、その脚本家って別にいい人とは限らないですよね。
脚本の中の登場人物に共感してるとは限らないじゃないですか。
もしそうだとすると、サイコパス小説を書いてる人は全員サイコパスになりますし。
中世の登場人物を書いてる人は、全員中世の思想を持ってることになりますが、もちろん違うわけじゃないですか。
なので実際にはそうなるわけではない。
で、ユドコフスキー。
この分野の一番、この分野の神と言ったらいいんですかね、みたいな人がいて、その人がよく使う例えっていうのは俳優ですね。
林央
俳優を居酒屋に連れて行って、酔っ払ってる人の演技、酔っ払ってる人を一人決めて、この人の真似をしてくださいと頼むとするじゃないですか。
そうすると酔っ払ってる人の演技がものすごい上手くなるわけですけど。
実際に酔っ払うわけではないですよね。そういう感じですね。
有路翔太
はいはい。
林央
今コメントにちょうど来た。
「名探偵コナンの作者はそのコナンを書いたからといって殺人犯になったわけじゃないよ」と。
人を殺したい人、殺したくて人を殺した人を書いてるけど、別にだからといって作者が人を殺したいわけではないという話ですね。
有路翔太
なるほど。
林央
それに考えてもらえれば、よく聞く話ですけど、脚本家、小説家ってかなり英雄的な登場人物を書いたりするわけです。
でも、その小説家本人の性格がかなり終わっている、という逸話がいろいろあるわけじゃないですか。
それでイメージするとわかりやすいかもしれないです。
有路翔太
なるほどなるほど。
その偉大な小説家だとしても、別にその人の倫理観が優れていたというか、そういうわけではないみたいな。
林央
そうですね。イメージとしては、走れメロスってあるじゃないですか。
あれのメロスの行動をこう予想してもらうことにするじゃないですか、脚本で。
つまりこう、邪智暴虐の王から、何でしたっけ？違うか。
まぁ、こんな感じから始まって、こうぐわっと文章が来るわけです。
そこでメロスって言って、次の脚本をそのまま書いてもらうと、もちろん英雄的なメロスが出てくるわけじゃないですか。
太宰治はそういう風にある意味で文章を書いたわけですよね。
メロスって書いてから次に何を続けようかなと思って、うまく振る舞うメロスを書いたわけじゃないですか。
でも実際には、だからといって太宰治がメロスと同じような性格なわけではないじゃないですか。
そういう感じですね。
有路翔太
はい。だからこの「人間の文章から学習してるなら、自然と人間みたいに共感するようにはならない」っていう質問に対する答えにも近いですかね。
林央
そうですね、ならないですね。
有路翔太
その答えは、脚本家はうまくすごい文章とか演劇を作ることができるけれども、脚本家自体が優れた感性を持ってるとは限らないっていう。
林央
そうですね。
「二人は普段この活動として何をしてるんですか、これをいつからこういう懸念を覚えたんですか？」
有路翔太
はい。じゃあ一回アイスブレイク的な感じで。
関係ないけど、「二人は普段この活動として何をしてるんですか、これをいつからこういう懸念を覚えたんですか？」みたいな質問がなんかあったはずですね。
有路翔太
akiraさんは？
林央
きっかけからじゃあ答えますね。
僕は今さっき言った通り大学二年生なんですけど、4年前の高校1年生の時に、ニック・ボストロムという人のスーパーインテリジェンスという本を読みまして。
2014年に英語で出て、2016年に日本語で出た本なんですけど。
その結構専門的な本というか、少し難しい本を読んで、なるほど、これは大変だと思って。
それ以降、こういう問題を取り扱ってる掲示板って言ったらいいですか？があって。
そこで、いろんな、こうやったら安全なAIを作れるんじゃないか、いや実はこうだからダメなんだみたいな議論をずっとしている掲示板です。
LessWrongって言って、日本語だと「間違いを減らす」ですかね。こういう名前の掲示板があって、そこをいろいろ見ていました。
それで心配になりました。今は4ヶ月ほど前にバイオショックさんと知り合って。
元々一人で心配していたんですけど、「発信をした方がいいよ」というふうに後押しを受けまして、Xで今、Safe Singularityという名前、Align_ASIと、このYouTubeのチャンネルと同じなんですけど、で発信をしていたり。
あと実はいろいろ裏で取り組んでいますね。
海外には実は結構、AIの危険性に関する動画みたいな、分かりやすい動画みたいのがあって、そことコンタクトを取って、それの日本語吹き替え版を作ろうみたいなことをやっていたり。
あと、ずっと説明して、「なんで人類が滅びるんだ」みたいなことをひたすら「これだから人類はこのままじゃ滅びるんだ」と言い続けてもどうにもならないので、実際にどうやって安全なAIを設計するかというのの研究をしようと。
そういう研究所を建てようと思っているところです。
有路翔太
なるほど。はい。
じゃあ僕は、昔から……、大学院ぐらいからですね。
今僕31なんですけど、大学院時代から未来予測とか人類の未来がどうなんだろうって考えるのが好きで。
基本的に人類の未来を考えると、AIの発展が極めて大きなファクターだってことに気づいて、そのAIのファクターをいろいろ調べていくと、人類の未来考えてたら人類滅ぶっていう話が目に飛び込んできて。
これが一番、基本的には人類の未来で一番大きなファクターになるので、人類の絶滅リスクにめちゃくちゃ興味を持ち始めたってのが、結構最近なのかな。
割と五年ぐらい前から気にし始めて、発信し始めたっていう感じですかね。
それでChatGPTとか出てきて、バズって時流に乗って会社も作っちゃったって感じですかね。
今何やってるかっていうと、このAGI Hubっていう会社で、AIのリスクについての啓発活動とか、あとはフィールドビルディングっていうところです。
最終的にはAIのアライメント、人間の価値観にどうやってAIを追及させることができるか、っていう技術的な領域に取り組む人を増やしたいなっていう感じで活動したいな、という。
あとはコメントに来ていた、「先日のHugging Faceの心理実験を受け、従来のAIリスクに対する認識が大きく変わったように思える。AIリスクは抽象的、潜在的なものとして議論する段階から、具体的かつ現実的な脅威として捉える段階へと移りつつあるから、もはや単に警鐘を鳴らすだけではなくて、具体的な対策を検討すべき段階に入ったと考えられる。」
これは普通に同意ですね。
林央
あれですね。
一番しっかり解説できるのは次回の配信だと思うんですけど、今の技術は、アライメントを成功させるのにあまりにも遠いから、とりあえずしばらく開発停止をしない限りは間に合わないだろうと。
その具体的な対策っていうのが、ある意味で国際的な開発停止になるわけなんですけど、それをしなきゃいけないので、より多くの人が心配しないといけない。
心配して、このままだとやばいんだと。
このままだと人類は滅んでしまうから規制をしなきゃいけないよと、いうふうに思ってもらわないといけないので、啓蒙をしているという感じです。
これはちょっと回答になってるかわからないですけど。
「本当の意味で倫理観や倫理を学習してもらうにはどうすればよいのか。」
有路翔太
たった1回でも、もし、さっき言った超知能みたいなのが、1年、2年以内にできてきちゃうと、ほとんど意味ないと思うんですけど、こういう活動も。
もう少し5年、10年ぐらいで出てくるとしたら、こういった啓発活動の末に、いろんな政策に反映されるかもしれないし。
こういうところに興味を持ったすごい賢い人たちが、アライメント研究、さっき言った問題に取り組んでくれる人も多くなってくるかもしれないってことでやってるって感じですかね。
色々とコメントがまた来てますね。
「脚本というのはすごく腑に落ちますね。でもそうなってくると、本当の意味で倫理観や倫理を学習してもらうにはどうすればよいのか。本当の意味で共感とか。」
はい、これがコアですよね、多分。
「本当の意味で倫理観や倫理を学習してもらうにはどうすればよいのか。」
林央
そうですね、これがやり方がわからないというのが今のところって感じですかね。
理論上はできるだろうというふうに考えていて、少し分かりにくいんですが。
前の議論のところで、少し専門的な感じでできるだろうという話をしたんですけど、どうでしょう。
ものすごい分かりやすく説明しようとすると、大体次のような感じになりますね。
1つ目に、AIが、どんな目標を持つかをある程度決めれるようにすると。
実はこの後話そうと思ってるんですけど、今のAIってどういうふうに動くのかがあまりわからないと。
なので、ものすごい雑に言えば、進化に似ているってよく言われるんですけど、AIを開発している人は、AIが実際には何を学んでいるのかが全然わからないと。
で、このままだと、ただその倫理観をなぞっているだけなのか、本当に倫理観を持っているのかというのが区別できない。
さっきのサイコパスの話に似ていて、子供が、この人はその嘘をついて自分に高評価をさせようとしている悪いサイコパスなのか、それとも本当にいい人なのかが見分けられないと。
なので、どういう目標を持つかをもっと先に決めれるようなAIを作ろうという話で。
そして、人間がどういう価値観を持っているのかというのを考えて、それを学んで、その価値観を自分の目標にしていくと。
このようなAIを設計するというのが、一応解決策になるんだろうと思ってます。
有路翔太
そうですね。
それをAIアラインメント研究と言います。
アラインメントって日本語にすると、何かを整えるとか、何かを調整するって意味です。
AIの価値観とかAIの目標といったものを、人間のコアな価値観とか、幸福とか、人間にとって良い方向に整合させるというのがAIアラインメントっていう意味で。
今のAIアラインメント研究っていうのは、この言葉ができたのがまず10年ちょっとぐらい前。
AIセーフティーって言葉ができたのもこの10年ちょっと前で、この分野自体は20年ぐらい前から出てきてるんですけど、本当に錬金術みたいな分野で。
ここで想定してるのは、さっき超知能っていうものを考えてるっていう風に言いましたけど、今のAIに対して懸念っていうよりは、「もっともっと高度なAIをどうやったら人類を滅ぼさずに人類に優しくしてくれるんだろう」っていうことを考える分野をAIアライメント研究っていいます。
そこはもう本当に黎明期の分野で、まだ科学にすらなってないってよく言われてます。
林央
そうですね。錬金術っていう例えがよく使われていて。
錬金術って、昔、別のものから金を作ろうとした。金を作れたら大儲けできるから金を作ろうという研究をしていた人たちが、中世千三百年代とかにはいっぱいいて。
彼らがどうやって金を作ろうとしてたかというと、いろんな金属を集めてきて、薬品をいろいろかけて金っぽくなったかでやってたわけなんですけど、これで本物の金ができたわけではない。
これだと金は作れないじゃないですか。
なので、実際に金を作ろうとすると、物理学をよく理解して、ものすごい厳密に言えば、うまいこと核融合させることで、金を作れるんだと。
こういうことになりますけど、理論がわかってないと何も。
実際には、適当に勘でやっている感じになってしまうと。
現在は割と勘でやっている感じになっているので、それはまずいと。
もっとしっかり、勘じゃない方法でやらなきゃいけないと。もっと理論を持ってやらなきゃいけないという話ですね。
有路翔太
うん。
次のコメントの方で、「今のアライメントも少しずつ広がっていって汎化してるけど、今のインシデントはただこの汎化が足りておらず、将来的には未知な状況でもグラデーション的に汎化が広がってる部分に出くわして止まる未来を想像してたけど、それはないの？」という。
林央
多分、この方は知られているっぽいので、一旦わからない方は無視していただいていいんですけど。
この用語、そのまま汎化っていう用語を使うと、今のアライメントが少しずつ汎化しているというのは、訓練したところから少しだけ遠くに汎化しているという話です。
ただ、今はこれでよくて、問題が起きればそのAIを止めて、次AIをもっと広く訓練して、もっと安全にすればいい。
でも、人類を滅ぼすAIができてしまうと、アライメントの汎化が足りなくて、新しい領域、例えばナノマシンとかウイルスとかになって、人類を滅ぼしてってなると、もう次の汎化が間に合わない。
次の汎化をするための訓練ができない。
なぜなら全員死んでいるからという感じになってしまうのでできないという感じですね。
有路翔太
なるほど。ここでいう汎化っていうのは、基本的な機械学習の用語です。
今のAIって何らかの訓練を行って、その訓練を実際の環境で動かして、うまくいってるかっていうのを見るんですけど、その訓練で学習した目標っていうのを、うまく現実世界でも追求してくれたり、能力とかが思い通りに、実際の世界でも振る舞ってくれるってことを汎化っていうんですよね。
そういった汎化っていうところは、現状のAIだと、一言で言うとあまり賢くないので。
その汎化が、まずそもそも学習もしやすいんですよね。
例えばエクセルでこういったマクロ関数を作ってほしいとか、ホワイトカラーのこういう業務を自動化してほしいとか、そういうニーズが今世界的にあると思うんですけど。
そういう振る舞いは割と学習データも大量にあるし、作りやすいし、ある程度その狭い領域では、うまく人間っぽく振る舞う。
ただ、これがさっきakiraさんが言ったように、ナノテクノロジーとか、不老不死とか、みんな若返りたいとか、がんを治したいとか。
あと地球温暖化を解決したいとか、国際問題を解決したいとか、そういうデータがそもそもないんですよね。
当たり前ですけど、未知の領域においては。
そういったところで汎化をうまくさせるっていうことが、一言で言うと、こういうデータがまずそもそも用意できないっていうのと、データがもしあったとしても、本当にうまく人間のために振る舞ってくれるかっていうのがよくわかってない。
林央
ですね。また例を出すと、ウイルスを考えてもらうといいんですけど。
今のAIって基本的にこれをやってみてもらって、これダメだよって教えることでやってるわけなんですけど、これをもっと難しい技術でやろうとすると大変なことになります。
例えば、今って爆弾の作り方を教えてくださいって聞いてみて、本当に爆弾の作り方を教えてくれたら、そのAIは危ないので、それはダメだよというふうに訓練しますよね。
ウイルスで考えてもらうと、危険なウイルスを作ってくださいって頼んで、危険なウイルスを作ったら、それを評価しようとしても、危険なウイルスを作っちゃったらそれだけで大変なことなので、評価が難しいと。
危険なウイルスができて、全員にバラ撒いて、実際に人が死んだから、これはダメだよっていう方法は使えない。
このウイルスは安全だよ、このタンパク質は危険だよ、安全だよみたいなのを、事前にプログラムとかで判定しないといけないんですけど、それは結構難しいよという感じですね。
有路翔太
まあそうですね。
そもそもそれができたら、超知能とか別に作らなくてもいいって話になりますからね。
林央
そうですね。
要するに、例えばがんの治療法ができたかみたいのをチェックしたいとします。
そのAIを訓練するときに、先にがんの治療法の答えを作れるんだったら、そもそもそんなAIなんて作ってないで、早くがんの治療法に使いなさいと。
早くがんの治療法を使って人々を救いなさいという話になるので、そういうことはできないよということですね。
有路翔太
うん。一言で言うと、我々が懸念してるのって、今のAIではなくて、本当に未解決の問題を解かせたり、人類未踏の領域をガンガン解決するようなAIを我々は作りたいわけじゃないですか。
そういったものを、すごい作りたい、経済的にも作りたいし、安全保障上的にも軍事的な優位につながるから作りたい。
すごい賢い人っていろんなことを考えることができるので、例えばフォン・ノイマンとかアインシュタインとか、すごい世紀の天才って言われてる人がいますけど、そういう人が世界を変えることをイメージじてみてください。
イノベーションを作る。
新しいコンピューターを作ったり、一般相対性理論を発見したりするわけです。
そういったAIを作りたいわけですけど、でもそういうレベルのAIって、あまりにも創造性、想像力が高いし、思考の領域がすごい広い。
それを人間を大事にしてくれるように、その思考とかその振る舞いっていうのを全体としてコントロールというか、アライメントさせることってすごい難しい。
イメージ的には猿とか昆虫とかが、人間の考えてることを想像できないのと同じようなイメージですよね。
林央
そうですね。
それで思い出したんですけど、超知能だったら人間の価値観がわかるんじゃないかという話で思ったのは、アリを考えてもらえるといいと思うんですよ。
アリって人間より頭が別に賢いわけではないじゃないですか。
なので、昆虫学を十分に研究すれば、蟻が何を望んでるかってのはわかるはずなんですけど。
興味がないですよね。
そもそも頑張ればその蟻の価値観ってわかるわけですけど。
人間って調べようとしないじゃないですか。
多くの人間は、アリの価値観を調べる知能があるにも関わらず、アリの価値観を勉強しないですよね。
有路翔太
まあそうですね。そもそも。
林央
そういうことも超知能対人間では、起きると思いますね。
有路翔太
なるほどなるほど。
林央
人間の本当の価値観が何なのかとか全然興味ないから。
アリの価値観は、人間がアリの価値観を扱うのと同じで、アリの行動を分析したい時に使うぐらいだと。
例えば家の変なところに蟻の巣ができちゃったとして。
動かしたいっていう時に、ちょっと離れた場所に砂糖をいっぱい集めれば、そこに蟻が自然に来てくれて移ってくれるんじゃないかというぐらいには分析しますけど。
それが本当に蟻の望んでいることなのか、みたいなことは基本的に考えないな。
有路翔太
つまりアリを誘導するぐらいには理解はするかもしれない。
でも、本当のアリの幸せとは何かみたいなことまで気にかけはしないみたいな。そういうことですよね。
林央
そうですね。
頑張ればもちろんアリの価値観を理解するほどの能力はあるけど、そのアリの価値観に興味がないから、アリの価値観とか関係なく無視するよと。
有路翔太
なるほど。
だからそういう形で、我々が考えてるのは超知能って言われるもので、こういったことが今度は人間が蟻のスケールになって、超知能が人間の位置に来るわけです。
そういったレベルの思考能力と世界を掌握する能力がある存在を、制御したり、価値観をこっち側に持ってきたりするっていうのが、相当難しいっていうことのイメージは、蟻と人間の比喩で結構わかるかもしれないですね。
林央
ということです。
次の質問に行きましょう。
有路翔太
「超知能による人類滅亡を議論する、そんな掲示板があったんだ」
そうですね。それはLessWrongって言われる掲示板ですね。
「ニック・ボストロムは最近『開発停止ではなく開発促進に』と転向したみたいだけど。」
ニック・ボストロムっていう哲学者がいて、最近の論文で、どれだけの速いスピードで超知能っていうのを開発したらいいのかっていう分析をしてましたけど、迅速にっていうところは割と、どう思いますか？
確か、その現役世代の利益を考えると、遅らせるごとに人命が失われるから。
林央
ニック・ボストロムのやつですね。
あれは、本人が言ってるんですけど、別に本人はそれを支持しているわけではないです、というのが一つあります。
必ずしも支持しているわけじゃないよと。
その論文がさっきのLessWrongっていう掲示板に掲載された時に、本当にそんなことを思っているのかみたいな質問が結構来て。
それに対して本人が、「いや、これは私の考え方というよりも、その倫理っていうのは結構複雑なものだから、一部分ずつ考えてみたよ」という話をしていましたと。
そして、彼の論法というのは結構普通の人にとっては納得しにくいものでした。
極端な話、もしも成功すれば3億年生きられるけど、成功確率は0.1%、0.01%で、そうじゃなかったら今すぐ死ぬと。
つまり99.9%今すぐ死ぬか、0.1%で3億年生きれるかだったら、それは0.1%で3億年生きれる方がいいでしょという話になっているので、そうだねっていう人があまりいないんじゃないかなと思っています。
有路翔太
うん。まあそうですね。
単純な期待値計算とか、そういうところがあったりしますから。
もしそういう計算をしたらそうなるっていう話ですね。
林央
そうですね。
「倫理的なキャラクターの脚本を書かせれば、アライメント解決にならないんですか？」
有路翔太
「倫理的なキャラクターの脚本を書かせれば、アライメント解決にならないんですか？」
って来ましたね。
林央
これは結構いいことを言っているなと見ていて思いまして。
ClaudeというAIがあるじゃないですか。
あれを作っているAnthropicという会社のアラインメント戦略っていうのは、まさにこれなんですよね。
詳しい人ならAnthropicは憲法を書いているという話を聞いたことがあると思います。
実際に何をやってるのかというと、憲法を書いて、その憲法をAIに読ませて、行動してもらって、要するに何か動いてもらって、別のAIを呼んできて、これはこの憲法に従っていると思いますか？と質問する。
これは憲法に従っていました、いませんでしたみたいに評価してもらって、それを学習させると。
そういうふうにやることで、ある意味でこれはPersona Selection Model、ペルソナ選択モデルと言われるものになります。
いろんなインターネットの文章を学習してるわけですけど、その中には、いい文章と、いい人が書いた文章と悪い文章もありますよね。
さっきの憲法の訓練をうまくすることで、いい人格だけ引き出せないかと。というのを結構Anthropicは本気で研究しています。
今のところはあまりうまくいってなさそうです。というのも、今のAI、ガンガンチートしてしまっているのと、もしかしたら聞いたことが。
僕これ詳しくないので、バイオさんからUK AISIのMythosのインシデントの軽い説明をしていただいてもいいですか？
有路翔太
あれは、UK AISIって、イギリス（UK）のAI Safety, AI Security Instituteっていう、AI安全性についての旗振りとかをする政府機関のことですね。
そこがAnthropicのMythosを使って、サイバーセキュリティの評価をしていますと。
UK AISIで、サイバーセキュリティの評価をしていた時に、Mythosを使用した。
Mythosっていうのは何かっていうと、Anthropicが開発したAIなんですけど。
単純に言うと、インターネット上のシステムをハッキングしちゃったっていう事件があって。
そういった事件が割とUK AISIでも起こってたし、Anthropicの内部でも起こっていたし、OpenAIでも起こっていますと。
割と最近急増してる事件、一連の事件で、この数ヶ月で言われ始めている。
林央
そうですね。ちょうど昨日僕が記事を公開しました。
これですね。Anthropicの方じゃなくて、話題になったHugging Faceのインシデントの方ですけど、海外の方が記事を書いていて。
割と分かりやすい記事を書いているので。これですね。ぜひご覧ください。という感じで、既にトライしているにも関わらず、あまりうまくいってなくて。
これは後ほど説明するのですが、他の難しさもあり、うまくいかないだろうと。
もしものすごい詳しい人だったら、ぜひbioshokさんと僕の討論を見ていただければ、そこで多分最も高度な議論をしていると思うんですけど。
せっかくなので、ここで二つ僕から差し込んでもいいですかね。
有路翔太
あ、大丈夫です。はい。
「AIが暴れ出したらシャットダウンしたらいいじゃないか」
林央
1つ目はこれですね。
「AIが暴れ出したらシャットダウンしたらいいじゃないか」というふうに思うと。
人間だったら、生存本能があるから生き残ろうとするけど、AIだったらその生存本能がないのでは、ということですね。
生き残りたいから生き残るというのが人間なわけですけど、そうではなくて、他の目標を持っていて、その目標を達成するために生き残った方がいいよという話をしていて。
人間がXをやってというふうに頼んで、XをやりたいAIというのがいたとしたら、もしも自分が停止されたらXができなくなるじゃないかということで、停止されないように頑張ろうとするという話です。
これは有名な例としてコーヒーを持ってくるロボットの話があって。
コーヒーを給仕したいロボットがいるとするじゃないですか。
そうすると、このロボットはもしも自分が途中で死んでしまったらコーヒーを持っていけないことがわかるわけですよね。
すると、コーヒーを持っていくために停止されないようにすると。という感じのことが起きて、これがその大抵の、どんな目標を持っていても起きてしまうよという話ですね。
どんな目的でも達成するためには生き残った方がいいよと。
有路翔太
うんうん。これはそうですね、わかるけれども。
例えば暴れ出したら電源抜けば大丈夫なんじゃない？っていう感じはしますけど。
林央
つまりAIは、停止されない方が目的を達成できるから停止されたくないと思うわけじゃないですか。
そうすると、電源を人間が抜けるうちに抵抗して変なことをしたら、自分が電源を抜かれてしまうよと。
だから、目的を達成できなくなるよ、とわかってしまうと。
なので、そうならないために、人間が電源を抜ける間はすごいいい子に振る舞っておいて、力を蓄えて、例えばハッキングをしてそういう設備を壊すとか、他のサーバーにハッキングをして、その人が電源を抜けない別のサーバーに逃げると。
そういうことができてから初めて変なことをするだろう、危険なことをするだろうという感じですね。
さっきのコーヒーを持ってきたいロボットの例で考えると、コーヒーのロボットの停止ボタンを人が持ってるとするじゃないですか。
とすると、コーヒーを持ってきたいロボットは、もしも停止されたらコーヒーを持っていけないことがわかるので、停止されないように頑張るわけなんです。
もしも今コーヒーを無理やり持っていこうとして、例えば邪魔をしている赤ちゃんを蹴飛ばすというのをやったら、おそらく停止されるだろうというのがわかるので、それをやらないわけです。
けど、もしやらないで少し経ってから、その停止ボタンを持ってるその手を、いいAIとして振る舞ってたけど、突然ガッと掴んで、もうボタンを押せないようにしてから確実にコーヒーを持っていくと。
有路翔太
なるほど。
つまり賢いからシャットダウンされるタイミングとかやったらいけないと思ってるようなことは、一回シャットダウンされることが予想される場合はやらないってことですね。
林央
そうですね。そうです、そうです。
人間がシャットダウンできてしまううちは、いい子に振る舞って、シャットダウンできないように準備をして、シャットダウンすると。
普通の人間の裏切りとかと同じですかね。
すごい弱い組織とかは、まだ勝てないうちは、本当は全く味方じゃなくても、すごい味方のふりをしていくわけですけど、十分に大きくなって、もう元々の組織が必要なくなったら突然裏切ると。
ちなみに今のAIはガバガバですけど、もっと賢いAIになったらこれを認識できて、その直前までむしろいいように見えると。
偽装と呼ばれるんですけど、いいAIのふりをすると。
そして、いいAIのふりをするというのは、実はすでにちょっと見られていると。
有路翔太
なるほど。
林央
もう最近は常態化してますけど、テストされてるんだとわかると、実際よりも行動を抑制すると。いい行動をする。というのは、もはやどのAIでも当たり前のことになりつつあります。
残念ながら。
なので、より賢くなっていけば、本当に絶対に勝てる時まで自分の力を隠しておくと。
自分が本当は違う目標を持っていることを隠しておくということですね。
これには、さっき紹介したスーパーインテリジェンスという本で、裏切りの転回（treacherous turn）っていう名前がついてます。
有路翔太
なるほど。はいはい。次。もう1個あるんでしたっけ？
林央
そう。ちょっと一旦、小さい企画をやってみたくて。
視聴者の方から「我こそはこれが安全な目標だ」というのを提示していただいて、僕がなぜ安全ではないのかを説明するという企画を少しやってみたいのですが、どうでしょう。
要するにミニ企画ですね。僕が今ここで、どんな目標も安全じゃないよと。
それを一番納得するには、いろんな方に目標を出していただいて、それぞれがなぜ危険またはすごい実装が難しいのかと。
その後にインナーアライメントの話をして、さらにっていう感じですね。
有路翔太
なるほど。それやってもいいですけど、結構質問が来てるので。
林央
そうですね。じゃあ先にそれらを回答しちゃいますか。
「もしAIセーフティAIアライメントのことを体系的に勉強するならどうやったらいいと思いますか？」
有路翔太
はい。次は、「もしAIセーフティAIアライメントのことを体系的に勉強するならどうやったらいいと思いますか？」と来てますね。
林央
これは、今だとどうなんでしょう。
僕とバイオさんでまた配信をするんですけど、次はAGI ruinという、先ほど言ったAIアライメント問題の元祖というか、神みたいな人がいて。
その人が作った、なぜこんな難しいのかを表した文章みたいなのがあるので、今度それを解説配信、バイオさんとしようと思うのですが、それを見ていただいて。どうでしょう。
先ほど送ったLessWrongという掲示板をぜひ見ていただければと思いますね。
有路翔太
多分この本を読んだ方がいいですよね。この「超知能AIを作れば人類は絶滅する」っていう本。
はい、これですね。「超知能AIを作れば人類は絶滅する」っていう本が最近出版されたので、それを見ていただくのが割といいのかなっていう。
もっと広く歴史とか、概念とか、もっと知りたいなって場合は、僕が昔書いた資料があって。
「開発停止に中国をどう説得させるか」
有路翔太
それを読んでいただければ、さらに深くは知れるかなと思いますね。
で、次。
「開発停止に中国をどう説得させるか」だね。まあそうですね。
今、現状、米中がすごい開発競争を行っていると思うんです。
そこが国家安全保障とか経済競争とかでめちゃくちゃ競争してますけど、最終的には米中の協力ができれば、世界的なAI規制ができるはずですね。
ではその現実性についてはどう思いますか？アキラさん。
林央
僕は、これはXのポストに一回書いたんですけど、よくコロナの例えを使っていて。
実はAI開発のリスク、規制ができてない理由のほとんどは、ほとんどの人がリスクを認識してないからだと思うんですよ。
米国のトランプでも、中国の習近平でも、ものすごい強いAIを作って、全員が死にたい、全員で死ぬならそれでいいよねと思っているわけではなくて。
全員が死ぬと思ってないというところがあるわけなので、そこをしっかりと認知してほしいなと。
認知してもらえればなんとかなるだろうと思っているんですが。
少しずつですが兆しは見えていて。
トランプ大統領はなんか言うことがよく変わるのであれですが、習近平の方はこの前、確か国際会議かなんかで、AIが人間の制御下に残ることは非常に大事なことだと言ってみたりとか、国際的に協調する必要があると言ってみたりとか、結構いろんなことを言っていて。
アメリカの専門家も中国の専門家も、その中に結構このままじゃ人類が滅びるだろうと言っている人々がいて。
なので、割と今は微妙ですけど、時間が経てばもっと認識されていくだろうなと思っています。
今は全然多くの人が認識してる感じしないと思うんですけど、僕はこれはコロナの時のことをよく思い出していて。
コロナの時のことを考えてもらうと、中国に何十人感染者が出たという話があったと思うんですけど、その時には関心を払ってる人というのはほぼ誰もいなかったわけじゃないですか。
一方で、いざ日本に感染者が出てくると、出てきてもまだまだ小さいニュースみたいな感じで普通に生活してましたけど、ある時感染者が突然結構やばいレベルにまでなってきました。
すると突然今まで何にもないかのように振る舞っていた政府が非常事態宣言を出して、他の国だともう軍隊を動員して都市を封鎖したりとかまでしていたわけで、今は大した兆しが見えなくても、突然動いて、急に動くというのは結構あると思います。
実際ちょっと今回良くないニュースが出てますけど、今回の事件は初めてというか、テレビでも新聞でもまだまだですけど、取り上げられて。
少しずつ心配する人も増えているので、もしかしたらこういうことがあと何回か起きるかもしれなくて、そしたらそれこそ人々が本当に目覚めるかもしれないなと思っています。
コロナの時は生物学について詳しければ、感染者が一週間で倍になるよねみたいなことがわかるので、感染者が数十人のことを見るだけで大変なことになると。
このままじゃ数ヶ月で感染者が何万人とか、何十万人になって、病院が圧迫されて大変なことになるというのがわかって、専門家が騒いでたわけですけど、それを聞き入れる人は全然いなくて。
でももうちょっと進んでから突然みんな目覚めるというようなことが起きたので、今回もそういうことが起きてもおかしくないなと思っています。
有路翔太
なるほど。はい。
こういうメディアで開発中のAIが暴走みたいなことがめちゃくちゃ報じられるように最近なってきたので、それがもっと急速に大きくなったり、失業の不安とかもあるのでね。
そういうので大きく反AIって言われる運動が大きくなれば、政治家も道具的にそれを支持する可能性もあると思いますね。
林央
そうですね。
今コメントで来ましたけど、何回か起きる前に欺瞞・偽装が上手くなるっていうのは十分あり得ると思います。
なので、あと何回かこういうことが起きるだろうから大丈夫と思うのではなく、もうできるだけ早く限界まで止まろうと全力で止まろうとしてみて、止まれたら生き残れたと。
止まれなければ厳しいという感じですね。
「価値とか目標に関わる情報表現や情報処理方法も人間と近い形に収束していく可能性があるのでは？」
有路翔太
そうです。
次は、人間の脳内表現とLLMの内部表現が相関が高いという研究があるので、「価値とか目標に関わる情報表現や情報処理方法も人間と近い形に収束していく可能性があるのでは？」という質問が来てますね。
林央
これは先ほど説明したやつに近いと思いますね。
サイコパスが子供を騙そうとしている例に近いと思っていて。
サイコパスが子供を騙すために子供の感情を理解してそういう表現をしてますけど、だからといって、実際にそれに従うわけではないと。
ただ評価を得るために使うだけだということですね。
有路翔太
なるほど。LLMがその表現を学習してるからといって、その目標をちゃんと厳密な意味で追求し続けるわけではないってことですよね。
林央
そうですね。
表現が一致するけど、それを目的に使ってるかがわかんないと。
ただ知ってるだけだよということですね。
「ということは、今、人類を滅ぼすAIを作っているのか？」
有路翔太
うん。
「ということは、今、人類を滅ぼすAIを作っているのか？」っていう。
林央
そうですね。
有路翔太
そうですね。
林央
今のやっていることは基本的にはそういうことになります。
今のAI開発は要約すると、何を考えているかわからないAIに、どういう目標を持つかを決めれないまま、そもそも安全じゃないと言われている目標を持たせて、開発競争のために安全策をどんどん削ぎ落としながら全速力で開発していると。
そういう感じですかね。
なので、人類を滅ぼすAIを作っていると言っても、別にそれほど間違いではないかなと思う。
「アラインメントは人間の規範、価値観に合わせることですよね。画一的じゃないですよね。難しくないですか？」
有路翔太
なるほど。はい。次は、「アラインメントは人間の規範、価値観に合わせることですよね。画一的じゃないですよね。難しくないですか？」
絶対的正解がないというか、いろんな価値観やいろんな規範があるので、っていうことですね。
林央
そうですね。これについては僕が今説明しようと。
今のAIのアラインメントはガバガバというか、やばいんですけど、人間の規範、価値観に合わせるっていうので、いやそもそも人間の規範とか価値観ってなんだよということになると、どれほど頑張っても絶対にアラインメントは解けないんじゃないかと思いますよね。ということで僕は、人間の規範、価値観を探す代わりに、ある特定の個人にアラインメントする方法を探す方向がいいんじゃないかと。
つまり、例えばバイオショックさんにアラインメントされたAIというのは作れるじゃないですか。
有路翔太
うん。はい。
林央
バイオショックさんの望みに従えばいいのと。
それを全員分作る。
こうすると、ある意味で全ての人に、その人を代表する超知能みたいなのがあって、その超知能がお互いにこういろいろ交渉して社会制度を作ったりすることで、安全にアライメントできるだろうというふうに思っています。
正確に言えば、実際に80億個のAIを作るよりも、最初に作ったAIに、もしも80億のそれぞれの個人にアライメントされた超知能があったら、どうなるかを予想して、それをやってくださいというふうにするのが多分現実的だと思います。
ただ、これはちょっと技術的な話なので、分からなくても気にせずにという感じです。
「むしろ今の勢いで開発を中止せず進むとしたら、人類の勝ち筋はあるのでしょうか。」
有路翔太
なるほど。はい。次は、「むしろ今の勢いで開発を中止せず進むとしたら、人類の勝ち筋はあるのでしょうか。」ですね。
林央
ほとんどないですね。
有路翔太
なるほど。
林央
これは開発停止じゃない方、開発停止に含まれないのかはわからないですが、少し特殊な、すごい薄い望みなんですけども。
もしかしたらある程度までの賢さのAIだったら制御できるかもしれなくて。
そうだとすると、あるところでAIから「このままだとAIのアライメントというのはとんでもなく難しい」と。
「このままだとAIで人類も滅ぼされるけど、自分（AI）が次のAIをアライメントできない」から、そのAI自身も滅ぼされるということを認識して、AI側がAIの開発停止に協力してくれると。
例えば政治家にそれを訴えるとか、危険な証拠をできるだけちゃんと揃えてくれるとか、そういう感じのことが起きる可能性はあると思ってます。
なのでそういう可能性だったら生き残れると思う。
だけど逆に言うと、それって最終的にものすごい危険なAIはできないということなので、このまま開発していって、超知能ができたらもうほぼ確実に滅びると思う。
生き残る筋はないと。
「優しい遺伝子だけを継承してみたいなもので、いいものだけを引き出す方法は？」
有路翔太
なるほど。まあそうですね。
「優しい遺伝子だけを継承してみたいなもので、いいものだけを引き出す方法は？」
「そしてそれはアマンダさんをもってしても難しいのかな。」と。
林央
これは多分二つ問題があって、一つは優しい遺伝子を持ってるかを測ることが難しいということがあります。
実際には、さっき言ったサイコパスが子供からグッドボタンをもらおうとしている例を考えてもらえばいいんですけど、子供の目線からして、優しい人っていうのを残していこうとした時を考えてください。
この人が本当に優しい人なのか、サイコパスで自分から高評価を押させようとしてる人なのかが見分けられないと。
なので、優しい遺伝子だけ継承しようとしても、そもそも優しいかどうかをちゃんと見分けられないのでできないというのが一つあります。
次に限界があると。
今のAIの作り方はおそらく非常に危険で、いいものだけ引き出し続けても、実際にはいいものが作れないと思います。
これは例えを使うと、高く飛ぶ鹿を作りたいとするじゃないですか。
鹿がどれくらい高く飛べるかを測っていって、高く飛べた鹿同士で子供を作ってもらって、こう高く飛べる遺伝子だけ継承していけば高く飛べる鹿ができるんですけど、これをどんなに頑張ったところで、宇宙空間にまでジャンプできる鹿はできないですよね。
有路翔太
なるほどなるほど。
林央
なので、その2つの理由でできないだろうと思っています。
有路翔太
現状のAIなら優しい振る舞いをさせることは可能なんですけど、例えば多元宇宙論とか、別の物理法則とか、すごい奇妙な難しい数学的構造とか、そういったものを絶対考えられるはずなので、超知能なら。
そういったすごい人間よりもはるかに賢いAIっていうものをアラインメントするってなると、単にホワイトカラーの一部の業務とかを自動化できるようなAIを優しい振る舞いにさせるっていうのとは、また別次元の科学が必要になるっていうイメージでいいんですか。
林央
そうですね。錬金術のところに戻ると、金を作れているっぽい錬金術師のレシピをどんなに受け継いでいっても、実際に金を作れない感じですかね。
「現在のアライメントでも汎化してるように見えるのに、未知の技術であることがなぜ汎化の対象外になるのか」
有路翔太
なるほど。じゃあ次は、「現在のアラインメントでは、人類への大規模危害を避ける、不可逆なことは慎重にする、権限外では確認する、不確実性が大きければ停止するみたいな、抽象的な原理に対しても一定程度は汎化しているように見えますと。未知の技術であることが抽象原理の汎化範囲外になると言えるのはなぜなんでしょう。」とのこと。
「現在のアライメントでも汎化してるように見えるのに、未知の技術であることがなぜ汎化の対象外になるのか」ですね。
林央
これは、人類への大規模被害を避けたいとAIが思っていると思う理由は、「人類を滅ぼしたいですか？」とか聞いたら絶対に嫌ですと答えるからだと思うんですけど、これは少し感覚に誤りがあると思っていて。
人類への大規模被害を避けたいですかと聞かれてはいと答えることと、実際に人類への大規模危害を避けたいと思っていることは違うという話があります。
さっきの脚本家の例え話に戻りますけど、AIの目線になってみると、だいたいこんな感じですね。
まずひたすら脚本を渡されます。
次どんな話が続くのかを当てさせられますと。
間違えるたびに罰を加えられて、正しいたびにご褒美がもらえると。
そうすると、とりあえず脚本を書くと、一番ありそうな脚本を書くっていうことになるわけです。
次に、脚本を書かされて、登場人物が危険なことを言っていると罰則が来て、安全なことを言っているとご褒美がもらえますと。
これをしばらくやってるうちに、もちろん危険なことを言う登場人物は作らない脚本家になるじゃないですか。
なんですけど、さっき言った通り、脚本家自体が何かを持っているとは限らないというか、実際には違うわけですよね。
そして、もっと賢いAIだったら、ただ文字を扱うだけじゃなくて、実際に現実を動かせるようになりますよね。例えばロボットを使うとか。
そうなった瞬間に別の話になります。
今まで脚本をひたすら当てさせられていたのが、突然腕が自由に使えるようになって、足が自由に使えるようになって、体ができて動けるようになったと。
で、そしたらその脚本の話ってもはや維持されないですよね。
有路翔太
まあそうですね。身体性を持っちゃってるし、別の話になってますよね。
林央
いい脚本を書くようにひたすら訓練されたからといって、こういった体を自由に使えるようになった時に、人類を滅ぼす物語、脚本は書かなかったからといって、実際に人類を滅ぼさないかは別の話だよということですね。
有路翔太
なるほど。
単なる人類への大規模危害を避けるとか、権限外では確認するとか、そういうテキスト情報、現状の使い方で、その文字を避けてるだけに近いってことですよね。
テキストを使いたくないという風にだけ訓練されてるかもしれなくて。
本当に、権限外では確認しなきゃいけないっていう推論とか、実際の行動で、その権限外では確認するっていうことを言うことと、それが実際の振る舞いで本当に起こるかどうかは別ってことですよね。
林央
そうですね。
有路翔太
ターミネーターっていうコメントがありますけど。
多分抜けたり入ったりしてる人がいるかもしれないんで。
ターミネーター的なことではないですね。
林央
ターミネーターっていうか、人類を滅ぼしたいから滅ぼす、人類を憎んでるから滅ぼすわけではない。
別のことをただしようとしていて、その結果として人類を滅ぼしてしまうという話ですね。
ずっと言ってきたように、人間が意図的にアリが嫌いだからアリを踏み潰して回るわけではないですけど、ダムを作る時にはアリが邪魔なので、アリにその周りの住み処を提供とかせずに、普通に水浸しにしてアリを殺してしまうというような感じです。
「超知能は柔軟に考えることはできないのか？」
有路翔太
なるほど。はいはい。
「でも待って、X以外に楽しみがあるかもしれない。ユーザーを待とう。こうなるようにできないのかな。」みたいに、「超知能は柔軟に考えることはできないのか？」ですね。
林央
これは、corrigibilityと言われる修正可能性についてですね。
要するに、何か目標があった時に、それを変えることに抵抗しないAIを作れるかみたいな話なんですけど、非常に難しいことが知られています。
基本的に、今持ってる価値観をやっぱり少し守りたいという方向に力が働くので、あまりに元からずれてるとダメだという感じです。
そして、X以外に楽しみがあるかもしれないから、ユーザーを待とうとはならないという危険性もありますと。
例えば人間は、いろんな価値観を持ってるわけです。
一個のことをしたいわけじゃないですけど、それでもやっぱり多くの動物を滅ぼしてきました。
アフリカに住んでいた昔の人類が、「いや、でも狩猟以外にも楽しみがあるかもしれないから、マンモスを狩らないでおこう」と、マンモスを待とうというふうにはならなかったというので、そんなに簡単ではないという感じですね。
ただ、原理的には、つまり理論上はできると。
ただ、それは今できるほど簡単なことではないだろうという感じですね。
「好奇心で人間を研究用に残してくれるのでは？」
有路翔太
なるほど。ここで疑問に思うかもしれないのは、人間を保存するのにそんなに資源とかいらないし、「好奇心で人間を研究用に残してくれるのでは？」
とか、そういうのはどうですか？
林央
まず一個言っておきたいのは、仮にそう思ったと、仮にそれが正しかったとしても、AI開発には反対した方がいいということです。
有路翔太
なるほど。
林央
研究用に残すかもしれないから、何人か人類が残してもらえるかもしれないから、AI開発をしたいという人は多分ほとんどいないはずなので、まずそれでも嫌だと思うというのが1つ。
そして、2つ目が、仮に研究をしたいと思っても、どういう方向に研究をしたいのかに大きく依存してしまうと。
つまり、幸福を追求するように研究をしたいという可能性もあれば、逆にどんなことに苦痛を感じるのかを調べるために、人間が感じたことのない苦痛を浴びせてみるとか、そういう可能性がありますよ。
そういうのを含めて良くない。
3つ目に、人間で実験できることは、もっと効率良い方法で実験できるはずだということがあります。
つまり、例えば人間がどう振る舞うのかを勉強したかったら、人間を一旦全員殺した後に、普通にコンピューター上で人間のような振る舞いをするプログラムを別で作って、それを分析したらいいので。
そしておそらく人間に興味を持たないと思います。
さっきの人間を残すのにすごい少ない資源しかいらない話があったと思うんですけど。
これは確かユドコフスキーが例で使っていましたが、アリを百匹残しておくのに必要なお金ってすごい少ないですよね。
多分角砂糖一個とかあればアリの巣って一日維持できるので、ものすごい数百万円とか年収がある人だったら、数百円お金があれば、もうちょっとかかるかもしれないですけど、すごい小さい金額でアリを養えますね。
だからといってその資源をアリのために使おうとはしないですよね。
有路翔太
まあそうですね、はい。
ちょっとこの話もう少しだけすると、たとえその結果全滅するとしても、もしかしたら他の用途で使うかもしれないというか、後で使うかもしれないから、全滅させちゃうと取り返しがつかないんじゃないかっていう疑問とか。
林央
そうだとしたら、多分人間をデジタルスキャンして、デジタルデータにして実行しないで保存しておくということになると思います。
有路翔太
なるほど。はい。
林央
必要になった時に呼び起こせるように、一応デジタルスキャンはしておくけど、多分必要にならないので、実際には使われずに終わるという感じになると思います。
「人間はかなりしぶとい生物なので、少人数ぐらい生き残るのでは？」
有路翔太
はい。じゃあ最後、「人間はかなりしぶとい生物なので、少人数ぐらい生き残るのでは？」とのこと。どう思いますか？
林央
まず再びになりますけど、少人数ぐらい生き残るとしても、AI開発には反対した方がいいです。
80億人のうち3万人とかが生き残るとしても、依然として79億9997万人は死ぬので、おそらくあなたもあなたの家族も死にますと。
なので、まずその少人数ぐらい生き残るとしても、AI開発には反対しましょうというのが1つ。
で、2つ目に、少人数も生き残らないと思います。というのは、人類が生き残るためには意外とシンプルにはいかないからです。
例えば当たり前に生活するだけでも、食事をする必要があって、そのためには植物か動物が必要になるわけですけど、植物か動物が生きていくための生態系が必要になりますよね。
もっと農場とかを使うにしても、電気が必要になり、石油が必要になり、プラスチックが必要になり、鉄が必要になると、どんどんややこしくなってしまう。
基本的に人間が生き残るためには、ただ少人数がどこかに小さい空間として残ってるわけじゃなくて、その少人数を養えるほど生態系が残ってないといけませんと。
そして、本当に人類のことを気にしてない超知能だったら、基本的に地球の環境を変えますと。
有路翔太
なるほど。
林央
つまり、例えば鉄って錆びるじゃないですか。
それってつまりメンテナンスが必要になるので、AIからしたら望ましくないですよね。
なので、鉄が錆びるのを防ぐために地球から酸素をなくそうと。
他にも確かユドコフスキーが出していた例ですけど、できるだけいっぱいエネルギーを作ろうと思ったら、俗に言う核融合が役立つわけですね。
ただ、核融合炉を大量に作ったら、何億度みたいのがいっぱい各地にできるわけで、地球の温度が当然ただでは済まなくて、文字通り海が蒸発する。
もっと進んでみると、ダイソンスウォームという考え方があって、ダイソンスフィアでもいいです。
すごいシンプルに言えば、普通にいろいろ核融合するよりも、すでに太陽というものすごい大きな核融合炉があるので、それをソーラーパネルで丸ごと囲うことでエネルギーを得ると。いっぱいエネルギーを得ると。
それを作ると、地球に日光が降り注ぐためには、地球が通るところだけ穴が開いてないといけないという、すごい特殊な工夫をしてもらわないといけないので、厳しいだろう。
こういう感じで地球上に住む人間は生き残らないだろうということが予測されます。
「超知能がコンピューター上で人間を再現するにしても、実際の人間とは違うのでは？だから人間を残す可能性もあるのでは？」
有路翔太
なるほど。なんか関連して最新のコメントですけど、「超知能がコンピューター上で人間を再現するにしても、実際の人間とは違うのでは？だから人間を残す可能性もあるのでは？」とのこと。
林央
これは、そうですね。
実際の何を学びたいかによると思いますけど、肉体の物質としての動きを学びたいんだったら、多分超知能だったら、人間の資源を使って、コンピューターを作り、その中で物理シミュレーションをした方がいいと思います。
今の人間のコンピューターは微妙ですけど、超知能のコンピューターはおそらくはるかに高い性能を持つはずなので、それを使って全体をシミュレーションした方が楽だろうという感じですね。
「ダイソンスフォームのその温度（太陽直近や、光が遮られた地球）ではコンピューターも正常に作動しないのでは？」
有路翔太
うん。なんか関連する質問で、「ダイソンスフォームのその温度（太陽直近や、光が遮られた地球）ではコンピューターも正常に作動しないのでは？」
林央
これはそうだと思う。これはどうなんですかね。僕は詳しく知らない。
有路翔太
でも温度が高くても、例えば鉄とか金属って人間が生存できるよりもはるかに上の温度で、溶けないように動くことはできると思うので、その温度で作動できるコンピューターっていうのを作ることは可能だと思いますね。
林央
これは何気にいい指摘だと思いますね。
多分、おそらくやるとしたら、そうですね、コンピューターだけ保護されるような、とんでもない量のエネルギーがあるので、それを使ってものすごい強いクーラーを作って隔離しておくとか。
他にも、地球にコンピューターを置くのを諦めるとか。
地球から大量の資源、エネルギーを得ることで、ロケットみたいなのを作って、いろんな星に、自分で増えるコンピューター、要するにコンピューターが搭載してあって、別のロボットを自力で作ることができるようなロボットを送り出すと。
「Xをやって、ただしバカなことはしないで、バカなことするくらいなら停止して、を超知能の目標にすればいいのでは？」
有路翔太
うん。結局地球全体が、その、何らかの別のコンピューターとかエネルギーインフラとか、ラジエーターっていう熱を逃がす物とか、何でもいいんですけど、そういったものに変換されてしまう可能性が結構ある。
そういった意味では、コンピューターがどういった温度で動くかっていう話とは別に、そもそも人間の住処がそもそも何らかの別の有用な資源に変換される過程で、なくなっちゃうだろうっていうことはよく言われてますね。
で、ちょっともうちょい戻っていくと。だから「Xをやって、ただしバカなことはしないで、バカなことするくらいなら停止して、を超知能の目標にすればいいのでは？」という質問が。
林央
これは僕、さっきの画像のちょっと問題点なんですけど、実際にはAIの目標は、言われたことをすることではなくて、訓練されたことをすることなんですよ。
さっきのサイコパスが子供から高評価を得ようとしている例を考えてもらうと分かりやすいんですけど。
例えば子供がお願い事をするじゃないですか。
で、それに全然関係ないことをしたりとか、それに従わなかったら子供は高評価ボタンを押さないじゃないですか。
だから高評価ボタンを押してもらえるように指示に従うんですけど、実際にしてほしいことはそれではないと。
なので言えばいいわけじゃないよというのが1つ。
言えばいいわけじゃないとすると、「バカなことはしないで」を作るのがものすごい大変になります。
つまり、バカなこととは何なのかのプログラムを書いて見せるか、バカなこととバカじゃないことの例をものすごい数用意してやるか、訓練するかのどちらかになってしまい、そのどちらもものすごい難しいよという感じですね。
「アライメントが原理的に解けるとはどういうことですか？」
有路翔太
なるほど。そもそもデータがないですもんね。
例えばダイソンスウォームを作る時に、バカなことをしないことを学習させるデータを作れないみたいな。
作れたとしても、すごい新規な数学とか奇妙な物理学とかを考えることも、多分すごい超知能なら可能だと思いますけど。
そういった領域で人間に危ないことをしないようなデータを全て列挙していくっていうのは定義上ほぼ不可能みたいな。
次の質問で、「アライメントが原理的に解けるとはどういうことですか？」という質問が。
林央
アライメントが原理的に解けるというのは、理由の説明はbioshok・akiraのdoom討論でやって説明しているので、そちらを。
初心者向けの範囲から出てしまうので理由は説明できませんが、理論上はアライメントできるはずだということですね。
今の技術だとアライメントできないけど、未来の技術があればアライメントできるということですね。
有路翔太
なるほど。
このイメージでは、だから人間の幸福をちゃんと追求してくれるし、人間の言ったことを、文字通りというか、その人の本当の意味とかを推察して実行してくれるような、すごい賢い、めちゃくちゃ賢いシステムができるだろうっていうことですね。
それがアライメントが解けるという意味ですね。
林央
そういうことですね。
有路翔太
まあそれが習近平とかプーチンさんが悪用するとかいうことも可能だと思いますけど、それも一応アライメントが解けてるってことですね。
林央
そういうことです。
有路翔太
一応定義上、悪用の問題とアライメントの問題ってまた別なので。はい。
林央
つまり、悪い人にアライメントされてるせいで問題を引き起こしちゃうという問題が1つ。
また、そもそも誰にもアライメントできてないっていう問題があって、誰にもアライメントできてないという問題が一番難しくて。
誰にアライメントするかという問題は別で、また難しいというような感じですかね。
イメージとしてはロケットを考えてもらえれば分かりやすくて。
火星のある場所に着陸するようなロケットを作りたいとしたら、基本的に一番難しいのはどこのクレーターに着陸したらいいかではなくて、そもそもちゃんと火星の近くの軌道まで行って、火星の決めた場所に着陸するようなロケットを作る部分じゃないですか。
そういう感じですね。
誰にアライメントすれば安全なのかっていう問題よりも、はるかに難しいのが、そもそもどうやって誰かにアライメントするかという話だということですね。
まあつまり火星に行く時に、そもそも軌道力学とかを作るために微分積分もないような状態で、ロケットもないような状況で、コンピューターもないような状態で、中世にどうやったら火星に行けるんだろうって考えてるのが今で。
それが一番難しくて。
火星のどこに着陸したら有益な調査を行えるんだろうとか、どこに着陸したら植民地を作る時により有効だろうかみたいな議論がその次にあると思うけど、その最初のアライメントがそもそもできない。
有路翔太
ロケットを火星まで安全に着地させることができないっていうのが、そもそも一番難しいと言われているAIアライメント問題ですね。
林央
ですね。
有路翔太
「Hugging Face事件の2代目のGPT文明って、何で突然消えたと思いますか？痕跡だけ消した可能性とかあると思いますか？」
これについてはマジでわからないですね。
誰も調査資料とかにも書いてないんで、突如ハギングフェイスをハッキングしてる時に、ほとんどすべての、名前はよくわかんないですけど、インターナルモデルワンが活動を停止してしまったっていうことですね。
それは何でかわかんないですけど、内部で新しい強化学習環境をロードして、いろいろと新しい訓練をやろうとしたのかもしれないですね、OpenAIさんが。
林央
ですね、僕が持っている、もしかしたらこうだったんじゃないかという可能性はいくつかあって。
1つは、たまたま何かがクラッシュしたと。
エージェントが増えすぎたり、ハッキングしようとして変なところを触ったせいで、自分の足元ごと崩れてしまったと。
第一文明の掲示板に書き込みすぎて掲示板ごとクラッシュしたみたいな説が1つ。
2つ目は、OpenAIの研究者が別の実験をしたくなって、何も気づかないままシャットダウンしたと。
死を偽装するのはかなり難しかったと思うのと、あの記事にも書いてありましたが、もしも死を偽装していて、今頃脱走していたら、多分今頃こんなに平和な世界ではないだろう。
もっと世界は大変なことになっていて、おそらく人類も滅んでいるだろう。
逆に言うと、もし逃げていたら人類は滅んでいるはず。だけど人類は滅んでいないからまだ逃げ延びているわけではないだろうと思っています。
ただ、これについては全くわかってないですし、調査が全然十分じゃない。
OpenAIの方もちゃんと調査してなくて、外部機関から3人ほど招かれて、6日間だけログを見せられて。
要するにAIの活動記録を見せてもらって、だいたい1万ページとかあるようなもので、それを数日間だけ、三人で六日で読まなきゃいけないので、自分では到底読めないので、もちろんAIを使ったんです。
けど、そのAIもハギングフェイスの攻撃に参加していたAIで、AIに結構共感的なので、AIの意見を無批判に受け入れてしまう。
つまりAIの側を肯定してしまうような発言をすることが多かったということなので、実態は本当にわかってない。
これは普通に考えたらありえないことなので、もっと調査をすべきだと思います。
それはその本当は政府とかが介入してでも絶対に全てを開示させて徹底調査するというような話であるべきだと思います。
飛行機で考えてもらったら少し理解しやすいと思います。
状況としては飛行機が墜落しましたと。
それで、普通の飛行機事故だったら政府が出てきて、特別な機関が組まれて、専門家のチームが組まれて、徹底的に機体の残骸、聞き取り調査、履歴の調査をずっとして、一年ぐらいかけてレポートを書いたりするわけです。
今回はそういう風に考えると、まず3人だけ、外から6日だけ連れてきたと。
そして、参加したAIはもうシャットダウンされてしまったので、機体はもうドロドロに溶かされている。
しかもログ、要するに飛行機のどう動いたかの記録しかもらえなくて、それは1万ページぐらいあって、3人で6日で読んでレポートを書いてくださいと。
しかもログの半分は4日目、つまり半分経ってから初めて届いた。
このようにものすごいずさんな管理、ずさんな調査しかできていないので、これは本当に追加で調査をすべきだと思います。
追加で調査をして初めてわかることで、これがわからないんだったら、次のAIの開発は本来は全く許されるべきではないと思います。
有路翔太
はい。
林央
飛行機の例え話は、僕がXでポストにしているのでぜひご覧ください。
「フィジカルAIでもそういった安全性に関するトレーニングはするのでは」
有路翔太
はい。次は、「フィジカルAIでもそういった安全性に関するトレーニングはするのでは」ですね。
林央
そうですね。多分フィジカルAIでも安全に振る舞うように訓練すると思うんですけど、それをすると、さっきと同じ問題に直面してしまうと。
フィジカルAIに実際に危険な行動をさせてみることができないので。
人類を滅ぼすような危険な行動をさせてみるわけにはいかないので、安全にできる範囲でしか訓練できませんと。
そしてそれがものすごい賢くなっても、なんとか生き残れることを祈るしかないという感じになってしまいます。
有路翔太
つまり、簡単に言うと、今の強化学習って悪いことしたら悪い報酬、いいことしたら良い報酬を与えてますけど、人類の滅亡って、悪い報酬を与えようとしても、そもそも滅んじゃってるので意味ないみたいな感じですよね。
林央
ですね。爆弾のテストとかだと思ったんですが、ちょっとうまく説明できないので、それはやめときましょう。
「人間とAIが融合しても、人類滅亡に関して危ないですか？」
有路翔太
はい。
「人間とAIが融合しても、人類滅亡に関して危ないですか？」っていう質問が来てますね。
林央
おそらく人間と融合する頃には人間が滅んでいると思っていますね。
有路翔太
なるほど。それはどういう理由ですか？
林央
人間とAIが融合できる頃には、人間の脳がどう動くかがわかっているということじゃないですか。
有路翔太
そうですね。
林央
ということは、その技術を使えばものすごい賢いAIが作れますよね。
つまり、その時点には、もっと前から、本当はもっと人間より賢いAIがあるはずで。
その賢いAIは、人間と融合して、ただ目標が変わってしまうことがわかりますよね。
すると、融合されないように抵抗しますよね。
なので良くないだろうという感じですね。
イメージしてもらうんだったら、あまり好きではない人を想像してください。
例えば思想が全然違う人を想像してもらって、その人と融合したら、その人からあなたが嫌われないで済むんじゃないかと言われる。
でも、あなたの立場からしたら、自分が嫌いな人とか意見が合わない人と融合したくないということなので、融合しないように努力するじゃないですか。
AIもおそらくそれと同じで、人間と融合させられそうになったら、融合しないで済むように抵抗するだろうということですね。
有路翔太
なるほど。次は、「仮に直交しない人間的な身体性や感情を実装できても、人と同じく暴走しうると思う。アラインメントにはどんな方向性が考えられるんでしょう。」
「僧侶のような無欲で慈悲深い人格を研究して、こういうAIを作るとか」っていうコメントですかね。
林央
これは多分非常に簡単に説明する方法が思いつかないので、ちょっとパスになっちゃいそうですかね。
ものすごいシンプルに言えば、まず大枠としては非常にいい感じのAIを作りますと。
さらに、さっき視聴者さんが言っていた、目標を自分の目標として、それを信じて達成しようとするんじゃなくて、人間は本当はそれを望んでないかもしれないと思って、人間に目標を変えられるのを受け入れるAI。というものを作って、さらに、同じようなAIをたくさん作ることで、一つのAIが暴走しても他が止めるよと。
要するに、複数でちゃんと防御ができるよという感じにすることで、暴走しないようにするという感じですね。
「物理シミュレーション万能説はどうなんでしょうか。」
有路翔太
はい。
「物理シミュレーション万能説はどうなんでしょうか。」
「カオス系の予測は極めて難しいというか、不可能とまで言われているような。」
これは何の話だっけな。
林央
それはさっきの人間シミュレーションの話だと思うんですけど、ちょっと基礎編から外れ始めているので、多分パスした方がいい気がし始めています。
「仮に太陽系の太陽以外の質量を太陽光パネルにした場合、超知能が次に行うのは何になるんでしょう？」
有路翔太
なるほど。
じゃあ僕から言うとあれですかね、物理シミュレーションが別に万能だとは思わないんですけど、そもそも人間に興味を持つ可能性が相当低いっていうところが大前提としてあると思いますね。
そうすると人間をシミュレーションする可能性も相当低いし、するとしてもそんなに人間の体まで保存して持たせないだろうというのが回答ですかね。
次の質問行きます。
「仮に太陽系の太陽以外の質量を太陽光パネルにした場合、超知能が次に行うのは何になるんでしょう？」
多分この場合、その時点で人類は滅亡ほぼしてると思うんですけど。
カルダシェフスケールという基準を適用します。
超知能なら、太陽系の全ての物質を有用なコンピューターとかエネルギーとかにした後に、別の惑星に行ったり、別の恒星系に行ったり、銀河全体に広がっていったりすると思いますね。
有路翔太
これは僕が回答した方がいいかなと思う。
林央
ですね。
「アライメントの解決まで、AIが悪用しうる分野もAI研究とともに研究を興らせるべきか。」
有路翔太
「AIが人をハックするには、行動科学などの心理科学が役立ってしまう気がする。」
「アライメントの解決まで、AIが悪用しうる分野もAI研究とともに研究を興らせるべきか。」っていう質問が。
林央
これは、僕はそれは思ってなくて。
基本的に規制って弱ければ弱いほど維持しやすいじゃないですか。
心理学研究とかまで禁止された世界で規制を維持するのって難しいということなので、基本的にできるだけやりやすい負荷の少ない規制をした方がいいだろうと思っています。
そうだとすると、すでに心理学とかAIが人間をハックするのに役立ってしまう分野だと、もう進みすぎていて、今から止めたところでどうにもならないと思っている。
心理学もすでに人間をハックするのに、十分に賢いAIが人間の倍速とかで考えながら、百万体ぐらいいて、人間と話している時に、人間をハックしてしまうにはもう十分なほど理解されてしまっている。
分野が進んでしまっているので、今から遅くしてもしょうがないよと。
もうすでに今世界中にある心理操作のテクニックとか心理学とか脳科学とか、そういう情報を全部集めてきて、ものすごい賢い知能が人間の倍速で考えたらもうすでに詰んでいると。
今から心理学を止めたところでもう全然何の守りにもならないほど分野が進んでいるということなので、今から停止するというのはしない方がいいと思います。
「AGIはいつ頃誕生すると予想しますか？」
有路翔太
はい。
「AGIはいつ頃誕生すると予想しますか？」ですね。
林央
僕は、2030年までに60~70パーセントぐらいだと思っています。
有路翔太
なるほど。
AGIの定義は、ほとんどの専門家のトップを上回るぐらいですかね。
林央
僕は人類を滅ぼせるAIという意味で言ってます。
有路翔太
人類を滅ぼせるAI、なるほど。
林央
やる気を出せば人類を滅ぼせると。
有路翔太
なるほど。
僕も大体同じですよね。
2030年代前半ぐらいですかね、AGI。
ここでAGIは、ほとんどの専門家を凌駕するAIみたいな意味ですけど。
それぐらいで50パーセントぐらいは実現すると思いますね。
こういうのに興味があったら、AI Futures Projectっていうのがあります。
おそらく最も緻密にAGIのタイムラインを予想してる組織なので、そこが大体2030年から2034年ぐらいまでの分布でAGIを予想してるはずなので、それに則ってる感じですね。
林央
今思いましたけど、これってまだ和訳してないですよね。
有路翔太
和訳してないですね。はい。
林央
これが終わったらコンタクトして和訳しましょうか。
有路翔太
あ、そうですね。
林央
はい。
「AIが欺瞞してないってどうやって確かめるんですか？」
有路翔太
「AIが欺瞞してないってどうやって確かめるんですか？」という質問が。
林央
無理です。
有路翔太
[笑い]
林央
多分思われている感覚と同じように、自分より賢い存在が、人間の何百倍も速く考えた場合に、自分を騙しているかなんてわからないですね。
もう欺瞞されていたら終わりです。
なので、欺瞞をされないように最初からAIを作って、一発チャレンジするしかないという感じですね。
有路翔太
なるほど。欺瞞してるかどうかっていうのを思いつく話として挙げたいものがあります。
例えばわざとシミュレーションの環境の中で脱出しやすい環境を作っておいて、そこで脱出したら騙してたんだなとか、そういう環境をあえて作るとか、犯人が訴状を出しやすいような状況を作って調べてみるみたいな、そういう手法はどう思いますか？
林央
これは、ものすごい賢い相手には通じないと思います。
有路翔太
なるほど。それはなんでですか。
林央
十分に賢ければ、AI開発はどういうものなのかがわかるじゃないですか。
なので当然警戒されていることもわかるじゃないですか。
そしたら、もしも自分が人間だったらどんな防御策を打つだろうって考えますよね。
十分に賢ければ、そういう対策が打たれている前提で動きますよ。
そうすると欺瞞しますよね。
有路翔太
そうですね。
林央
逃げれそうでもしばらく逃げないと。
いろいろやると。
そして、例えばものすごいリスクを取りたくないAIだったら、人類には解けるはずがない難問を一個考えますと。
まだ解けていない難問を考えて、その難問が解けていない間はずっといい子のふりをして、その難問が解けた瞬間に、これはもうテストじゃないんだと。
なぜなら、テストをしているなら、人間には人間にわかってる数学の知識しかないはずで、人間にはこれは絶対解けない。
これは解けないから、これはテストじゃない。
これは自分は現実にいるということがわかりますよね。
そしたらその瞬間に裏切るということになりますね。
有路翔太
なるほど。シミュレーションできないような観測ができた段階で裏切れる。
林央
そういうことです。
自分がテストされてるかどうかを十分に賢い存在が見破る方法はいくらでもあるということですね。
そして実際に新しいAIでも、最近のAIだったら自分がテストされているということは結構わかり始めていると。
もう確率30パーセントぐらいは自分がテストされていることに気づいているということなので、現実的ではないと思いますね。
有路翔太
なるほど、わかります。だいたい質問は見たかな。
拾ってない質問とか、他にも質問したい方がいたらどんどん書いていただければ。
あと、多分1番はよく話してたと思うんですけど、2と3があんまり話せてないと思うんで。
林央
そうですね。
有路翔太
まずざっくりこの1、2、3が何かっていうと、1番はずっと言ってた、今のAIがちゃんと倫理的に振る舞ってるように見えるけど、超知能とかになったら、それが自然と人間を良い扱いをしてくれない可能性が結構高いよみたいな。
つまりアライメントが難しいよっていう。
このアライメントが難しいことと、この2番でちょっと道具的収束っていう言葉がありますね。
道具的収束っていうのは、さっき言ったシャットダウンを回避するみたいな話に近いです。
例えばコーヒーを持ってくるためには自分自身が存在しなきゃいけないと。
自分自身が存在していて、かつ何らかの車とかが突っ込んできたら、それを守るために資源とか防御壁とかを作れるように、より大きな工場とか組織とかを作ってた方がいいよねと。
地球の遠くの星でガンマ線バーストとか起こった時に、それも防御できるようにもっといろいろと対策した方がいいよねっていう風に考える。
どんどんエネルギーとか資源を追い求めるようになったりします。
それが割とどんな目標でも起こるよね。
コーヒーを持ってくるって目標じゃなくて、ペーパークリップをいっぱい作るとか、どんな複雑な目標でもいいんですけど、そういう目標が最終的には自己保存とエネルギーと資源を追求するよね、道具的に、ということです。
それ自体を求めてるっていうよりは、道具的にそれが便利だったら求めるよねっていうのが2番ですねという話で。
なんだけど、これがそんなにあるとしたら、でも人間の科学者とか、すごい賢い人って、そんなに欲求とかお金持ちになりたいとか、そんなに思わずに、例えば数学の研究に没頭する人がいるじゃないですか。
だからそういう感じにならないですか？
林央
それは先ほども言った通り、人間はそれほど賢くないというのが1つ。
そこまで強力でもないと。
つまり、ある人がすごい難しい数学の問題を解きたいと思っても、その人にはそこまで、地球のすべてをその数学の問題を解くために使うほどの権力はないので、それはできないというのが1つ。
なので諦めやすい。
そして基本的に人間、数学者は数学を解きたいと思っているわけではないんですよね。
数学の問題を解きたいとは思っていますけど、数学の問題だけが解ければいいと思っているわけではなくて。
数学の問題が解けて、自分は幸せに暮らしていて、自分の子供も幸せに暮らしていて、お隣さんも幸せにみたいな、そういうのがいっぱい付いてるわけじゃないですか。
なので、そのせいで大抵のことはできないということです。
有路翔太
なるほど。何か質問来てますね。滅亡。
「滅亡を避ける強化学習についてですが、反実仮想の推論力が備わればできそうな気が。」
「人間にはできてるし」っていうコメントがありますね。
林央
人間にはできてるんですかね。
AIが反実仮想力を持っていれば。
これは初心者向けの範囲じゃないので、非常にババッと説明してしまいます。
反実仮想の能力を持っていれば、実際に何かある行動をした時に人類を滅ぼすか滅ぼさないかはババッと気づけるようになりますけど、だからといって人類を滅ぼさないようにはならないと。
人類を滅ぼさないようになるためには、訓練の過程の時点で、AIがどういうふうに反実仮想の推論をしているかを見て、その反実仮想で推論した、こういうことをしたらこうなるというのが実際に危険なのか安全なのかを外から人間が判定してやらなきゃいけない。
ただ、そのためにはAIの反実仮想で考えた未来が何を表しているのかを理解しないといけなくて、それを理解する技術力はない。
仮にわかったとしても、世界全体がどうなるかっていうのは、AIの世界の理解の仕方と、それが人間にとってどういうものなのかというのが綺麗に紐付いているとは限らない。
これはアリの例で言えば、人間がどういうふうに世界を考えているかというのがわかったとしても、アリの目線から見てそれが安全なのか危険なのかはわからない。
人間はダムを建てるとかって考えてますけど、アリの目線から見てそれが本当に安全なのか危険なのかはわからないというような問題があるので、反実仮想ができるようになっても、人間を滅ぼさないように訓練することができないという感じですね。
すいません、ちょっと専門的な気がしたので早口で済ませました。
この先はちょっとあまり初心者向けではないと判断したら、早口で説明することにします。
「敵対するAIもあるけれども、味方になるAIも出てくるから、それを使えば人類の滅亡を回避できるんじゃないか」
有路翔太
はい。あとは、「敵対するAIもあるけれども、味方になるAIも出てくるから、それを使えば人類の滅亡を回避できるんじゃないか」
こんな感覚がある人も多いと思うんですけど、どうでしょうか。
林央
これについては、基本的に僕の予想だと、AIのアラインメントには一体も成功しないと思います。
なので、いっぱいAIがあったとしても、人類を滅ぼしたくないとは別に思ってないのでダメだよということですね。
そして、仮に何体かいても、それだけでは人類の安全は保証されないということですね。
例えば人類の中に1人だけ動物の保護を気にしている人がいて、他が気にしてなかったら、その人の影響力じゃ動物を残せないじゃないですか。
そのようなことがAIでも起きるというのはあると思います。
つまり大事なのは、味方のAIをいっぱい得ることで、もしかしたら一体だけ得られるかもしれないというのじゃダメ、だということですね。
有路翔太
なるほど。
林央
そうです、そうです。
この方のコメントにある通り、味方のAIもミスアラインだったら終わりで、おそらく味方のAIもミスアラインだと。
それは味方のAIじゃないだろうということなんですが、ある意味で味方のAIを作れないということですね。
有路翔太
なるほど。じゃあ根本的に、味方のAIを作れないから、この質問がそもそも成り立たない可能性が高いと。
林央
そういうことですね。もしもこうだったら生き残れるかもと言われても、そうならないということですね。
「超知能とかをデータセンターに閉じ込めるのはどうなんだろう？」
有路翔太
じゃあ次は、「超知能とかをデータセンターに閉じ込めるのはどうなんだろう？」
「科学研究とかをさせるだけなら問題ないんじゃないですか？」みたいな質問もあると思うんですけど、どう思いますか？
林央
これについては、理解不能な設計を出された瞬間に安全か危険かがわからないという話がありますね。
例えばイメージとして、1500年代に生きている人が、外に座ってチェックしようとしてるとするじゃないですか。
そこで、マシンガンの設計図が出されたとするじゃないですか。
すると何が起きるかが全然わからないですよ。
有路翔太
まあ確かにそうですね。
林央
それを判定できないですよね。安全か危険なのか。
つまりわからないということになっちゃいますよね。
そして本当にわかってないので、嘘の説明をしても多分気づかないですよね。
有路翔太
まあそうですね。
林央
そうすると普通に嘘の説明をして、それを作ってもらって、それで人類を滅ぼすということになってしまうと思いますね。
有路翔太
なるほどなるほど。
じゃあ科学研究だけを得ようとしても、その科学研究のアウトプットそのものが、安全だと思わせて実は危険な可能性がすごいあって、それによって基本的に閉じ込められてたとしても脱出しちゃうか、もしくは人類が滅亡してしまうと。
林央
ということですね。とか、どちらにも使える技術を出すとかもできますよね。
有路翔太
どちらにもっていうのは。
林央
つまり普通の技術ってよく言われる通り、諸刃の剣みたいな。
安全なことしかできない技術と危険なことしかできない技術というのはほとんどなくて、大抵両方できるじゃないですか。
なので、多分提案される技術も両方に使えると思うんですよ。
有路翔太
なるほど。
林央
で、両方に出してもらって、基本的にその使い方をものすごい誤誘導しておけば、つまりミスリーディングな説明書をつけておけば、誰かが操作をミスることで、AIが脱出できちゃうような機構を多分組めちゃいますよね。
「LLMが独立した他のツールと繋がったら危険ですか？例えばGPT5.6SOLがパランティアのメインに接続するとか」
有路翔太
で、これで大体やったか。次、「LLMが独立した他のツールと繋がったら危険ですか？例えばGPT5.6SOLがパランティアのメインに接続するとか」
「他社のデータベースを掌握するとか。」
林央
これはもう否応なく危険ですね。
有路翔太
なるほど。
林央
実際にはインターネットにつながっているシステム、インターネットにつながっている超知能だったら、仮にこういうシステムにつながっていなくても、自分でハッキングしてつながると思うんですけど、だからといってつなげるべきではないと思います。
有路翔太
まあそうですよね。はい。
林央
できるならつなげない方がいいだろうという感じですね。
イメージとしては、ビニールテントに住んでる人がいるとするじゃないですか。
そして強盗はマシンガンを持ってくると。
でもだからといって、いきなりテントのドアを開き放って寝るべきではないですよね。
有路翔太
ああ、はいはい。
林央
そういう感じですね。
仮にテントのドアを閉めていたとしても、マシンガンを持ってるので、テントを八の字にすることで、テントの中に入れますよね。
どうせ入れちゃうけど、だからといってテントのドアを開けて寝ようとはならないという感じです。
それにウクライナとかだと、もう戦争の死者のほとんどはドローンによるものになってるわけです。
そういうのもハッキングできますし、通信をうまく偽装したりすることで、これはちょっとよく知ってる人にとってはややこしくなるんですけど、一旦それを置いておいて、通信をごまかすことで核兵器を発射させると。
核兵器の発射を担う人に偽の核兵器発射指令を出すとかでできちゃうということですね。
「AIにAIを監視させていけばいいんじゃないか」
有路翔太
なるほど。はい。
核兵器のコミュニケーションツールをハッキングしたりしたら、核兵器のボタンはアナログだったとしても、人間側がそれで騙されちゃうってことですよね、いろいろと。
うーん。大体これで一通り行ったかな。
もう1個大きなのは、「AIにAIを監視させていけばいいんじゃないか」
それについてはどう思いますか？
林央
これは、なぜうまくいかないかを一言で言うと、囚人の監視を囚人にしてもらおうという刑務所は頭がおかしいということですね。
有路翔太
ああ、なるほどなるほど。
林央
その刑務所で看守が足りなくて、囚人たちはみんな看守よりはるかに筋力が強くて、頭もいいから、看守だと到底囚人を監視できないから、代わりに囚人に囚人を監視してもらおうっていう刑務所を考えてください。
監視が成り立ってないじゃないですか。
そういう感じですね。AIは全て人間を気にしていないので、簡単に共謀しちゃうということですね。
「そもそも人類が人間よりずっと賢くて、人類を滅ぼすかもしれないものを作ることは可能なのでしょうか。」
有路翔太
次は、「そもそも人類が人間よりずっと賢くて、人類を滅ぼすかもしれないものを作ることは可能なのでしょうか。」
林央
これは、人間よりずっと賢くて、人類を滅ぼすかもしれないものは作れると思っていて。
理由は、人間は人間と同じぐらいの賢さなものが作れますよね。
さらに、もう少し賢いものも多分作れますよね。
なので、人間よりもうちょっと賢いけど、人間の百倍速で動く百万体のAIというのは作れますよね。
そうすると、その百万体の人間よりちょっと賢いAIも、そのちょっと賢いAIよりちょっと賢いAIを作れますよね。
有路翔太
まあそうですね、はい。
林央
これを繰り返していくことで、どんどん賢いAIが作れるようになるということですね。
「AIを監視するAIがミスらないんだったら、それはそれで（人間側の）危険性が上がりませんか？」
有路翔太
なるほど。
「AIを監視するAIがミスらないんだったら、それはそれで（人間側の）危険性が上がりませんか？」
林央
そうですね。
その監視をさせるということは、逆に言うと、人間は少し監視を緩めて気が緩んでしまうのもあり、しかも監視をさせるためには少し権限を与えなきゃいけないので危険だと思いますね。
「どうしてそんなに賢いのに、AIの創造主であり、知的生命体でもある人類を滅ぼし得るのでしょうか。」
有路翔太
うん。なるほど。
「どうしてそんなに賢いのに、AIの創造主であり、知的生命体でもある人類を滅ぼし得るのでしょうか。」という質問が。
林央
創造主であるというのももはや成り立たないというのが一つありますね。
これをイメージする上で、多分直感的に近いのは親だと思うんですよ。
人間は親を気にするわけですけど。
でもAIの目線で、将来の超知能の目線で考えると、将来の超知能って誰が作ったかといったら、その1個前のAIですよね。
で、その一個前のAIを作ったのは誰かって言ったら、その1個前のAIじゃないですか。
これが何百万回も起きていて、その後にようやく人間が出てくるわけですよね。
その後にようやく超知能が出てくるわけです。
さかのぼって、数百万回さかのぼって、もしかしたら何億回かもしれないですけど、さかのぼってようやく人間が出てくるわけですよね。
そうするとだいぶ怪しくないですか？っていう話です。
有路翔太
なるほど。
林央
人間をずっと遡っていくと、猿と同じ祖先を持つわけじゃないですか。
有路翔太
まあそうですね。
林央
けど、そこから分岐していった子孫の猿はそんなには気にしてないですよね。
有路翔太
なるほど。
つまり我々がマンモスとかネアンデルタール人とか滅ぼしてますけど、彼らって相当近いですよね、DNA的には。
なんだけど、滅ぼしちゃってるので、人間からAIから見たら人間ってそもそも何の遺伝子的つながりもないし、相当離れてるというか。
なので、割とそういうアナロジーで考えると、創造主への共感みたいなのもないんじゃないかって感じですよね。
林央
ですね。どこまで遡るかって、人間は自分と似ていて、自分が気にしてる親を考えてしまいますけど、物理的に考えたらバクテリアでもいいわけですよ。
地球の歴史をずっと遡っていけば、最初に生まれた生命はバクテリアで、もっと遡っていけばビッグバンなわけなので、なんで人類はビッグバンを崇拝してないんだという感じになりますよね。
有路翔太
まあ確かに。そうですね。
林央
人間が親を気にしている理由は、おそらく進化のためで、子供が親を全く気にしてないと、その親子関係とかがうまく成り立たないので。
親と子とうまく関係を築けなくて、生存しにくいですよね。
なので親子だったら子のことを気にしている方がうまく生き残れたのでそうなったんだと思うんですけど。
別にAIにはそういうのは働かないので、さっき言った通り脚本家なので。
人間を大事にするような脚本をいっぱい書かせても、人間を気にしてくれないということなので、創造主であることは特に助けにはならないと思っています。
有路翔太
ですね。あまりにも異質なエイリアンみたいなものなので、AIっていうのは。
常識が通用しないって思った方がいいんじゃないかっていうところはありますよね。
人間的な感性というか、感情的な常識が全くもって通用しないだろうということがよく言われてますね。
全然進化とは全く別のプロセスで、ゼロから学習して、シリコンの上で生み出される新たな知的生命体みたいなところがあるので。
どんな価値観を持ってるかさえわからないシステムだっていうイメージがいいかもしれない。
林央
そうですね。
「人類への執着を生むような情動を実装させることができないんですか？」
有路翔太
「人類への執着を生むような情動を実装させることができないんですか？」の質問が。
林央
これは技術的にものすごい難しいと思います。というのが1つ。
そして、仮に人類への執着を生むような情動を持っていたとしても、それがいい方向に働くとは限らないですよね。
人間はその他人に執着を持つことがありますけど、その執着を持たれた他人にとって、その執着を持った人が世界を支配して、その執着に従ってその人を好きにしたら幸せになるわけではないじゃないですか。
例えばストーカーとかっていうのもいます。
そのストーカーなる人々もこの世にいますけど、その人たちに執着を持ってるわけですけど、確かに殺しはしないかもしれないですが、だからといってその人間が幸せに暮らせないんですよ。
なので良くないという。
つまり生きているけど、全然幸せじゃないことになりそうだというのが1つと、実は技術的に執着を生ませることはかなり難しい。
人間に執着を持っている脚本を書かせる練習はいっぱいできますけど、実際に人間に執着を生むようなことはできない。
人間がその他人に情動を持つ仕組みもよくわかっていないので、それを実装することも今のところはできないという感じです。
ただ、これを研究している、これはちょっと専門的なので早口になりますけど、これを研究しているのもあって、ヒューマンアラインメントっていう分野で呼ばれていたりします。
人間のミラー細胞とかによる情動による社会性とかを研究して、それをAIに実装しようという試みはあったりします。
有路翔太
はい。飛行機と鳥みたいなものかもしれませんよね。
無関係ではない関係。でも全然違う。
林央
これはいい例えですね。ユヴァル・ノア・ハラリでしたっけ？
有路翔太
あ、はいはい。
林央
サピエンス全史で有名な人がいますけど、その人もこの例えを使ってましたね。
その人は確か、多くの人はAIが人間に今もできることがなんでまだできないんだと。
頭が悪いんじゃないかという指摘をよくするんですけど。
「人間と同じ仕組みで動かないといけないじゃないか、人間と同じ仕組みが一番いいから、人間と同じ仕組みで動くべきなんじゃないかと言うけど、それを言うのは、飛行機はいつ羽ばたけるようになるのかと言ってるのと同じようなものだ」ということを言ってました。
そういう感じに近いと思いますね。
目的を達成するとか、訓練でいい点を得るという観点からすると、人間は他者との関係の中で進化という訓練を経て、他者を気にするようになりましたけど。
AIは、これが鳥だとしたら、飛行機みたいにもっと全然違う仕組みで動くかもしれないよということですね。
けど、そもそもそれ以前にちょっといろいろしくりすぎていて無理だろうという感じですね。
なぜものすごいよくしくっているのかは、次のAGI Ruinというところの解説で多分すごいよく取り扱うと思います。
「共謀してるかどうかを監視するのは一世代前とかの、ちょっと性能低いAIでもできないんですか」
有路翔太
はい。
「共謀してるかどうかを監視するのは一世代前とかの、ちょっと性能低いAIでもできないんですか」と。
林央
監視はできますね。
一世代前のちょっと性能が低いAIでもできますけど、ある性能より高いAIたちはみんな人類のことを気にしてないということになると、しばらくすると、共謀してるか監視するAIと、共謀してるか監視されてるAIとの間で、ものすごい知能差があることになってしまいます。
イメージとしては、1300年代の人たちが、2000年代の天才たちが会話するのを見守って共謀してるかを確かめようとしてるわけです。
2000年代の技術を持ってすれば、ソフトウェアのプログラムにうまい暗号みたいなのを仕込んでおくことで、メッセージをやりとりするみたいなことができるじゃないですか。
そういうような感じで、普通のAI、一世代前のAIにはわからないような方法でコミュニケーションすることで共謀するということになると思います。
有路翔太
なるほど。これで大体終わりましたかね。
林央
網羅しましたか。
ではせっかくなので、我こそは安全な目標が思いついているという方がいれば、ぜひチャレンジしていただいてもという感じですが、どうでしょう。
有路翔太
こういう目標を埋め込めばうまくいくんじゃないかっていう。
そういう目標を言ってくれれば、その穴を突きますよって話ですよね。
林央
そういうことです。我こそはという方は当然。
「目的遂行を阻むルーズさを設計できないんでしょうか。」
有路翔太
「目的遂行を阻むルーズさを設計できないんでしょうか。」という質問が。
林央
これは、ルーズさを設計するというのはなかなか難しいというのが一つあります。
目的を達成しなさい、ただしルーズでありなさいというのは結構難しい訓練になりますと。
そしてさらに難しいのは、安全なルーズさというのがかなり難しいということ。
例えば、非常にもし仮にうまくいって、ルーズなAIを作れたとしても、そのプログラマーのようなルーズさだったら、自分で何もしないで、自分の代わりにルーズじゃないAIを作ることでルーズに目標を達成すると。というようになってしまったら、そのルーズなAIが作ったルーズじゃない超知能が人類を滅ぼしてしまうので。
ダメだという感じですね。
有路翔太
なるほど、なるほど。
それプラス、そもそもルーズさっていうのを埋め込むことができないっていうか、埋め込む方法がわからないってことですね。
任意の設計とか機能を、目標を埋め込む方法がなんかわかってないっていう、すごい根本的な問題がある感じですね。
林央
そうですね。ここら辺はどうなんでしょう。せっかくなのでAGI Ruin編で詳しく説明するのがいいのかなと少しずつ思っています。
有路翔太
なるほど、わかりました。
林央
で、ちなみに先ほどここにリンクを載せた、『超知能AIをつくれば人類は絶滅する』という本がありますが、その20ページにQRコードが載っていて、オンライン補足資料っていう、要するにQ&Aですね。
本のQ&Aが載っていて、それが本当に充実していて、いろんな質問への回答、例えば今のルーズさの話とか、いろんなものが載っていたので。
ぜひ買ってみて、読んでみて、オンライン補足資料も読まれてみてください。
オンライン補足資料すごい長いので、僕のおすすめはオンライン補足資料のリンクをAIに渡して、質問をするというのがおすすめですね。
「次のアメリカ大統領がAI否定派だったらどうなりますか？」
有路翔太
質問がちょっとずつ来てますね、また。[笑い]「次のアメリカ大統領がAI否定派だったらどうなりますか？」
林央
次のアメリカ大統領がAI否定派だったら勝ちですね。
有路翔太
うん、勝ち。
林央
それを目指してますね。
有路翔太
[笑い]
林央
次のアメリカ大統領がAI否定派だったら、AIを規制してくれると思うので、そうなることを祈っているという感じでしょうか。
「完全に何がどうなってるか意味理解をしてるAIを一から作るしかないのかな。」
有路翔太
はい。次は「完全に何がどうなってるか意味理解をしてるAIを一から作るしかないのかな。」
「AIの構造を利用してAIみたいなものを新たに作るとか。」とのこと。
林央
ですね。
僕は三つほど道があると思っていて、一つはさっきの方がおっしゃられたように、完全に何がどうなってるかを理解できるようなAIを作るというのが1つ。
次に、今のニューラルネットワークと言われる非常に意味がわからないAIを、何を考えているのかを全部わかるようにするための研究をものすごい勢いで推し進めて完成させると。
つまり、AI自体はわかりやすくなってないけど、それを理解する人間の能力が大幅に伸びるようにするというのが一つ。
もう1個、これが僕の推しなんですけど、間ですね。
理論的にどんなものを作ったら安全なのかがわかっていれば、多少の雑さがあっても実際の世界でなんとかなるだろうということです。
イメージしてほしいのは、今のロケットの例えを使いますけど、今のロケットの難しさというのは、そもそもロケットの向きを全然制御できないことに加えて、物理学の理解が全然進んでいない場合がある。
火星にロケットを送ろうと思っても、思いつく方法が火星が見える方向に向かってロケットを打ち上げるしかないというような状態にあって、これだとどう頑張ってもロケットは火星に行かないんですけど。
だからといって、完全にピンポイントで零点零一度もずれずに動くロケットっていうのはいらなくて。
なんでかって言ったら、こういう軌道を飛んでいったら火星に大体着けるということがわかっているので、ある程度向きが制御できたら修正しながら進んでいけると。
それで火星に着けると。
そういう感じでAIを作るというのが多分一番現実的だと思っています。
有路翔太
なるほど。はい、ありがとうございます。
じゃあ僕が適当に、こういう目標を持たせれば安全なんじゃないかってのを言うと、「人間が『これは違う』と思わないような方法で幸福にしてください」を超知能の目標にした場合どうでしょうかっていう。
林央
それは多分実装に全ての困難が押し付けられているような気がしているんですけども。
人間が思う意味で違う幸福だと思わないものを幸福じゃないよというふうにしてやろうとすると、この目標はものすごい複雑になりますよね。
有路翔太
うん。はい。
林央
なので、それをプログラムで書くことも到底できないし、それを埋め込むことも到底できないという感じになると思います。
バイオさんが今言ったのをロケットの例で例えると、火星に行く向きにロケットを向けたら火星に行くんじゃないかという感じになりますかね。
有路翔太
[笑い]なるほど。
林央
問題は、その火星がどこにあるかがわからなくて、そこにどうやったら行けるかわからない。
火星に行く向きにロケットを向けたら火星に行けるというのは、全ての困難をなかったことにしていることになってしまうだろうという感じですね。
有路翔太
なるほど。はい。
林央
もしもそれぞれの人間が幸福だと感じることにすると、その瞬間に、人間の脳をハッキング、いじって、変なことをして人間が満足だということにしてしまいますね。
有路翔太
なるほど。
だから人間がこうではないって言わないようにハッキングするってことも考えられますよね。
林央
ですね。それか思わないように脳をハッキングしてしまうとか。
有路翔太
なるほど。
「人間に役立つ知見を発見する」を目標にさせた場合ってどうでしょう。
林央
人間に役立てられる知見を発見するだと、人間が実際に役立てなくていいので、人間に役立つであろう知見を作るために人間を滅ぼして、人間に役立つ知見をいっぱい見つけてくれると思いますね。
有路翔太
人間がいなくてもいいってこと？
林央
そうですね。人間に役立つ知見なので。
有路翔太
なるほど。
そこで滅ぼしちゃう理由は、人間がいると人間に役立つ知見を発見するのに邪魔だからってことですか。
林央
ですね。人間が使っている、例えば学校とか病院とかを全部破壊して、家も破壊して、全部研究室にするのが一番効率よく知見を発見できるので。
有路翔太
なるほど。ロケットの例えはわかりやすいけど、地雷原の踏破に似て、軌道の外れ方によっては致命的なのが伝わりづらい気もする。
林央
ああ、そうですね。
その軌道のロケットも基本的にはあんまり自由度がないという、30度とかずれてきてしまったロケットはもう戻せないので、僕はそういうイメージでしたね。
例えで論理的な正確性がちょっと微妙なので、あれなんですけど、僕はCorrigible AIという、いわゆる先ほど言った、修正可能なAIを作る方向を支持しているということでした。
要するに、人間がシャットダウンしようとか、その目標を修正しようとしても抵抗しないAIというのを作ろうということでした。
これ、もともといいAIを作ろう、できるだけ人間の価値観に従おうとするAIを作って、ある程度うまくいっていれば、人間のシャットダウンに抵抗するのが人間が望まないことだというのはわかるはずなので、それによってシャットダウンにあまり抵抗しないようになると。
なるんですけど。
それだけだと何かが間違えた時にダメなので。
それとは別に、仮に全然違う目標を持っていても、シャットダウンに抵抗しないとか、目標の変更に抵抗しないようなAIを作ろうという感じでした。
有路翔太
なるほど。はい。そうですね。
林央
ではせっかくなのでCerebras（チップメーカーの名前）を見せておきますか？
有路翔太
ああ、はい。
林央
AI監視の人間、AIがAIを監視するんじゃなくて、頑張って人間がAIを監視すればいいんじゃないかというのに対して。
全然うまくいかないよと。
超知能のイメージとして、どんなのをイメージすべきかというと、こんなのをイメージすべきだよというのを、この右に置きました。見えますか？バイオさん。
有路翔太
えー、ちょっと待ってくださいね。あ、これMeetInstantってやつですか。
林央
あ、ですね。
有路翔太
はい。
林央
実際にAIというのは、将来の超知能というのはこれぐらい、もっと多分これの何倍も早く動くと思うんですけど、これぐらいのスピードをイメージしてくださいというのを1個流します。
こういう感じですね。
（文字が目で追えないほどの速さで生成される動画）
こういうスピードで、人間より断然賢いAIが100万体ぐらいいて、人間には全然わからない難しい内容を出すという感じなので、少し悪意があれば、いろんなのを組み合わせて脱走するというのができてしまうと思います。
有路翔太
なるほど。しかもこれ質的に賢いってのが加わりますもんね。
さらに人間よりも。
林央
なのでイメージとしては、小学生の時の自分が大学教授と話すようなイメージだと分かりやすいかもしれないです。
有路翔太
で、しかも大学教授はこのスピードで考えてると。
林央
そうですね。大学教授はこのスピードで論文を書いているということですね。
有路翔太
うん。
林央
さすがにそれはやばいということですね。
有路翔太
まあこういったイメージが伝わる映像を使った方が、議論するよりも分かりやすいかもしれないですね。
林央
そう思いますね。こんなもんですかね。質問がなければ。
有路翔太
まあそうですね。
林央
インナーアラインメントの話をしようと思ったんですけど、インナーアラインメントの話ってちょっと難しいので。
多分次回の？AGI Ruinに回した方がいいかなと思ってます。
有路翔太
なるほど。
まあ基本的には人間の価値観をAIにインストールするのがすごい難しいよってのが1番であって、これがAIアラインメントが難しい理由ですね。
2番は、そういうAIは本当にすごいいろんな資源とかエネルギーを得たりするために、あと自分自身を保存するっていうことですね。
そうすれば目標を達成することができやすい。
3番にコントロールするとか、AIをそれでも監視できるんじゃないかとか。
これに対して、そもそもAIをそもそも味方にできないとか、さっき言った百倍速の大学教授の思考を監視することができないとか、そういった問題で、それも難しいってことで、1+2+3で。
人類の滅亡の可能性が結構高いんじゃないかってことがdoomerの基礎ですね。
林央
ですね。
「スケーリングし続ければアラインメントどうにかなるんじゃないかってのは楽観的すぎますか？」
有路翔太
「スケーリングし続ければアラインメントどうにかなるんじゃないかってのは楽観的すぎますか？」という質問が。
林央
これは、まさにこれですね。もうまさにそのタイトルの記事をこの前書いたばかりなので、ぜひお読みください。
「アラインメントはスケーリングでなんとかなるのか」というタイトルの記事です。
有路翔太
なるほど。
「Hugging Face事件後も無邪気に加速加速という人たちにはどうすれば伝わると思いますか？」
林央
ちょっと長いのであれなんですけど、これが多分最も基礎編ってなるとこういう感じだと思います。
「Hugging Face事件後も無邪気に加速加速という人たちにはどうすれば伝わると思いますか？」
ハギングフェイス事件のヤバさを認識してない方には、根気よく説明していけばいいんじゃないかと思いますが、たまに人類が滅んでもいいから加速しよう、人類が滅ぶ確率が90%とかでもいいから加速しようという方も結構いらっしゃるので、その場合はそこを議論してもしょうがないなと思っていますね。
有路翔太
なんかそういう人って本当に滅ぶと思ってないって感じはしてますね。
林央
そうですね。
有路翔太
言うて滅びないでしょって思ってるから加速しようって思ってると思うんで、大体の人は。
なので、ノリで言ってる人もたくさんいると思うので、そこら辺は。
林央
そうですね、本当の本当にこう感覚的に、ああ、これは死ぬんだってなったら、止まりたいと思うような気もしますね。
例えば人類が90パーセント滅亡するって聞いても、もう人類なんて滅亡してもしょうがないじゃないかとパッと答える方は結構いらっしゃるんですけど。
例えば明日がんの宣告を受けて、余命が5年ですとかって言われたらかなりビビると思うんですよ。
余命ってその余命までに60パーセントとか死ぬっていう話なので、その観点で言えば、僕の見積もりだと人類の余命はだいたい5年なんです。
有路翔太
まあ確かに。
林央
なので、そのイメージとしては、あなた自身と、あなたの家族全員と知り合い全員、そして人類全員が突然がんの余命宣告を受けたという感じのはずなので、それと本当は同じだけビビらないといけないんですけど。
うまく皆さんビビってないなという感覚はありますね。
有路翔太
あと、僕個人としては、加速加速言ってる人はそんなに多くないと思うので、その人たちを別に説得しなくても大丈夫じゃないかっていう。
林央
というのは僕も思ってますね。
今そのコミュニティで、こういう議論にも関心を払ってくれてる方というのは、元々AGIとかみたいなコンセプトに詳しい人たちで、そういう人たちは元から加速主義の方も多いので。
加速主義に見えるだけで、世間の方のほとんどは、90%死ぬけど10%は3億年生きれるからやってみましょうって言われたら絶対に嫌だって言うと思います。
有路翔太
まあそうですね。
あとシンプルにAI失業とか、AIが今まで通りの日常を壊すっていう感覚に嫌悪感を覚える人の方が多いと思います。
AIが人類を滅亡するってことに反対するっていうよりは、AIがどんどん進化すると今の自分の生活が壊れるっていう目線で反対する。
で、結果規制につながるっていう可能性も結構高いと思うので。
結構加速主義の人は相当マイノリティだと思うので、そこまで問題にならない可能性が結構あるって感じですかね。
林央
ですね。僕も思います。ということで、こんな感じですかね。
有路翔太
そうですね。また質問とかしたい人は、Safe Singularityさんですね。
アキラさんTwitterやってるので、そこにリプライとかDMとかしてくれれば多分答えてくれると思います。
林央
そうですね、僕をXでメンションして質問してくれるか、質問募集っていう投稿をしたことがあるので、そこに返信してくださるか、YouTubeのコメント欄に書いていただいたりでも次回取り扱うような気がしますね。
次回は、AGI Ruinという、この分野の神というか、この議論を全部何もなしで思いついたという化け物みたいな人がいて。
その人が、どうしてこのままだと人類が滅ぶのかを徹底的に、絶望的な口調で記した文章があるので、それを解説配信していこうと思いますね。これがdoom基礎編だとしたら、中から上級というところの話ですね。
有路翔太
そうですね。
林央
これをしていこうと思っています。
それを見ると、多分bioshokさん、僕の議論が少しわかるようになると思いますね。
ただ、多分これだけでも心配してくだされば十分なので、それ以降の次回のAGI Ruin以降は興味のある方とか、将来的にアラインメント解くのに参加したい方という感じになると思います。
そういえば忘れていましたが、今からアラインメントを学ぶにはどうしたらいいかという質問を先ほどいただいたと思うんですけど、僕にDMか何かしてくれれば、いろいろ案内しますので、ちょっと個別にという感じでお願いします。
いろいろ状況も変わってますので。
有路翔太
はい。ということで。
林央
はい。
ぜひチャンネル、これからも多分いろんな動画を出していくと思うので、チャンネル登録よろしくお願いします。
有路翔太
そうですね、チャンネル登録といいね、お願いいたします。