以下はSafeSingularityによる、代表 神楽坂やちま・主任研究員 林央・代表 有路翔太の対談書き起こし全文です。原文（note）はこちら。
著者：SafeSingularity
概要
8月9日15:00から24:00にかけて、Yatima氏/bioshok氏とAkira氏によるP(doom)討論が行われました.
非常に基本的な整形以外を行なっていない対談の書き起こしをこちらで公開させていただきます.
ほとんど整形を行っていないので、人間が読むことではなく、人間がAIに読ませて疑問点などを投げかけるといったことを想定しています.
対談記録の書き起こしは約270,000文字、トークンにしておよそ200,000トークンほどです.
書き起こし本文
00:02:35,080 --> 00:05:12,500 [bioshok]
どうも皆さん、はじめまして.はじめまして. AGI Hubの面々、面々ですね.これが.
00:07:02,432 --> 00:08:39,012 [bioshok]
はじめましてではありません.ということで始めていきたいと思います.で、まあAGI HUBの、まあ何ですかね、これが面々ですね.で、AGI HUBってなんじゃっていうところで説明すると、まあAI、高度なAI、AGIとか超知能っていう言葉をありますけど、そういったものがもたらすリスクとかインパクトについて幅広く発信したり、啓発したり、まあ場合によって研究したり、いろんなところと連携したりして、まあちょっといろんなアウェアネスを広め高めていこうかなという事業になってますと.で、私が、まあ私とこのやっちまが代表で共同で創設させていただいて、6月に創設させていただいて、で、この真ん中映ってる林アキラさんが割とこの前回のP(doom)ディベートでドゥーマーと言われる立場でいろいろ語ってくれていますと.で、まあ一旦簡単に自己紹介、僕すると、AI Safetyの、まあAIの安全性の分野とか、まあAIのトレンドとかシンギュラリティみたいな話をXで発信してるバイオショックと言いまして、まあそういった形を会社にして、今立ち上げたって形でね.はい.じゃあ次やっちまさん自己紹介しますか？一応.
00:08:39,412 --> 00:08:45,932 [yachima]
はーい、やっちまでーす.なんかフラフラしてる怪しい人でーす.
00:08:47,602 --> 00:08:48,512 [bioshok]
適当、適当.
00:08:49,752 --> 00:08:58,552 [yachima]
あの最近働きすぎちゃったんでね.もうちょっとクズ人間的なね、要素をね、増やしていった方がいいんじゃないかと思っているこの次第で最近です.
00:08:59,552 --> 00:09:00,452 [bioshok]
なるほど.
00:09:00,572 --> 00:09:02,712 [yachima]
はい.
00:09:02,752 --> 00:09:07,392 [bioshok]
まあ、あれ言っていいんでしたっけ？あれとかって.その.
00:09:07,432 --> 00:09:07,872 [yachima]
AC？
00:09:07,912 --> 00:09:09,092 [bioshok]
そうそう、それとか.
00:09:09,152 --> 00:09:12,652 [yachima]
なんか言っていいのかわかんないからよくわかんないですけどね.
00:09:12,832 --> 00:09:13,772 [bioshok]
なるほどなるほど.じゃあまあ.
00:09:14,632 --> 00:09:21,012 [yachima]
AI Safetyなんたらっていう組織とかね.あの関わってるっていう感じですね、最近.
00:09:21,092 --> 00:09:21,552 [bioshok]
なるほど.
00:09:22,112 --> 00:09:25,272 [yachima]
はい.政府系の強強そうな.
00:09:25,952 --> 00:09:26,472 [bioshok]
はいはい.
00:09:26,752 --> 00:09:29,012 [yachima]
じゃなさそうな不思議な組織.はい.
00:09:29,112 --> 00:09:32,452 [bioshok]
はい.まあよろしくお願いします.
00:09:32,552 --> 00:09:34,712 [yachima]
あーす.
00:09:34,872 --> 00:09:41,272 [bioshok]
で、まあ、じゃあ林さんももう一度前回みたいに自己紹介を.
00:09:41,332 --> 00:09:44,932 [akira]
えっと、今日AI開発を停止しようムーブメントを始めました.
00:09:46,332 --> 00:09:46,692 [bioshok]
そうですね.
00:09:47,052 --> 00:09:51,392 [akira]
前回バイオさんに完勝したらしいアキラです.どうも.
00:09:51,472 --> 00:09:52,552 [bioshok]
よろしくお願いします.
00:09:52,612 --> 00:09:53,812 [yachima]
よーし.
00:09:53,892 --> 00:10:15,312 [bioshok]
まあ、アキラさんはAIドゥーマーと言われてて、まあAIがこのまま進歩していって、開発の規制とかも緩ければ、ほぼ全人類が絶滅する可能性が九十九パーセントぐらい、すごいほぼ確実に全滅するんじゃないかと考えているような人を、いわゆるAIドゥーマーって言われてる人で、と.
00:10:17,072 --> 00:10:18,852 [akira]
バイオさんももうあんま変わんないですけど.
00:10:19,552 --> 00:10:21,752 [bioshok]
まあ、そうですね、まあ.
00:10:23,092 --> 00:10:25,272 [akira]
今日は新理論を提示いただけるということで.
00:10:27,352 --> 00:10:27,852 [yachima]
任せろ.
00:10:29,691 --> 00:11:01,652 [bioshok]
やっちまさんがどっちかというと、まあ今日は討論相手として、アキラさんと、まあ僕もいろいろ突っ込むというか、その中に入りつつ、いろんな議論を、今日P(doom)の周りの議論をしていければと思ってますと.で、まあこんな感じで、この三人でやっていきますけど、前回の議論の話をしていきますか.
00:11:02,532 --> 00:11:03,932 [akira]
じゃあバイオさんがどうぞ.
00:11:03,992 --> 00:11:15,132 [bioshok]
はい.え、ちょっと.そうね.
00:11:58,132 --> 00:13:49,660 [bioshok]
で、この前回このフリーボードを使っていろいろ考えてましたと.で、ま、ちょっとまだ数日、一日か二日ぐらいしか経ってないので、Pドゥーム僕のP(doom)はまだ更新作業中ですけど、前回の議論でいくと、まあ主にこのP(doom)って言われてるやつの、まあこのファストテイクオフですよね、の話をしてましたと.まあつまり割と短期間五年以内に、ま、超知能が出てきた場合に、ま、しかも開発の、ま、停止がほぼなくて出てきた場合は、まあ僕のそのアライメント成功確率っていうのが、まあ二十パーセントぐらいなんじゃないかと話してましたと.で、アライメント成功確率が二十パーセントなので、まあほとんど僕コントロールの可能性って、まあほぼ超知能までいっちゃうと難しいんじゃないかって考えてたので、まあその八十パーセントですね.アライメントが不成功の八十パーセントの、すべ--ほぼ全てのシナリオで、ま、人類が絶滅しちゃうということを考えていたので、まあつまり、ま、P(doom)が八十パーセントですね、この場合でいうと.ファスト、まあつまり超知能の開発がこのまま五年以内に行ってしまうと、まあ十パーセントぐらいで人類が滅亡しちゃうと.で、まあその、こ-この論点で一番重要なのが、だから前回で言うと、このアライメント成功率が二十パーセントっていうのがありますけど、これがデカすぎるんじゃないかっていう.
00:13:50,400 --> 00:13:52,160 [akira]
他に大きすぎると思う.
00:13:52,200 --> 00:15:44,280 [bioshok]
そうそうそう.デカすぎると.で、現--で、ここの論点でまあ基本半分以上を占めてて、前回の議論、まあ六時間ぐらい話しましたけど.で、まあいろいろアライメントが事前学習の段階ですごいうまくいっちゃっているというアライメント、バイデフォルトとか、まあ、二番のAI、まあその超知能までとか、AGIすごい自律的に何十年もフォン・ノイマンのように考えられる、し-視野の広いAIじゃなくても、まあちょっとですね、まずAIを使ってすごい高度なAI弱AGIってここで呼んでてましたけど、まあ自律性がそこまでなかったり、まあその言われたことだけはできるけど、それ以外はそこまで探索できなかったりするような、けどまあすごい賢いAIで解決できるんじゃないかみたいな話も、まあそんなにそもそも弱いならアライメント解決できないし、アライメントが解決できるほど強くなったら、まあ破滅しちゃうんじゃないかと.まあ欺瞞的な振る舞いとかハッキングとか、脱出しちゃったり、さ-サイバー攻撃が、まあその内部で起こったり、いろいろと問題になっちゃうということで、二番も難しいんじゃないかってことでと.まあ、まあそこら辺の議論は、この右側のこのボードでいろいろ七つぐらいに増えて話してましたけど、前回は.これは確か三時間、なんか半分ぐらい過ぎたところから辺からこの辺に話って.
00:15:44,340 --> 00:15:49,220 [akira]
そうですね.途中あの僕が一人で僕と戦うという謎企画に.
00:15:49,280 --> 00:15:49,960 [bioshok]
ああ、そうですね.
00:15:50,140 --> 00:15:50,840 [akira]
タイミングが.
00:15:51,740 --> 00:16:14,780 [bioshok]
アンチドゥーマー、つまりドゥーマーの真反対の意見を言う、あ-輝さん、アンチドゥーマー輝っていうのを召喚してもらって、まあガンみたいに敵対的生成と.生成で繰り返して洗練されていって、ドゥーマーが勝つみたいなことが起こってるみたいですけど.
00:16:14,840 --> 00:16:17,680 [akira]
あの脳の負荷がすごいので今日はぜひご遠慮ください.
00:16:19,060 --> 00:18:13,000 [bioshok]
OKです.まあいろいろあって、アライメントバイデフォルトの場合は、まあつまり基本的には、もうピュアマキシマイザーですよね.あるステートを最大化するための行動をとるような強化学習エージェントというか、まあそういうものプラス、えー、その経路を、まあ、えー、最適化するという、まあ人間のイミテーションに近いものをここでは想像してもらうといいかもしれないですけど、まあこれが事前学習で割と、えー、埋め込まれているんじゃないかっていうところが、まあアライメントバイデフォルトの議論で、で、ここが、まあそうですね、まあうまく、えー、人間の振る舞いっていうのを、まあ埋め込むことができていれば、まあ埋め込むことできていて、かつそれが、まあこの、なんですかね、この方策にも、まあ影響していれば、えー、まあ人類の滅亡を、まあ結果的に引き起こすような極端な行動は取らないようなAIができるんじゃないかみたいな、まあ議論がありましたけど.うーんと、強化学習っていうのは、まあつまりこの一番右の項は、まあピュア・ステート・ユーティリティ・マキシマイザーにどんどん近づいていって.
00:18:14,388 --> 00:18:17,248 [akira]
で、本当に綺麗になぞってますね.
00:18:18,528 --> 00:18:24,048 [bioshok]
綺麗になぞってる.イミテーションしてますね.今このパス・ユーティリティやってますね、今.
00:18:25,688 --> 00:18:27,728 [akira]
パスを正確にたどってますね.
00:18:28,688 --> 00:21:08,908 [bioshok]
で、まあ、まあ、まあだから、去年のクラウドのブラックメールの事件とか、まあそうですね、今回のOpenAIのハッキングの事件とか、OpenAIのHugging Faceのハッキング事件とかあると思うんですけど、強化学習がまあ、えー、生み出すエージェントの振る舞いっていうのは、割とその強化学習環境で報酬を最大化することに近づいていって、ここのパス・ユーティリティの中でうまく反映できてないような項目をハックして、で、まあそこを経由して、このピュア、なんかそのこの強化学習環境の、まあ状態に対するユーティリティを最大化しちゃうんじゃないかっていう、つまりカンニングとか、まあ思ってもみないような最適化の方法をしちゃうっていうことですね.で、二番はパス・ユーティリティの穴探し.まあつまり、えーっと、Hugging Faceのハッキング事件でいうと、まあ、えー、普通はそのサイバー攻撃のタスクを与えられたら、そのサンドボックスの中で行うという、その常識がありますけど、人間の中だと.インターネットの、なんだろうな、情報を見て、その中でベンチマークを探して、それをカンニングすればいいっていうふうには普通の人ならあまり考えないですけど、まあそれを考えて、さらにHugging Faceのシステムを強力にハッキングするっていう、結構OpenAIのサンドボックス環境とかも、普通にインターネットには接続されてないんですけど、うまくOpenAIの内部インフラもハッキングして、Hugging Faceの、えー、システムもハッキングしちゃうということで、このパス・ユーティリティの穴探しがすごい、ちょっとでもどこかに穴があると、それをこう探して、まあ予期しない動作をしちゃっていますっていうことですね、二番は.で、三番は、何でしたっけ？パスの方に一貫性がない長期の.これアキラさん説明できますか？
00:21:09,028 --> 00:21:09,728 [akira]
何がですか？
00:21:10,148 --> 00:21:11,128 [bioshok]
三番.
00:21:11,408 --> 00:21:33,288 [akira]
ああ、三番.三番はこれか.これが三番か.は、そのパスの方には一貫性がないので、その同じある、うん、なんだろうな.えっと、状態に対するユーティリティの方は、ある状態に向けてずっと引っ張っていくのに対して、パスの方はそれぞれ毎回違う向きに引っ張っていっちゃうので負けるみたいな話ですね.直感的に言えば.
00:21:34,588 --> 00:21:36,048 [bioshok]
もう一回言ってもらっていいですか？ちょっと.
00:21:36,148 --> 00:21:40,488 [akira]
そのパスの方はそのバラバラというか、その一貫性がないので.
00:21:40,568 --> 00:21:40,928 [bioshok]
はい.
00:21:41,188 --> 00:21:49,488 [akira]
状態のユーティリティみたいなのが、ある状態に向けてずっと引っ張り、紐で引っ張り続けてるとしたら、パス・ユーティリティの方は時々全然違う方向に引っ張っていくので.
00:21:49,588 --> 00:21:49,908 [bioshok]
ああ.
00:21:50,648 --> 00:21:53,968 [akira]
総合すると怪しくなるってことですね.まあもちろんその、そういう.
00:21:54,628 --> 00:21:55,248 [bioshok]
はいはい.
00:21:55,328 --> 00:21:56,928 [akira]
論理というわけではなく説明ですけど.
00:21:57,608 --> 00:22:05,498 [bioshok]
なるほど.まあ人間も戦争とかするみたいな話してましたもんね.だから.
00:22:05,528 --> 00:22:06,808 [akira]
それはあれじゃないですか、上じゃないですか.
00:22:07,488 --> 00:22:08,248 [bioshok]
あ、これ上か.
00:22:08,588 --> 00:22:12,268 [akira]
上も下もそうか.まあその本質的に綺麗に分けられる問題ではないので.
00:22:14,128 --> 00:22:42,488 [bioshok]
つまり人間の脳みそが、その本当にこの物理的な脳みそが一貫して動くような領域ってのがあったとして、それを予想する、このパス・ユーティリティを、そのパスをまあ予想することが長期で難しくなっていくってことでいいですかね.
00:22:42,988 --> 00:22:45,188 [akira]
そうですね.うん、そうです.
00:22:45,888 --> 00:24:05,968 [bioshok]
例えばホワイトカラーの業務をエクセルを、なんかその振る舞いを自動化するとかならまだできるけど、例えばナノテクノロジーとかダイソン・スウォームとか、宇宙超知能文明みたいなものとか、あとは多元宇宙とか、なんか統合情報理論とか、なんかそういうすごい人類がまだ到達できてないようなフロンティアのさらにその先みたいなものを、にまでこの思考の、まあというか振る舞いがどんどんこう伸びていくわけですけど、AGIとかまでいくと.超知能のとこまでいくと、なんかもっともっともっとさらに意味がわかんない方向まで伸びていくわけですけど、そこまでの、なんかその振る舞いでどうなのかっていうのを、まあそのデータがないですから、人間のデータって当たり前ですけど、まだカルダシェフタイプスリー文明とかまで行ってないから、その人間の生の脳がそこでどう振る舞うのかみたいなデータがないから、普通になんか結構ガバガバになっちゃって、そこの領域だと.
00:24:06,028 --> 00:24:12,168 [akira]
そうですね.そういう時にちゃんと防げるように作ろうとすると、結局結果で指定する方がまだ早い可能性があるぐらい.
00:24:12,708 --> 00:24:13,948 [bioshok]
ああ、はいはい.
00:24:13,958 --> 00:24:14,368 [akira]
危ういですね.
00:24:16,080 --> 00:32:20,144 [bioshok]
っていう話がこの三番と.そうですね.つまりホワイトカラー領域ならまあまだまだデータとかあるからいけるかもしれないけど、それをはるかに超えた領域まで、まあ、なると結構意味がわかんない方向にこう振る舞いが発散しちゃうんじゃないかみたいなイメージですよね.グレー？そうあるけどグレーに.これでどうだろう.今.おー、出ました出ました.出ました.本当だ本当だ.なるほど.ちょっと面倒ですね.で.えーと、で、四番が、だからそういう話というか、なんかその、何て言うんですかね、例えば今回のミトス、ミトスだっけ？じゃなくてミトスでいいのか.そのアンソロピックのミトスかな.ミトスが外部のシステムにハッキングしてたっていうアンソロピックのまあ話がありましたけど、それはまあえっと、自分自身がこれはサンドボックスの中にいるっていう風に、まあ信念操作もできるわけで、それが信念操作として意図的にやってたのかは別として、まあそのインターネットをまあから遮断されたサンドボックス内でサイバー攻撃のテストをしているんだっていう風に自分自身を納得させることで、サイバー攻撃を続けちゃうみたいなこともできちゃうと.まあつまり、まあすごい簡単に言うと、人類が、人類を絶滅させても、これはシミュレーションだからいいよねみたいな風に信念操作もできちゃうので、もしくは人類を絶滅させることこそが人類にとって良いのだみたいな、そういうすごい謎理論を.人類を絶滅させていないと思うとか.させていない.なるほど.その別のクローンを作ってるだけだみたいな説.もしくはすごい奇妙な形而上学的な認識論を持ち出して、なんかすごいこと言うとかな.そういうこともできるんで.まあ、つまりなんかすごいこう、実際に人類が滅亡してるのに滅亡していないと思うとか、これは人類のためだったとか、すごい色んなアクロバティックなことって考えられる、言うこともできると思うんで、そういう変なことがメタ的な認知の、その操作とかで起こっちゃうかもしれないというのは、この四番ですと.で、なので基本的には.で、最後に.最後にじゃなくて、これが金的当選ですね.えー.まあ復讐の最後.そうそう.で、これがだから番ですね.アライメントバイデフォルトが結構怪しい理由って.これだから、あの、ここから六時間これをやることになる可能性があるので、その.もう終わり.で、これでもう終わりじゃないですか、大体.でも.そうか、確かに.で、それがあるので、基本的に、まあ、えー、何て言うかな、アライメントがデフォルトで起こってるって考えるのは相当事前確率を小さくしなきゃいけないんじゃないかっていうのが番で、番は弱AGIで解決ってことですけど、その弱AGIっていうのは、まあそれこそアライメントを突破するっていうことができる知能ってすごい、何て言うかな、まあそのカルダシェフスケールタイプ文明とかまでもう考えられるはずだし.まあそれが考えられないなら.あの、何分ぐらいで終わるかを決めた方が良くないですか？その変わる前に変わるかと思ったっていうコメントすら来てますよ.いやなんかね、多分ね、一旦あと五分ぐらいで終わると思います.わかりました.十分で.で、まあでもどうせスタンプつけるんで、興味ない人はそれ飛ばせるようにするんで.あ、なるほど.でも今聞いてる人かわいそう.犠牲者.いやまあ今聞いてる人は復讐できるんでいいと思います.で、弱AGIで解決っていうのは、まあ、だからそういう領域まで反映、まあつまりアライメントが解決できる知能ならば、misalignmentしている、まあこの右側の議論に近い話で、かなり分布外の状態でアライメント問題って解くことを要請されると思うんで、アライメントできてないんじゃないかって話で.で、アライメントできているなら、かなり分布内のAIのはずなので、アライ、まあアライメントできてるかもしれないけど、その逆に言うとアライメント問題が解けるほどの知能ではないみたいな.が番でこう却下されて.うん. ③番も同じで、トレードに応じるようなAIだったらそこまで強くないAIで.トレードに応じるようなAIだったら、まあそこまでアライメント問題も解けないからあまり意味ないし、トレードに応じ、まあそのすごい強かったら、まあ応じずに、まあどっかサイバー攻撃して外に出ちゃうとか.まあそもそもトレードしてるふりをするだけかっていう話が③番でありましたと.で、④番はまあそこにメカニスティック・インタープリタビリティとかも入ってきた話なんですけど、まあメカニスティック・インタープリタビリティで、何でしたっけ？検知できるかもしれないですけど、でもそもそも検知したその欺瞞的なその状態とか悪意の状態っていうのが、まあ本当にその悪意なのか欺瞞なのかっていうのがまだわかってない話と、まああとは、えーと、つまり検知する技術がまあ現状ここまでないんじゃないかっていう話と、検知できたとしても、えー、それは結局アライメント問題を解いてるっていう話とはまた別の話なので、まあアライメント問題が解決できてないと、結局はどこかで人類の破滅への経路になっちゃうと.で、⑤番はちょっと説明難しいんで、僕は.
00:32:20,354 --> 00:32:24,604 [akira]
パスしましょう.これはここで説明する必要はないと思う.どうせ成功しない.
00:32:25,504 --> 00:32:32,044 [bioshok]
非因果的取引の話はちょっとパスして、それしたいならまた別で動画を撮りましょう.
00:32:32,664 --> 00:32:37,124 [akira]
そうですね.acausal trade専門動画1時間ぐらい、1、2時間ぐらいまた話せると思うんで.
00:32:37,324 --> 00:32:38,184 [bioshok]
そうですね.
00:32:38,204 --> 00:32:39,344 [akira]
acausal trade入門.
00:32:40,284 --> 00:32:42,504 [bioshok]
acausal tradeの動画も撮りたいですね.
00:32:42,784 --> 00:32:44,224 [akira]
君、君もacausal tradeをしよう.
00:32:46,764 --> 00:34:22,084 [bioshok]
で、えーと⑥番がだから結構②番と割と近くて、えーまあscalable oversightで解決しようとしても、まあそこまでじゃ、scalable oversightで解決しようとするAIが、まあそもそも弱いAIだとアライメント問題解決できないし.で、ある程度強くなっていくとアライメントできてないはずなので、scalable oversightの大前提となる、まあ監視してうまく、うん、突破しようっていう話も、そもそも監視AIがアライメントできてないような話になってくるので却下されたり.まああとディベートとかもあるけど、ディベートはお互いの議論をまあ競合してランドバッキングしたり、まあお互いがまあそうですね、ミスマッチされてたら.うん.まあそうですね、ディベートっていうものも、まあどこかでまあ意味がなくなるだろうと.⑧番はさっき言ったメカニスティック・インタープリタビリティで.ね.はい.ってことでいろいろ話して.
00:34:22,104 --> 00:34:33,064 [akira]
ありがとうございました.じゃあいよいよヤチマさんにここにスケッチを描きながら、そのヤチマさんの生存のコースのスケッチを.
00:34:33,164 --> 00:34:33,424 [bioshok]
はい.
00:34:33,824 --> 00:34:34,684 [akira]
していただきましょう.
00:35:54,164 --> 00:36:01,264 [akira]
一旦僕はそのコメントしないでひたすら説明していただいて、後でそれを、それがどう失敗するかを僕が説明するという.
00:36:01,364 --> 00:36:32,200 [yachima]
なるほどなるほど.いいのかな.うん、わかりました.えっと、まあじゃあまずですね、えっと.まあ本当にあの本題に入る前にみたいな感じになっちゃうんですけど、まず.えっとガバガバだ.よいしょ.時間軸です.
00:36:32,300 --> 00:36:36,180 [akira]
今回はAI 2027のレースシナリオのタイムラインを仮定するんですよね.
00:36:37,660 --> 00:36:38,820 [yachima]
ああ、いいですよ.うん.
00:36:39,720 --> 00:36:40,640 [akira]
そうするんですね.
00:36:40,680 --> 00:36:45,760 [yachima]
そう、あのここの時間軸はまたあのそことかは全然関係ないというか.
00:36:45,820 --> 00:36:52,660 [akira]
ああ、なるほどなるほど.じゃなくて、その視聴者の方々に前提を共有というか、ばいばさんのは前回総合だったので.
00:36:52,720 --> 00:37:04,420 [yachima]
OKです.OKです.まあ個人的にはなんかあんまりシナリオが、そこら辺のシナリオがどうかどうっていうのは関係ないんじゃないかなっていう気がしているので、まあなんかどっちでもいいやっていう感じですけど.
00:37:04,460 --> 00:37:06,700 [akira]
じゃあAI 2027のレースシナリオでいきましょう.
00:37:07,140 --> 00:38:57,400 [yachima]
うんうんうん.ってことでOKです.OKです.で、えっと、まあまあなんか.まあここら辺はこうちょっとなんかふわっとふわっといきますね.まあなんかAGIができます.ってなった後に、まあ多分AGIができた後に、あの、マインドアップローディングがぼちぼち.アップロードできると思うんですよね.要はあのマインドアップロードっていうのは、まあ一応念のため説明しておくと、その自分の意識をあのコンピューターの中にアップロードできるようになるみたいな、そういう話なんですけども.まあAGIができれば、あの科学が自動化されて自動化が進んで、あの、そういう技術もまあスピード、スピーディにあの完成するようになるでしょっていう話なんですけども.まあなのでAGIができれば、じきにマインドアップロードもできるようになるでしょっていう話はあると思うんですけども.で、まあ、そうすると、まあすごく話を戻すと、前提としてマインドアップロードができるようになったら、その後のXリスクって考えなくていいんじゃね？って個人的に思ってます.それはどういうことかというと、マインドアップロードできれば、まあ基本的には人間かAIかって区別ができなくなってくるわけですよね.
00:38:59,590 --> 00:39:01,780 [akira]
あ、これ僕が一応動揺した方がいいですか？ここで.
00:39:01,820 --> 00:39:02,480 [yachima]
あ、してもいいですよ.
00:39:03,080 --> 00:39:06,800 [akira]
あ、いやいや、意見表明しなくても進んでいくならしないまま進んでいきます.一旦.
00:39:09,060 --> 00:39:14,220 [yachima]
うんと、まあ反論するんだったら、ここでなんかまあしばらくそのバチバチになるんで.
00:39:14,440 --> 00:39:16,380 [akira]
いやいやいや、あの全体を見せてもらってから.
00:39:16,840 --> 00:52:11,018 [yachima]
一旦全体を.はいはいはい.で、まあえっと、まあなので、えっと、要は話を戻すと、あの、区別がつかなくなってくるので、そもそもあのXリスクとかP(doom)とか、そこら辺が定義が、仕様がなくなるので.要は逆にあの、ここまでの過渡期についてのP(doom)について、P(doom)というか、あの、人類が滅んでしまうかどうかについて考えればいいんじゃないかっていうのが個人的な大大前提ですね.大前提というか、別にあれなんですけど、まあその、よりあのリスクを縮めるための、縮める？言い方がわからないな.リスクのあの懸念の大きさを縮めるというか、ことができるかなと思っているというところですね.で、まあこれがまああってもなくてもいいっちゃいいんですけれども.まあうん、これで.そうそうそうそう.で、じゃあえっと、本題に入っていきますと.で、えっと.大きく分けてまあ2つの要素かな.えっと、今今の話も入れれば3つかもしれないですけども.えっと、まあちらっと晃さんに話してるのは、AIの社会構造をあのうまく利用するって話だけはちょっとお話ししてたなと思うんですけども.えっと、まあAIの社会構造とかっていうと、一般的にはあの、AI同士の相互作用とか、そこら辺のあのイメージを思われる人が多いのかもしれないですけども、自分的にはそういう話ではなくてですね.うんと、どういうふうに書くかな.まあちょっといくつかパターンがあって、あの、どう、どっちがいいのかとかはまだちょっと自分の中でもよくわかってないところはあるんですけども.1つは、まあそれこそ、あの、この間、あの、えっと、告知するときに、あの、ミームで使った、あの進撃の巨人みたいに、あの、壁をいくつか作って、そこに、あの、アクセスできるかどうかっていうのを.何て言うんだろうな、権限をあの、どれだけ与えるかっていうのを、そのAIによって分けて考えるっていう、考えちゃう、えっと、AI、AIごとに、まあ権限を与えるという方法が一つ.もう一つは、えっと.なんて言ったらいいかな.まあなんか.データセンターととか.まああとGPU系の、まあNVIDIAとかにしちゃいますか.わかりやすく.まあそういう組織を、あの、まあそこだけに任せるんじゃなくて、まあ国とかそういうレベルで隔離してしまうと.まあいずれにせよ、えっと、セキュリティ的な意味での隔離っていうところに、えっと、をここでは重視してるってことですね.で、あの、ここで言いたいのが何かっていうと、えっと、まあとりあえずまあ理想的な話をすると、あの、こうやってセキュリティで隔離するっていう方向に持っていくと、えっと、その本来AIの安全性、アラインメントとかっていうふうに、あの考えるときに、そのAIのあの内部について考えることが多いと思うんですけども.その時に、その、あの目標に、あの、本来与えられた目標と、あの正しく一致しているかどうかとか、すごく難しい問題を考えなきゃいけないわけですよね.あの、アウターアラインメント、インナーアラインメントとか言ったりすると思うんですけども.でもまあそういうところを考えずに.まあ別の言い方しちゃうと、そもそも人間って全然アラインメントされてないよねというか.あの、でもまあなんか人間社会ってなんとなくうまくいってるわけじゃないですか.じゃあなんでそれってうまくいってるんだろうって考えてみると、まあ例えばその、すごく、例えばデータセンターみたいなところとか、あのバイオ系の研究所とか、そういう重要な組織にはすごく厳しいセキュリティが敷かれてたりとか、まあそういうふうになってるわけですよね.なのでそれを模倣する形で、まあ内部を頑張って、そのAIの内部、知能、知能自体を頑張ってアラインメントするっていうところは、まあほどほどにやるのは大切だと思うんですけども.その完璧にやるのはほぼほぼ無理だと考えて、逆におこが、おこがましいんじゃないかと思うんですけどね、個人的には.あの、なので、そう、ほどほどに、内面はほどほどにしといて.で、あの、なるべく、なるべくじゃないや、えっと、そういう隔離する、あるいは権限を、あの、本当に信頼できるAIだけに与えるみたいな、そういう方向性でいくべきというふうに考えているというところですね.で、それから、えっと、まあこれを一つ補助する方法としてなんですけれども、これはでもちょっと抽象的で分かりづらいのかもわかんないですけども.えーとですね.あ、違うな.どうしようかな.ちょっとあの、まあもうちょっとじゃあこのセキュリティを強化する話についてしときましょう.あのセキュリティに、えっと、じゃあ、えーと違うな.うーんと、要は今話した内容だと、えっと、そのアラインメントのすごく難しい問題を、えっと、セキュリティの問題っていうところに、一応まあセキュリティを担保するっていうのもすごく難しいところではあるんですけれども、あのアラインメント、AIをアラインメントするっていうのはそれよりはるかに難しい話なので、あのAIセキュリティの話にぐっと落とし込むことができたっていうことなんですけども.でもじゃあセキュリティの方どうするのかって話なんですよね.で、あの、まあよくありがちだ、ありうる、ありうるじゃない、あの、ある反論としては、その.AI、AIじゃないや、えっと、セキュリティ、現状でもあのAIがセキュリティを突破できちゃってるよねっていう話だと思うんですけれども.えっと、なんて言い方したらいいかな.えーと、全然難しい話じゃないけど.えーと、結局セキュリティを突破するっていうのは、まあバグをつくとか、そういうところなわけなんですけども.まあこういう壁.今話したような壁をすごくシンプルに作れば、例えばソースコードがあの、たった十行で表せるとか、そういうめちゃくちゃシンプルなあの、ものにしておけば、まあそうそう壊れるはずはないんですよね.バグの、あの、バグってその、あの、なんか一般的にはそのどうしても仕込まれちゃうものっていう、あの印象もあるんですけれども.でも結局そのソースコードが短ければバグの入りようもほぼないっていうところになってくるので、まあ大まかな方向性、もちろんいろいろまた議論の余地はあると思うんですけど、とりあえずそういう方向性であの、想定してますと.で、あとさらにまたちょっと違う角度から、このえっと、セキュリティを守る方向性として、実はあの、法律.っていうのが意外と重要だと思ってます.法律、まあルールでもいいんですけど.なんか法律って一般的になんかすごくガバガバじゃんとか、なんかそのソースコードみたいな方がかっちりしてていいでしょみたいな.法律ってなんか昔の過去の遺産だよねみたいなイメージを持たれがちかもしれないですけども、少なくとも法律ってあの二つの意味で、あの、ソースコードみたいな具体的な実装より優れている部分があって、一つは.まあ適度に抽象化されているので.まあ汎用的.要はその実装されてなくても、あの未実装のものに関してでも、あの法律を当てはめられることができればOKっていう部分は強いですね.まあただあんまり関係ないかもしれないですけどね.で、それからもう一つなんですけども.えっと、厳密でないが故に、えっと、こう、あまりハッキングされにくい、ゲーミングされにくいというか.なんていう風に書いたらいいかな.書き方悩むな.もっと厳密とかにしておくか.やばい、密が書けないや.厳密、厳密じゃないので.ゲーミング.ゲーミングされにくいと.要はあの.あのYouTubeとかSNS系で、あの、BANされるかどうかみたいなところとかでよくあったりするんですけども、そのBANされるかどうかのルールがよく明確にされてないっていうことがよくあるんですよね.それってまあその利用者としてはムズムズするとこもあるのかもしれないですけども、あの、えっと、要はそこを厳密に書くようにしてしまうと、えっと、ゲーミングされてしまうというか、そこをうまくかいくぐろうとする人とか、あの、利用、まあギリギリまであの、攻める人が出てきてしまうとか、そういうことが起こりやすくなってしまうので、なんとなくここら辺まではもうちょっと言っちゃダメですよみたいな雰囲気を出せるっていうのが、逆に法律とかルール、あの、厳密性の低いやつの場合ですけども、そういうやつの強みかなと思ってて.えーで、その、じゃあ元の話に戻すんですけども、えっと、そういうセキュリティの壁を突破するみたいなことに対して、今みたいな話を、ルールをなんとなく弱く作っておくことで、あんまここら辺は近寄っちゃいけませんよみたいな.そういうので、あの、自主的な、あの、自粛を促すみたいな形ができるかなと思ってるっていう感じですね.とりあえず一旦ここまでにしましょうか.ちょっとすいません、だいぶ長くなっちゃったんですけど.
00:52:11,238 --> 00:52:14,218 [akira]
ちょっとバイオさんやってみます？
00:52:14,298 --> 00:52:15,468 [bioshok]
え、僕ですか？
00:52:15,498 --> 00:52:21,998 [akira]
いや、バイオさん側がそのヤチマさんの計画にコメントしていただくという方式でも僕は多分大丈夫だと思うので、一回.
00:52:23,598 --> 00:52:28,058 [bioshok]
一回僕、え、でもアキラさんの、まあ僕コメントっていうか.
00:52:28,878 --> 00:52:37,158 [akira]
これはそのP(doom)が九十九点九九九九パーセントの人の計画じゃないかというコメント以外ないですね.
00:52:37,198 --> 00:52:40,318 [bioshok]
P(doom)が九十九点九九九九パーセントの.
00:52:41,058 --> 00:52:50,578 [akira]
この計画を実行するかつ、この計画が成功する確率ってことですよね.
00:52:50,678 --> 00:52:51,178 [bioshok]
うん、うん.
00:52:51,378 --> 00:52:57,898 [akira]
そこはおよそ零パーセントでは？と思って.ところで、まず、えーと、一つ目に.
00:52:57,958 --> 00:53:18,598 [bioshok]
うん、うん.えーと.あ、なんかマジで関係ないですけど、アキラさん顔出しても大丈夫かもしれないですね、今は.あ、そう.ああ、OKです.OKです.まあ一旦じゃあ続けてください.
00:53:18,768 --> 00:53:30,308 [akira]
あ、えっと、えっと、まずえっと、十行のセキュリティについて説明をしていただいてもいいですか？この十行でアクセスを防ぐセキュリティの作り方を説明していただきたくて.
00:53:30,318 --> 00:54:53,918 [yachima]
ああ、そっかそっか、そうそうそう.ちょっとそこら辺が全然ガバガバですね.えっと、まあ自分が今のところ考えているのは、えっと、もう明確に、えっと.この、うん、どういう言い方したらいいかな.ちょっと技術的なあれだと.まあまあでもえっと、特定のAIしか入れませんよみたいな.すでにえっと、もともと認証が、もうちょっと、えっと、別の言い方をしましょう.えっと、まあ本当に一般的な会社とかであるように、事前に面接とかいろいろ調べて、で、このAIは大丈夫そうだというふうになった時に、そのAIに、まあ権限を与えると.で、その、うんと、権限を与えられているAIかどうかを確認するっていうのは、もう壁の内側でやりますと.で、壁自体は、えっと、内側からOKというシグナルをもらった時だけ侵入を許可しますと.なので壁自体は内側からOKをもらった時だけ侵入を許すというすごくシンプルなもの.こんな感じでどうでしょう.
00:54:55,882 --> 00:55:14,722 [speaker_3]
ああ、えっと、侵入の.えっと、これのその総合でどうやってこれが絶滅を回避するんですか？そのアラインメントを諦めるということは、その道具的に人類を殺したいと思っているAIがまあ一または大量に存在、複数存在することですよね.
00:55:14,782 --> 00:55:16,042 [yachima]
うんうんうんうん.
00:55:16,662 --> 00:55:22,142 [speaker_3]
これでその十分な期間生存することがどうやってできるのかがあまり理解できてなくて.
00:55:22,262 --> 00:55:24,082 [yachima]
ああ、なるほど.そうかそうかそうか.
00:55:24,142 --> 00:55:28,081 [speaker_3]
えっと、その、これはその世界があまりにその単純化されすぎていて.
00:55:28,122 --> 00:55:29,542 [yachima]
うんうんうんうん.
00:55:29,622 --> 00:55:47,262 [speaker_3]
そのロボットとかはどうなってるんですか？その人とかはどうなってるんですか？その人とのコミュニケーションのセキュリティレベルが低いんだったら、その人を説得して襲撃させることによって、そのセキュリティレベルを持ってなくても、セキュリティレベルが高いところに侵入できませんか？
00:55:48,682 --> 00:56:10,702 [yachima]
うーんと、それに関しては.うーんとですね.ロボ.あれ、どうしてたっけ？
00:56:15,582 --> 00:56:18,272 [speaker_3]
のセキュリティレベルの話は.
00:56:18,342 --> 00:56:18,742 [yachima]
うんうん.
00:56:19,962 --> 00:57:20,562 [speaker_3]
あれですよね.えーと.まあ.えーっと.そういう重みを持ち出す権限の話とか.まあな、何なんですかね.まあ今回のOpenAIのあれとか、まあそのサンドボックスにして、ここからこの先インターネットでアクセスできるのはこの権限を持ってる人だけとか.という感じですよね.という感じの話なのかな.えーっと.つまりその完全にあれですよね、物理的に遮蔽して、なんか何もそのAIからの出力は利用しないみたいな状況ではないってことですよね.
00:57:23,062 --> 00:58:03,502 [yachima]
まあそれはそうですね.そうそう、それはそうで.で、えっと.人間そう、えっと、人間が、えっと、は、を、なんて言い方したらいいんだ？えーと、さっきの晃さんの指摘だと、えーと、あれ？どう言ったっけ.人間があの、もし例えばここら辺に、で保護されているとしたら、そいつを、えっと、そいつを利用してあのハッキングができてしまうよねみたいな話でよかったでしたっけ？ざっくり言うと.
00:58:03,542 --> 00:58:07,842 [speaker_3]
いや、そのハッキングをすることを実際に経ずに、その人間を例えば説得するとか.
00:58:08,062 --> 00:58:09,222 [yachima]
そうそう、説得するとか.
00:58:09,302 --> 00:58:15,642 [speaker_3]
身近に降格するとか、そのような手段を経れば、その例えばセキュリティレベルを下げるように決断させるみたいなことはできます.
00:58:15,682 --> 00:58:17,882 [yachima]
あ、セキュリティレベル、セキュリティレベル.
00:58:18,482 --> 00:58:22,342 [speaker_3]
重要な場所のセキュリティレベルを低いようにして、えーと、指定させるように.
00:58:23,042 --> 00:58:23,442 [yachima]
はいはい.
00:58:23,471 --> 00:58:27,042 [speaker_3]
この、例えば大統領とかを説得するみたいなことってできますよね.
00:58:27,142 --> 00:58:32,702 [yachima]
うんうんうんうん.まあそれはできるんじゃないですか.できるじゃない.
00:58:32,902 --> 00:58:36,422 [speaker_3]
それができたら、その大事なところのセキュリティレベルがなくなってるじゃないですか.
00:58:37,102 --> 01:00:05,142 [yachima]
えっと、まあだからそこら辺はもう、うんと、えーと.え、ん？なんて言い方したらいいだけ.AIが、ん？違うな.AI側に、でもAI側に任せるのは微妙ですからね.うんと.うん.どうだったっけ？うーん.ちょっとごめんなさい.まあでもだから、いや、違うんじゃないですか？そもそも.違うんじゃないですかって言い方はあれですね、俺が説明不足なんですもんね.えっと、要は、えーと、人間は、えっと、ここにいる前提ですね.で、そもそも、えっと、まあそういうやばいやばいやばいやばいAIっていうのは、あの、こういうところとか、こういうところとかでブロックされてしまうと.なのでそもそもあの.
01:00:05,582 --> 01:00:16,642 [speaker_3]
でもそのセキュリティレベルを最初に人間が決めたんですよね.多分セキュリティレベルって人間が変えれますよね.その変えれないんだとしたら、新しい施設とか誰かが建てる時にセキュリティレベルを上げ下げできないんで.
01:00:17,922 --> 01:00:20,122 [yachima]
新しい施設を.うんうん.
01:00:20,722 --> 01:00:27,962 [speaker_3]
セキュリティレベルって誰かが決めれるわけですよね.下げたり上げたりできるってことですよね.
01:00:29,382 --> 01:00:44,702 [yachima]
なんて言い方したらいいかな.うーんと.基本的には、えっと、人間と、少なくとも特定の人間ではない想定ですね.そうですね.あの.
01:00:45,322 --> 01:00:49,762 [speaker_3]
特定の人間ではない想定ってのはどういう想定なんですか？
01:00:49,842 --> 01:00:56,402 [yachima]
えーと、AIも含めてよさそうかな.AI、AI含む.
01:00:56,982 --> 01:01:00,582 [speaker_3]
AIも人類を殺したいと思っている前提ですよね.
01:01:01,498 --> 01:01:05,298 [akira]
アラインメントできてないので、道具的に殺したいと思っている前提じゃないですか.
01:01:05,918 --> 01:01:16,518 [yachima]
うーんと、それはちょっと言い過ぎじゃないですかね.現状じゃ例えば今あるChatGPTとかClaudeとかってそういう感じですかね.
01:01:16,658 --> 01:01:20,578 [akira]
そう、まだそういう感じではないですけど、それは純粋な能力不足ではないですか？
01:01:21,858 --> 01:01:22,158 [yachima]
ほう.
01:01:22,718 --> 01:01:42,258 [akira]
その要するに実際に気にしてない、自身、人間は自身、えーと自身が人間のことを気にしていないことを実際に認知して、かつ自身が持っている別の目的を達成するために人類をアクティブに消しに行った方がいいと認知して、それに基づいて行動できるほど自律性と認知力が高くないという話であって.
01:01:42,298 --> 01:01:44,538 [yachima]
まあじゃあそういうAIだけ使えばいいんじゃないですか.
01:01:45,178 --> 01:01:48,558 [akira]
そういうAIだってのはどうやって見つけるんですか？
01:01:48,598 --> 01:01:58,698 [yachima]
まあじゃあ、まあ別に見つける見つけないも、まあ、まあ例えばじゃあChatGPTの5.6だけ使いましょうとか.
01:01:59,358 --> 01:02:04,478 [akira]
ChatGPTの5.6が安全なことはどうやってわかるんですか？
01:02:04,518 --> 01:02:07,098 [yachima]
まあそんな絶対安全とは言えないですけどね.でも.
01:02:07,558 --> 01:02:19,858 [akira]
そうですけど、その、絶対安全は求めてないですけど、その、例えば十パーセントの、なんかその十パーセントの確率で裏切、その十パーセントの確率で安全だみたいなのを信じれる根拠みたいなのを一個以上稼ぐ方法を知りたいです.
01:02:21,078 --> 01:02:22,618 [yachima]
十パーセントの？ごめんなさい.
01:02:24,438 --> 01:02:37,218 [akira]
要するにその、もちろん絶対確実な証明っていうのはこの世には一個もないので、それはもちろんそうなんですけど、せめてその、例えばこのモデルが安全であるか安全でないかを、その判断しなきゃいけないわけですね、ある程度.
01:02:37,258 --> 01:02:37,798 [yachima]
はいはい.
01:02:38,178 --> 01:02:39,978 [akira]
そこで失敗したら死ぬわけですよね.
01:02:39,998 --> 01:02:41,658 [yachima]
うんうん.
01:02:42,238 --> 01:02:53,138 [akira]
この判断に八十パーセント成功するという見積もりのためには、その八十パーセント成功するため、八十パーセント成功できるという、どうやって見分けるかの方法が必要じゃないですか.
01:02:53,178 --> 01:03:03,778 [yachima]
うんうん.えーと、まあまあ、じゃあそうすると、やっぱその、どういうふうに許可するかっていうのをもうちょっとちゃんと説明した方がいいですね.
01:03:04,438 --> 01:03:09,558 [akira]
いやいや許可する、いやその、許可する可能性、じゃあじゃあお願いします.
01:03:09,658 --> 01:05:25,218 [yachima]
うんうんうんうん.えっと.どこがいいかな.まあ基本的には新しいAIに対して.一つではなくて複数の.AIまたは人間.か、何か他のインテリジェンスでもいいんですけれども.から、えーと、審査を受ける必要がありますと.で、審査に関しては、あの.まあ過去の.行動履歴と.過去の.まあ何でもいいですけど、まあCOTとか.いや、思考にしておきますか.もうちょっと抽象的に.思考と.まあ過去のログを提出.まあ提出って言い方あれか.えーと.過去の、えーと、履歴を、えーと、履歴に、あ、アクセス権を、過去の履歴を、まあ、いろんなインテリジェンスが確認する、しなけ、して、で、えーと、要は多角的にだし、特定のAIがOKとかってなっても、他、AI、まあ人間でもいいですよ、特定のインテリジェンスがOKってなっても、他のインテリジェンスが「ちょっとこれやっぱまずいんじゃないの？」って言ったら、えっと、それはそのAIはもう受け入れられないと、いうふうな形の想定ですね.
01:05:26,358 --> 01:05:51,218 [akira]
えっと、じゃあその欺瞞はどうやって対処するんですか？その十分に賢いAIであれば、もしも今ここのログを提出される時に、自身が、あの、望ましくないと他者に判断されるような、アラインドなAIでないと判断されるような振る舞いを少しでも見せたら、即座にシャットダウンされることで、未来の、未来の望む、自身にとって望ましい未来が得られないと判断した場合に、アラインドなAIとして振る舞うはずですけど.
01:05:51,318 --> 01:05:52,258 [yachima]
うんうん.
01:05:52,418 --> 01:05:57,358 [akira]
それはどう、そのそれをどうやって見分けるんですか？そこが個人的には一番.
01:05:57,438 --> 01:05:57,898 [yachima]
はいはい.
01:05:58,058 --> 01:05:58,978 [akira]
この点では気になります.
01:05:59,238 --> 01:06:22,878 [yachima]
まず、えっと、一番最初の話に戻っちゃうんですけども、えっと、個人的にはですけれども、えっと、マインドアップロードができてしまえば、それ以降はあの人間とAIの区別はできないので、それ以前を考えればいいと.逆に言えば、あの、高度にあの欺瞞をできるようなAIは考える必要がないと.
01:06:22,978 --> 01:06:30,098 [akira]
えー、それはどういう設定ですか？そのマインドアップロードより前に必ず欺瞞ができるようにならないっていうふうに考える.
01:06:30,458 --> 01:06:37,798 [yachima]
あの、全くできないとは言ってないですよ.ただ、めちゃくちゃ高度な欺瞞をするようなAIまでは考えなくていいと.
01:06:38,278 --> 01:06:43,118 [akira]
いや、でもそれはそのマインドアップロードより後じゃないといけないんですよね.
01:06:43,158 --> 01:06:46,578 [yachima]
あ、別にあの、それは度、度合い次第じゃないですか.
01:06:48,118 --> 01:06:52,578 [akira]
え、いや、そのじゃなくて、その、えっと、どこかで超欺瞞を持ったAIが出てくるわけですよね.
01:06:53,298 --> 01:06:55,658 [yachima]
超欺瞞？
01:06:55,798 --> 01:07:19,218 [akira]
その要するに欺瞞能力を持ったAIが出てくるわけですよね.そのAIに出てこないことはないじゃないですか.その、なんなら僕ですら実行可能なストラテジーじゃないですか.そのテストされているログをチェックされる間は完全にアラインドなAIは何を言うかを考えてそれを行って、出たら違うことをするっていうのは、非常にシンプルな戦略じゃないですか.僕でも実行できる戦略じゃないですか.
01:07:20,198 --> 01:07:25,198 [yachima]
えーと、なのでごめんなさい、ちょっとログの言い方が語弊があったかもしれないですけどもね.
01:07:25,238 --> 01:07:27,998 [akira]
えっと、それは活性化を見るってことですか？
01:07:28,118 --> 01:07:30,318 [yachima]
活性化も見ますし、あとは.
01:07:30,738 --> 01:07:47,958 [akira]
それはその複雑さにすべてを委ねてませんか？それはその火星に行くロケットについて、その宇宙に飛んでから、そうだ、窓に常に火星が入るように操舵し続けるって言ってる曖昧さにすべてを委ねられてる種類の計画じゃないですか.その実際になんなら起きてもないことですし.
01:07:48,038 --> 01:08:17,458 [yachima]
まあまあ、じゃあちょっとじゃあ活性化、活性化は一旦見ないことにしましょう.で、えっと、うんと、その決められた間だけ、その要はじゃあ学校のテストみたいに、あの、決められたテストというか、面接の方がわかりやすいか.あの会社の面接みたいに特定の時間だけ監視されてるって話ではなくて、これまでのすべての状況について審査されるっていう想定ですね.
01:08:18,018 --> 01:08:23,078 [akira]
でもその、それは審査されていると思いうるすべての状況で我慢すればよくないですか？
01:08:23,298 --> 01:08:36,458 [yachima]
まあ、それができるんだったらいいかもしれないですけども.でも個人的にはそれができるのって結構先なんじゃないかなと.少なくともまあマインドアップロードできるよりは後なんじゃないかなと.
01:08:36,738 --> 01:09:02,598 [akira]
その最初から気になってるんですけど、そのマインドアップロードができた後に生き残れるってのはどういうふうな理由なんですか？そのマインドアップロードができるようになって、技術でマインドアップロードが実現しているけど、人類を皆殺しにしようと思っていて、マインド、人間のマインドアップロードに計算資源を残そうと思っていないAIがいる場合は、その人間のマインドアップロードを実行している計算資源の部分を盗もうとし、そのを使おうとして攻撃して止めますよね.
01:09:04,078 --> 01:09:18,138 [yachima]
えっと、だからそもそもそういう次元の話ではなくて.マインドアップロードができるようになったら、そもそも人間とAIって区別できなくないですか？
01:09:18,198 --> 01:09:25,938 [akira]
でも区別できるかどうかじゃなくて、例えばその、じゃあ単純にそのマインドアップロードできるようになった直後にペーパークリップマキシマイザーができたとするじゃないですか.
01:09:26,818 --> 01:09:27,298 [yachima]
ほう.
01:09:27,478 --> 01:09:43,778 [akira]
そしたらそのペーパークリップマキシマイザーにとって周りにいるのが、その普通のAIか、その、なんだろうな.えーと、人間かを区別できないとしても、このペーパークリップをいっぱい作る上で残しておくべきか否かという点において、破壊するか破壊しないかを決めますよね.
01:09:45,878 --> 01:09:47,478 [yachima]
うん.まあまあまあまあ.
01:09:47,658 --> 01:09:55,938 [akira]
とすると、その、それで生きの、そうすると、そのマインドアップロードした後にすべてをペーパークリップに変えるために、その破壊されませんか？それは.
01:09:58,358 --> 01:10:21,598 [yachima]
うんうん.まあまあまあまあ.えっと、ほほう.な-なんていう風に言ったらいいかな.えっと、それはそうなんですけれども.えっと、いやだからそういう話じゃなくて.いや、これはもうなんか定義の問題みたいな話になっちゃうのかもしれないですけども.
01:10:22,978 --> 01:10:39,598 [akira]
あ、その、そういうことですね.つまり、その、やっちまさんが言おうとしては、マインドアップロードが起きた後は、ペーパークリップマキシマイザーが存在していれば人間とは区別がつかないから、ペーパークリップマキシマイザーがその他のすべてを殺してペーパークリップにしているけど、その、それはよくよく考えると人間との区別がなくなったから、
01:10:39,678 --> 01:10:39,878 [yachima]
うん.
01:10:40,378 --> 01:10:43,818 [akira]
その人類は絶滅してないと言ってもいいよねみたいなことですか？
01:10:43,878 --> 01:10:46,278 [yachima]
うん、まあそうですね、言ってしまえば.
01:10:46,658 --> 01:10:56,958 [akira]
それはその絶滅してませんか？人類が.それはそのペーパークリップマキシマイザーを作ればペーパークリップマキシマイザーが残るだけじゃないですか.
01:10:59,498 --> 01:11:04,198 [yachima]
まあでもそれってこれである程度守れるんじゃないですか.
01:11:04,738 --> 01:11:13,198 [akira]
それを、そうですね、今度その点に移行しますよね.その点においては、その、例えばそれを管理できる人間と組織がいるわけですよね.人間か組織がいるわけですよね.
01:11:13,738 --> 01:11:24,018 [yachima]
うーんと、そういう意味で言うと.あ、でもえ、そうかな？そうかな.
01:11:36,038 --> 01:11:45,078 [bioshok]
うん、まあ一応だからこのセキュリティの設計をする人間がいるだろうってことですよね.まあ根本的に.
01:11:45,318 --> 01:11:47,178 [akira]
うんうんうんうん.
01:11:47,338 --> 01:12:06,318 [bioshok]
それをまあAIを、ま、支援を用いて作っては一応いて、もしくは人間が手作業で作ってるのかもしれないですけど、まあ人間はまあ設計にはどこかで介在していて.
01:12:06,378 --> 01:12:08,518 [akira]
うん.
01:12:08,638 --> 01:12:21,158 [bioshok]
で、その人間の介在が、まあ、何ですかね、脆弱性になるんじゃないかっていう話があきらさんかなって思いますね.
01:12:22,118 --> 01:12:36,338 [yachima]
そうですね.でもそうするとちょっとまたループになっちゃうかな.結局、そう、こっちの話の、あの、ちゃんと、あの、何て言うんだ、選別すればいいじゃん.
01:12:36,898 --> 01:12:43,518 [akira]
選別するためには、その欺瞞を見破らないといけないんですよね.結局その僕は最初からその点をついていて.
01:12:43,758 --> 01:12:45,238 [yachima]
で、まあじゃあ欺瞞っていう話で.
01:12:46,078 --> 01:12:58,038 [akira]
それはなんかその、ただの循環してませんか？その論拠が循環している感じがしますけど.その、今これを説明するためにループしていって、後ろ向きに一周回ってここに戻ってきたんだったら、それは.
01:12:58,078 --> 01:13:01,398 [yachima]
でもまあ、なんでしょうね、循環、うん.
01:13:02,438 --> 01:13:09,738 [bioshok]
多分おそらくやっちまさんは、えっと、 AGIを仮定してないとか、超知能を仮定してないかもしなくて.
01:13:10,478 --> 01:13:11,038 [yachima]
ほうほう.
01:13:11,148 --> 01:14:33,706 [bioshok]
もしかしたら例えばマインドアップローディングは欺瞞とか、まあ僕とかあきらさんが前回話したような強AGIですよね、そこの定義で言うと.強AGIとかなくても、弱AGIぐらいの、まあなんか欺瞞.だから根本的には欺瞞とか、えっと、そういったものを人間が検知できる優れた技術はない世界で、たまたま運が良くて弱AIぐらいで止まってて、で、弱AIぐらいでなんか止まってて、で、それがマインドアップローディングを開発しちゃうみたいな.で、そういう世界だったら確かにまあなんかたまたまなんかそのうまく止まることができてて、で、その世界でマインドアップローディングが開発されてて、で、なんかそのペーパークリップマキシマイザーみたいなものもできてないみたいな、そういう前提がもしかしたら、だから根本的にそのちょっとその前提が食い違ってる可能性ありますね、その議論の.その、あの、なんかその欺瞞とかすごい自立性が高いAIを仮定してない話をやちまさんして、アキラさんは「いや、それがそもそも規制とかなければそうスッといっちゃうから、それを前提として話してる」から、もしかしたら議論が食い違ってるのかもしれない.どうですか？それは.
01:14:35,546 --> 01:14:36,846 [yachima]
ま、それはありそうですね.
01:14:37,526 --> 01:14:48,246 [bioshok]
今のところその実行可能な計画ではない.少なくともその仮に、じゃあ仮に仮に仮にそれが実行.仮に仮にそれがその成立すると仮定するじゃないですか.
01:14:48,566 --> 01:14:49,346 [yachima]
はいはいはい.
01:14:49,666 --> 01:14:53,906 [bioshok]
それが実行される確率が現時点で零パーセントぐらいじゃないですか.
01:14:54,346 --> 01:14:54,686 [yachima]
いいよ.
01:14:55,626 --> 01:15:06,446 [bioshok]
要するに、現在未来がどうなるかを予想するときに、あの、やちまさんが思ってるプランを人類が忠実に実行する確率ってそんなにありますか？
01:15:07,906 --> 01:15:34,666 [yachima]
いや、でも別に、えーと、何て言うんだろうな.あの、一つはその、まあもちろんこういう隔離するみたいな話って、あの、ある程度はこれまでAI Safetyでもあったと思うんですけども、それってそのAI悪いAIを隔離するみたいな場合がすごく多かったと思うんですよね.でもここで話してるのって、ある種のホワイトリストというか.
01:15:34,966 --> 01:15:56,566 [bioshok]
そうですね、そのホワイトリストに乗るために、欺瞞的に振る舞う本来ブラックリストに入るべきAIとか、ホワイトリストに入れるために、その一個、例えば問題があってもどうするんですか？例えばその、今までのモデルって全部ダメってことですか？例えば今までのモデルって、システムカードに必ずmisalignmentの兆候と思われる事例が非常に少ないけれども載ってるわけですよね.
01:15:56,666 --> 01:15:57,306 [yachima]
うんうん.
01:15:57,506 --> 01:16:02,146 [bioshok]
そういうのは全部弾くとすると、それは開発停止をしてませんか？
01:16:02,226 --> 01:16:15,266 [yachima]
まあそうですね.なのでそこは確かにえっと、域を作る必要はあるかもしれないですね.完全に絶対ミスアライン、うん？
01:16:15,286 --> 01:16:34,786 [bioshok]
いやてかそれだと、その仮にあるアメリカの企業が二つそれを忠実に実行して、両方ともローンチしなかったとしても、その半年後に中国が、まあ中国とかメタとかでもいいですけど、が、そのAIもっと緩いセーフ、そのテストの後にローンチするっていうか、ローンチし、本来しちゃいけないものをローンチすることになりませんか？
01:16:36,046 --> 01:16:38,626 [yachima]
ごめんなさい.それが何が悪いんでしたっけ？
01:16:38,666 --> 01:16:47,086 [bioshok]
いや、そうするとその結局セーフガードがかかってないので、ホワイトリストチェックをそもそもされていないAIが世界に解き放たれるので.
01:16:48,166 --> 01:17:14,586 [yachima]
まあだから、えっと、何て言うんだろうな.逆じゃないけど.えっと.うーん、何て言ったらいいんだ.あの.世界に解き放たれるのはもうそこはどうしようもないっていう想定ですね.
01:17:14,906 --> 01:17:18,766 [bioshok]
どうしようもないという想定だと、そのホワイトリスト式が死んでますよね.
01:17:18,866 --> 01:17:18,946 [yachima]
うん.
01:17:19,826 --> 01:17:31,946 [bioshok]
そのホワイトリストを全世界の企業が実行すれば、初めてホワイトリストは実行されますけど、そのホワイトリストっていう仕組みを、もしも例えばアメリカのOpenAIとAnthropicだけがやったとするじゃないですか.
01:17:32,626 --> 01:17:33,446 [yachima]
ほうほう.
01:17:33,666 --> 01:17:35,386 [bioshok]
そしたらメタがやらなかったとするじゃないですか.
01:17:35,766 --> 01:17:36,506 [yachima]
うんうんうん.
01:17:36,526 --> 01:17:44,425 [bioshok]
そしたらその半年ぐらい後にメタからその人類を、その認識して殺す気になるようなAIが出てきますよね.
01:17:46,006 --> 01:17:46,926 [yachima]
うんうん.
01:17:47,506 --> 01:17:50,346 [bioshok]
それはホワイトリストの検査をそもそもされてないですよね.
01:17:52,906 --> 01:18:30,486 [yachima]
えーと、だからそれはちょっとね.えーと、違いますね.ごめんなさい.それはちょっと俺の説明が悪いんだな.うーんと.それはですね、どういうふうに説明するのがいいかというと.えっとですね.まあ、うーん.まあまあ、だから非現実的なのかもしれないですけどもね.
01:18:31,186 --> 01:18:40,746 [bioshok]
そうするとP(doom)二十パーセントは少なくとも無理じゃないですか.その実現されない計画で、僕から見ると成功しないのは、それはその紐なしバンジーの誤謬だと思うんですよ.
01:18:41,386 --> 01:18:58,746 [yachima]
えーと、まあとりあえず、えっと、一旦ちょっと自分の想定だけ言うと.いや、微妙かな.微妙かな.うーん、そっか、微妙かな.
01:18:58,786 --> 01:19:02,306 [bioshok]
いや、じゃあ先にその実行されないという点をすごい突きたくて.
01:19:02,886 --> 01:19:04,086 [yachima]
はいはいはいはいはい.
01:19:04,096 --> 01:19:13,086 [bioshok]
あの仮に、仮にものすごいその百万五千本ぐらい譲って、あの、実行、えーと、それが機能するとするじゃないですか.
01:19:13,426 --> 01:19:13,906 [yachima]
はいはい.
01:19:13,986 --> 01:19:19,546 [bioshok]
例えばまあ、でも無理なので、その八十パーぐらい成功すると仮定してみるじゃないですか、すごい自信を持って予想して.
01:19:19,566 --> 01:19:20,246 [yachima]
うんうん.
01:19:20,686 --> 01:19:27,446 [bioshok]
すごい強固だとして.でもその計画が実行される確率が例えば十パーセントしかないんだったら、生存率は八パーセントですよね.
01:19:27,546 --> 01:19:29,606 [yachima]
はいはいはいはい.そういうことですよね.
01:19:29,706 --> 01:19:34,936 [bioshok]
ということは、その、で、やちまさんはこの計画が忠実に実行される確率を何パーセントだと思ってるんですか？
01:19:36,690 --> 01:20:06,510 [yachima]
えーとですね.いや、でもちょっと待ってくださいね.いや、だから多分むしろ.多分ね、えーと、まあここで書いたのはそのサイバーの話がメインになっちゃってたと思うんですけれども.だからリアルのところをどうするかっていうのが一つなんですよね.
01:20:06,690 --> 01:20:13,350 [akira]
いや、いや、その、いや、その、それ以前の話として、その計画が実行されないと何も始まらないじゃないですか.
01:20:13,890 --> 01:20:17,470 [yachima]
あ、だからごめんなさい.えっと、その実行できるかどうかっていう.
01:20:17,670 --> 01:20:19,930 [akira]
実行できるかどうかじゃなくて、されるかどうかじゃないですか.
01:20:20,670 --> 01:20:21,410 [yachima]
されるかどうか.
01:20:22,210 --> 01:20:50,850 [akira]
その、例えばその、あの、全世界のラボがとんでもないその努力をし始めて、すべての開発を停止して、そのミリをそれぞれの企業で立ち上げて、世界中の数学者を転向させて、年間やるって言い出したら、僕はそのそれのP(doom)も下げますけど、それはその現実のP(doom)に影響しなくないですか？それはその紐なしバンジーの誤謬で、その紐をつけたら安全だからといって紐なしバンジーをして生き残れるわけじゃないじゃないですか.
01:20:53,190 --> 01:21:00,190 [yachima]
うんうん.えっと、そのめちゃくちゃ転向させる話とかが非現実だってことですか？
01:21:00,410 --> 01:21:11,470 [akira]
え、えっと、その、ものすごい厳しいホワイトチェックをし、ホワイトリストチェックをして、ありとあらゆる人類の絶滅につながるかもしれない場所にその重要ソースコードの防御を置いて.
01:21:11,530 --> 01:21:12,710 [yachima]
うんうん.
01:21:12,810 --> 01:21:22,450 [akira]
で、その組織の、その、それを管理してる、その組織とかも、その説得されてセキュリティレベルを下げたりしないぐらいには、その、すごい頑固に守られるってことですよね.
01:21:23,950 --> 01:21:25,930 [yachima]
まあまあまあ、とりあえず.うん、いいですよ.はい.
01:21:26,310 --> 01:21:30,430 [akira]
それが実行される確率は何パーセントだと思っているんですか？
01:21:30,690 --> 01:21:36,450 [yachima]
え、いや、まあでも、まあ人間を、まあ人間というか人類を守るためだったらそこそこの確率あるじゃないですか.
01:21:38,490 --> 01:21:49,190 [akira]
それが機能すると仮定して、その僕がピボタルアクトを始め、その明日サンフランシスコに行って広めて説得できると仮定した場合の値ということですか？
01:21:49,210 --> 01:21:50,190 [yachima]
うん、うん.
01:21:50,270 --> 01:21:55,590 [akira]
でもそうすると、その、このまま行った時のP(doom)はすごい高いことになりませんか？
01:21:55,670 --> 01:21:58,410 [yachima]
ほうほうほう.ごめんなさいそれが何なんでしたっけ？
01:21:58,430 --> 01:22:03,590 [akira]
いや、その、それがつまりその実行されない計画に生存が依存しているのであれば.
01:22:04,070 --> 01:22:06,610 [yachima]
実行されないことになっちゃうんですか？ごめんなさい.なんでだろう.
01:22:07,090 --> 01:22:12,050 [akira]
要するにその、この議論が存在しない世界線での絶滅確率を例えば考えてみるとするじゃないですか.
01:22:13,030 --> 01:22:14,550 [yachima]
存在しない世界線での.
01:22:15,310 --> 01:22:22,250 [akira]
要するに、その、ヤチマさんがその議論をやってなくて、僕が説得されるみたいな事象が全く起きない世界だったら.
01:22:22,350 --> 01:22:22,830 [yachima]
はいはい.
01:22:22,910 --> 01:22:26,570 [akira]
この計画とオープンエイトがね、実行されないですよね.
01:22:26,610 --> 01:22:27,830 [yachima]
うんうんうんうん.
01:22:29,590 --> 01:22:32,150 [akira]
ということは、その、実行されない計画じゃないですか.
01:22:33,050 --> 01:22:35,730 [yachima]
お？ごめんなさい、ちょっと全然読めてない.
01:22:35,750 --> 01:22:44,410 [akira]
いや、その普通のP(doom)がすごい高くないとそこは始まらないくないって.ちょっとあの、僕がうまく説明できてない可能性あるので、バヨさん仲介していただけますか？
01:22:45,150 --> 01:23:34,050 [bioshok]
ああ、だから.うーんと、ホワイトリストチェック.なんかこういう、なんか大前提として、別にヤチマさんがすごい行動を起こさなくても、デフォルトでこれがなんかその、いろんな人が多分考えるだろうし、実行されるだろうっていう考え世界観だと思うんですけど.まあそれをやっちゃうと、その、ただ話してるだけみたいな感じですよね.で.うん、だからそのガバナンスみたいな話がどれだけ強固なのかっていうイメージにもよるかもしれないですね.あとはそのヤチマさんが今ここで話してる、なんかそのセキュリティをこう割と多層にして.
01:23:34,130 --> 01:23:34,750 [yachima]
うんうん.
01:23:35,170 --> 01:23:49,410 [bioshok]
うーんとか、そういう世界観.で、まず何が、そのですね、前提となってる世界なのかっていうのをちょっと整理した方がもしかしたらよくいいかもしなくて.
01:23:49,470 --> 01:23:49,930 [yachima]
うんうん.
01:23:50,040 --> 01:24:12,410 [bioshok]
まず現状の世界だったら、まあ人類絶滅しないじゃないですか.今このGPT5.6だったらしない可能性は僕は高いと思いますけど.まあ、なんていうか、それがじゃあどこまで進歩した世界をやちまさんは想像してるのかとか.例えばAI 2027ってあるじゃないですか.
01:24:12,890 --> 01:24:13,400 [yachima]
はいはい.
01:24:13,430 --> 01:24:19,050 [bioshok]
あれってまあすごい超知能とかがまああと五年以内にできて.
01:24:19,130 --> 01:24:19,850 [yachima]
うんうん.
01:24:20,030 --> 01:24:35,150 [bioshok]
その超知能ってなんかまあすごい、まあ天才をはるかに超えてはるかに超えてるみたいなっていうものが、まあ割とあと五年以内にできちゃうんじゃないかみたいなのがAI 2027とかだと思うんですけど.
01:24:35,710 --> 01:24:36,150 [yachima]
うん.
01:24:36,290 --> 01:25:12,090 [bioshok]
それ、そういう感じの世界観ですか？これって.それともなんかもっとタイムライン長くて、AGIが、まあなんかその、そのAGIの定義にもよりますけど、AGIの実現時期が二千五十年ぐらいでみたいな.で、その二千五十年ぐらいで二千三十年代ぐらいの話をしてたりするとか、そこら辺の多分なんかそのAIのケイパビリティの大前提と世界観のなんか前提が多分違うかもしれないとか.うん.っていうのはちょっと感じましたけど.
01:25:12,130 --> 01:25:17,430 [yachima]
ありがとうございます.えっと、まあぶっちゃけどっちでもいいと思うんですけどね.
01:25:17,530 --> 01:25:18,510 [bioshok]
どっちでもいい.
01:25:19,630 --> 01:25:45,710 [yachima]
要はASIとかが出たとしたら、もうその時ってもうマインドアップロードできてるでしょうというところをですね.で、そうすると、まあちょっとさっきの話にもかぶっちゃうんですけども、人間とAIってもう区別できなくなるようになっちゃってるんで、それってもうそもそもXリスクとか考える必要がないというか、考えようがない.要は結局人間とAIの区別ができないので、人間が絶滅かどうかっていうのも定義のしようがないと.
01:25:46,780 --> 01:26:22,180 [akira]
なるほどですね.であとはそのついでにさっきあのペーパークリップマキシマイザーの話とか出てきたと思うんですけども、まあそれについても話しておくと、個人的にはペーパークリップマキシマイザーはかなりちょっと極端な例かなと思ってますね.っていうのは、えっと、何て言ったらいいかな.うーんと、まあそういうものを、まあその理想期待のような感じで作ることはできるはできるけれども、まあ果たしてそれがどこまで、あの、有用って言い方あれなのかな？ちょっと表現がわかんないですけども.
01:26:22,240 --> 01:26:25,080 [bioshok]
まあ実現可能性が高いのかっていうことですよね、それは.
01:26:25,480 --> 01:26:51,800 [akira]
それはその昨日ちょうど僕とバイオさんがやったやつじゃないですか.そのそうじゃないものを、その今強化学習でそのAIを作っている中で、で、しかも実際にそのHugging Faceみたいな単一の目標を達成するために一週間以上にわたって攻撃実行するという、障害に突き当たるために、それを達成するために努力するという前例があり、で、強化学習の理論はそのAIXIなので、えっと、マキシマイザーをまさに作るための理論ですよね.
01:26:52,280 --> 01:26:52,700 [bioshok]
うんうん.
01:26:53,270 --> 01:27:18,180 [akira]
で、そこでその、どう、で、どういうふうに外れたら物事がなんとかなるのかっていう点について、昨日僕のそのアンチドゥーマー部分が、そのパス・ユーティリティのコンセプトを導入して説明して、それがなぜ一般にうまくいかないのかを説明したのだと思っているのですけども.うーんと.そうですね.そういう意味だと、の、うーんと.
01:27:18,560 --> 01:27:29,960 [bioshok]
まあ、だから、はいはい.まあ一旦イメージの話を一旦するべきで.で、やっちまさんのイメージだと、多分、まあそのすごい強力な超知能とか出てきても.
01:27:30,060 --> 01:27:30,540 [akira]
うんうん.
01:27:30,620 --> 01:28:26,320 [bioshok]
えっと、まあなんかそこまですごい強力に何かを最適化とかしなくて、で、しかもなんとなく人間とか、まあその場合あれですかね、例えば地球上の全てが例えば太陽光パネルで覆われるとか、そういうのはあり得るかもしれないけど、でもマインドプログラミングがされてるから、なんかこう人類の居場所があって、で、その人類の居場所があり、かつ、まあそこまで大きな資源も使ってないから、まあ、まあすごい強力にそれをこう全て奪い去るみたいな超知能ができるのかなみたいな、そういう雰囲気とか、一旦バイブを、感覚を一旦共有するべきだと思いますよ.その雰囲気とか.そう、世界観というか.
01:28:26,380 --> 01:29:02,800 [akira]
ですね.世界観.うん.いや、そう、まあでも今とりあえず現状の、あの、うーんと.まあ人間という知能を見てる感じだと、なんか、本当にすごく賢い人って、なんか、その徹底的に一つのことをひたすら突き詰めるのってかなり珍しいなっていう印象はありますよね.
01:29:02,840 --> 01:29:03,200 [bioshok]
うん.
01:29:03,420 --> 01:29:10,120 [akira]
それはその一つの目標の意味が我々から見た基準で判断しているからではないですか？
01:29:10,180 --> 01:29:11,700 [bioshok]
ああ、まあそうかもしれないですね.でも.
01:29:11,920 --> 01:29:28,360 [akira]
その外から、そのすごいその曇りなき目で見れば、ペーパークリップマキシマイザーはペーパークリップという一つの目標を強く求めていて、人間はその前で人間の望みという概念を強く求め、望みというか、まあ閃光で表されるようなものを強く追い求めているわけですよね.
01:29:28,400 --> 01:29:29,970 [bioshok]
うんうんうんうんうん.
01:29:30,420 --> 01:29:47,840 [akira]
で、それは一つの閃光って表してますよね.そのペーパークリップマキシマイザーは確かに、そのすごいシンプルな例ではありますけど、その一個の目標っていう意味でいうと、あれですし、仮に例えば十個目標があったとして、どう、どうなるんですか？どう生き残るんですか？
01:29:47,860 --> 01:29:49,960 [bioshok]
うん？どう生き残る？
01:29:50,020 --> 01:29:56,620 [akira]
その生き残れる目標であることと、その多くの目標であることって違うじゃないですか.
01:29:57,300 --> 01:29:58,960 [bioshok]
ほうほうほうほう.
01:30:00,160 --> 01:30:13,940 [akira]
例えばそのすごいシンプルな話、そのペーパークリップの数足す、なんとかの数足す、そのなんとかの数足すなんとかの数みたいなので組んでも、ぐちゃぐちゃになるじゃないですか.なんでも別に人類は生き残れないじゃないですか.
01:30:17,580 --> 01:30:19,800 [bioshok]
どうかは限らないんじゃないですか.
01:30:19,840 --> 01:30:37,260 [akira]
いや、じゃあ限らないと言いますけど、そのペーパークリップマキシマイザーと、なんだろ、スタンプマキシマイザーと、そのスマイリーフェイスマキシマイザーと呼んできてもダメですよね.その安全なマキシ、その、それいっぱいブレンドするだけだと何も解決しないじゃないですか.
01:30:37,660 --> 01:31:46,240 [bioshok]
それは、それはそうですね.うん.まあでも、うん、まあ少なくともバイブ的な話で言っちゃうと、まあそれはちょっと極論かなっていう印象ですよね.どういうふうに言語化するのかな.うん.まあだから一つは、うーんと、賢い、うーん、まあ賢いAIってまあ、あの、時には好奇心ドリブンにならざるを得ないと思うんですよね.っていうのは好奇心がなくてもいいんですけども、好奇心が、あの、好奇心ドリブンじゃないって、えっと、何て言うんだろうな、その、うん.自分のあの感じだと、自分の世界観だと、えっと、好奇心マキシマイザーが
01:31:46,908 --> 01:31:51,468 [yachima]
あの、一番賢くなりなりやすいAIだっていう認識ですね.
01:31:52,088 --> 01:31:57,888 [akira]
一番賢くなりやすいAIであることと、一番出現する確率が高いAIであることは違うくないですか？
01:31:57,908 --> 01:32:15,168 [yachima]
まあもちろん違いますよ.でもまあそこは、うん、なんかね、ちょっと、なんとでも言えるっていうか、まあそれはそう、なんか明日いきなり隕石が降ってきて地球滅びるかもしれませんよねって言われても、まあそうですねっていうくらいの気持ちですかね.
01:32:15,408 --> 01:32:19,048 [akira]
あ、あやさん、僕十七秒前に何言いましたっけ？
01:32:19,068 --> 01:32:21,248 [yachima]
うん？十七秒前？
01:32:21,288 --> 01:32:25,208 [akira]
僕がこれの直前に言ったことを今思い出そうとしてるんですけど、何でしたっけ？
01:32:25,288 --> 01:32:29,308 [yachima]
ああ、ちょっと僕も覚えてないかも.ちょっと我々人間だから.
01:32:29,368 --> 01:32:30,768 [akira]
ガバガバですね.
01:32:30,848 --> 01:32:31,817 [yachima]
なんだっけ？
01:32:31,868 --> 01:32:37,528 [akira]
なんだっけ.あ、じゃあちょっとチャット、チャット待ちます.あ、好奇心か.そうだ、好奇心マキシマイザーか.
01:32:38,328 --> 01:32:39,048 [yachima]
はいはいはい.
01:32:39,137 --> 01:32:49,328 [akira]
え、じゃあその、これ仮に好奇心マキシマイザーができたとして、その好奇心っていうのは、じゃあ、どうでしょう？そのサプライズみたいな意味での、あの、定義されたやつにするとするじゃないですか.
01:32:49,408 --> 01:32:50,707 [yachima]
うんうんうんうん.
01:32:50,888 --> 01:33:08,128 [akira]
そうだとして、サプライズをもらうためには、その、どうしたらいいんだろうな.えーっと、サプライズをもらうために人類を残しておくのが本当に一番いいんですか？人類を消し飛ばして、その自分でもっと好奇心が満たされるものを作る状況を作る方が満たされませんか？
01:33:09,228 --> 01:34:10,448 [yachima]
そうなんですかね.好奇心っていうのは、うん、まあこれなんか個人的な好奇心論みたいになっちゃって微妙かもしれないですよね.うん.まあでも、えっと、何だろう、何ていう言い方がするかっていうと、えっと、好奇心、要は、えっと、好奇心をマキシマイズするためには、えっと、いろんな複雑なものがあった方がいいですよねっていうのは、シンプルだと意外性が生まれにくくなるので、複雑である方がいいと.世界が.で、そのためにはなるべくいろんなものが残っていた方がいいっていうことになるっていうのがすごくざっくりしたバイブ感ですね.要は、あの、人間以外の生き物もなるべく残した方がいいし、人間も残した方がいいし、みたいな.
01:34:10,728 --> 01:34:25,008 [akira]
え、じゃあそうだとすると、その好奇心ドリブンな人間が哺乳類をほとんど消し飛ばしている事実はどう説明すればいいですか？どう、その、それはその過去の観測との一致を説明しても欲しくないですか？その場合は.知能が足りないということですか？
01:34:25,068 --> 01:34:26,868 [yachima]
えーと、吹き飛ばす.
01:34:27,368 --> 01:35:07,368 [akira]
要するにその我々はそのアフリカに生まれた後に、そのまま長い、長い、そんなに地球史から見たら長くない時間を経て、歩いたれる場所を都市に変え、割と多めのその土地を占領して、割と多くの生態系を破壊して、かなり多くの哺乳類を割と絶滅近くまで追いやっているわけじゃないですか.人間は好奇心ドリブンですけど、好奇心の満たし方はその環境をそのままにして都市を建てないことではなく、都市を建てて、まあそのショート動画をスクローリングすることとかじゃないですか.によって満たされるじゃないですか.そういうことが起きずに、その、それ、その今のその好奇心仮説だとこの事実が説明できないですよね.
01:35:07,448 --> 01:35:53,728 [yachima]
えーと、まああのお気持ちはわかりましたが、ちょっとそれは単純化っていうか、なんていうか、うん.あの、要は、えーと、こう、何て言うんだろうな、好奇心、うんと、言い方が難しいですけど、その、まあ、深い言い方難しいな、あの過去、過去はまあ、もうなんかそこら辺の自然を蹴散らしてきたのとかって、結構その、まだ文明レベルが低いじゃないですけれども、もうちょっとなんかあの文明として洗練されてない頃の話じゃないですか.
01:35:55,748 --> 01:36:06,048 [akira]
えっと、今はどう説明するんですか？今もかなりの勢いでその哺乳類を減らしていってますよね.それはそのアフリカとかだからしょうがないみたいな話ですか.
01:36:06,147 --> 01:36:07,597 [yachima]
ああ、そうそうそうそうそうそう.
01:36:09,388 --> 01:36:20,518 [akira]
でも少なくともそれってその割と怪しくなってますよね.その、じゃあその環境を残す今の現代人が環境を残すことによってではなく、ショート動画によって好奇心を満たそうとすることはどう説明しますか？
01:36:20,528 --> 01:36:20,968 [yachima]
うん.
01:36:21,828 --> 01:36:41,548 [akira]
例えばその、例えばショート動画でその好奇心を満たそうとするチョウチンアンコウがいても、人類は生き残る理由にはならないですよね.それは人類を残そうと思う理由にはならないじゃないですか.その、要するに好奇心、確かに人間を見ることによっても好奇心を満たす、その若干刺激することはできるけど、人間の資源を使って別の方法で好奇心を満たした方がいいくないですか.
01:36:43,028 --> 01:37:15,168 [yachima]
まあでも、いやまあうーんと、でもいや別に、今そのショート動画を作るために、なんか生き物、なんか生き物を何て言うんだ、まあそのうんと、炎上系YOUTUBERとして生き物を殺すみたいなのはあるかもしれないですけども、そのショート動画を作るための資源としてとか、そういう意味で、えっと、他の哺乳類を、なんていうの、消費してる、殺してるみたいなのってなくないですか.
01:37:15,968 --> 01:37:44,308 [akira]
半導体工場とかどうなんですか？半導体工場およびそのサプライチェーンを維持するために土地を使ってますよね.そのIPADが空から湧き出てきて、電気も空から湧き出てきて、ショート動画を見るために、無の空間で外部に何も干渉せずに人間がショート動画を見てる世界ならそれは正しいと思うんですけど、実際にはそのIPADというものを、IPADまたはスマホでもいいですけど、欲しがる.で、その調達のために半導体工場とかが建てられてるわけですよね.
01:37:44,548 --> 01:37:45,078 [yachima]
はいはいはいはい.
01:37:45,168 --> 01:37:50,408 [akira]
で、実際の資源を消費してないというのを、その、実際の哺乳類に対する害になってないっていうのは正しくなくないですか.
01:37:51,288 --> 01:38:00,467 [yachima]
まあどこかしらでは害になってるかもしれないですけど、別に直接.なんか殺してるとかそういうあれじゃなくないですか？
01:38:00,478 --> 01:38:21,678 [akira]
え、じゃあ直接この人類を直接殺さない限りは人類が絶滅しなくていい.人類が絶滅じゃないということですか？例えばすごい大規模なダイソン・スウォームを立てて、その地球がある部分に穴を開けなかったから、太陽光が一個も全く降りてこなくなって、人類がいなくなるっていう場合は、人類は絶滅--殺してないから、それはすごい高い確率で起きるけど.
01:38:21,798 --> 01:38:22,838 [yachima]
おお、なるほどなるほど.
01:38:22,938 --> 01:38:25,098 [akira]
人類は滅んでないからいいよねっていうことですか.
01:38:27,538 --> 01:38:38,138 [yachima]
まあでも好奇心の高いAIがいれば、そのダイソン・スウォームからのエネルギーを人間にも回すと思いますけどね.
01:38:38,178 --> 01:39:08,718 [akira]
でもその好奇心をどう向けるかは自由じゃないですか.そのそこにそのそこのアラインメントをどうするんですか？要するにその人間を助けるように働く好奇心と、むしろ逆にその何か砂粒がすごい勢いで飛び回ってるのを見る方が、そのカオスなんで面白い.その人間とかいうまとまった何か構造化されたエントロピーが低いものを見るより、もっとエントロピーがとんでもないような砂嵐を見た方が面白いとかってなったら、人間をその分解した方が良くないですか？人間を残す方に働く好奇心が必要ですよね.
01:39:09,998 --> 01:39:21,338 [yachima]
いや、でも、うん、それは.でもだからいろんなAIがいるから、別にそういうAIがいないっていう話にもならないんじゃないですか？人間を残すようなAIがいないって話にもならないんじゃないですか？
01:39:21,438 --> 01:39:28,198 [akira]
それはすごい数でギャンブルするってことですか？その、それはそのアラインメントの話に戻ってきてませんか？
01:39:28,238 --> 01:39:54,178 [yachima]
まあじゃあそうすると、でもあの、そこまでのあの、何て言うんだろうな、ギャンブルというか、えっと、ギャンブルというほどの、えっと、何て言うんだろう、ハイレベルな知能に関しては、まあやっぱり考えなくていいと思いますね.それはマインドアップロードが来てしまえば、人間とAIは区別つかなくなっちゃうんで.
01:39:54,538 --> 01:40:11,398 [akira]
でもそのマインドアップロードが来た後に、その好奇心で別に人間のマインドアップロードを走らせる分の資源を使って別の方法で好奇心を満たした方がいいと思うAIが出てきたら、それは人類のマインドアップロードが実行終了されませんか？
01:40:11,458 --> 01:40:12,798 [yachima]
ごめんなさい、もう一回言ってもらってもいいです.
01:40:13,378 --> 01:40:16,918 [akira]
えっと、マインドアップロードができたとして、好奇心を持ったAIがいたとするじゃないですか.
01:40:17,218 --> 01:40:17,798 [yachima]
うんうん.
01:40:17,938 --> 01:40:35,258 [akira]
でもその好奇心の満たし方は、マインドアップロードされた人間をその場で走らせるより、別の方法で満たす方がいいと思うような好奇心を持ったAIだったら、人間のマインドアップロードを実行しているのは全部シャットダウンして、その分別の方向に使いますよね.
01:40:35,358 --> 01:40:41,758 [yachima]
まあそうかもしれないですけどね.まあなんだかその、なんか特定のAIの話だけされてもって気はしますね.
01:40:42,038 --> 01:41:08,478 [akira]
えっと、これのどこが、その特定のAIというか、逆にその安全なAIってのは人間を残す方に好奇心が働いてるAIじゃないですか.そうだとすると、出てくるAIがそうであることを何かしら、その、それはその、あれじゃないですか、その、可能--可能な目標全体を幅広く取ったらやりたい放題になるじゃないですか.その極端な話、その宇宙のすべての原子配列の中で人間が安定に存在しているものはほとんどないですよね.
01:41:08,578 --> 01:41:08,668 [yachima]
うん.
01:41:10,378 --> 01:41:13,498 [akira]
でも実際にはもちろんそんな厳しい過程は働かないですけど.
01:41:13,578 --> 01:41:14,238 [yachima]
うん.
01:41:14,278 --> 01:41:24,078 [akira]
その、とりあえずその、どこに当たるかわからないけど、その、高いとは言えないんじゃないですかというのもおかしくないですか？その、残す方向にどう働く、その、働く必要があるんじゃないですか.
01:41:26,138 --> 01:41:28,678 [yachima]
ちょっとごめんなさい.意図がうまく掴めてないかもしれないな.
01:41:29,938 --> 01:41:31,218 [akira]
バイオさんどうですか？
01:41:32,318 --> 01:41:40,578 [bioshok]
あ、だからこれは、つまりあれですよね、直行仮説の話があるじゃないですか.
01:41:41,138 --> 01:41:42,208 [yachima]
はいはいはい.
01:41:42,238 --> 01:42:58,438 [bioshok]
つまりすごいいろんな価値観を、まあ、まあ論理的には持てると.で、その中でまあ一旦論理的に考えたら、人間の、が、生存できるような宇宙を望むAIっていうのはまあすごいこうちっちゃくて、で、それにダーツを当てようとすると、まあ基本的にはそこから外れるので.で、で、 AIがまあまあまあまあまあまあ百体いるとするじゃないですか、すごい超強いAIとかが.百体とか一万体とかいるとして、それで百体とか一万回ダーツをしても、ほとんどこのちっちゃい的には外れてしまって、まあ大体人間が存在できないような、えー、宇宙を望むAIしかいないので、そいつらはまあペーパークリップマキシマイザーほど、まあ実際はもっと複雑な、まあ価値観を持ってると思うんですけど、その複雑な価値観の中にその人間の生存ってのがまあ入ってないAIが基本的にはもう百体とか一万体とかいたとしても、もうほとんどがそのこのちっちゃい的に当たらないみたいなイメージで一旦語ってると思うんですよね、アキラさんは.
01:42:58,638 --> 01:42:59,898 [yachima]
確かにそういう話ありましたね.
01:43:01,558 --> 01:43:22,818 [bioshok]
で、そういう話があって、そういう話が、じゃあ例えばそれに批判する理論としては、事前学習してて、今、 AIで人間のデータで学習されてるので、すごいそのこのちっちゃい人間の価値観っていう、この的がもっと本当はこんぐらい大きくて.
01:43:22,858 --> 01:43:23,448 [yachima]
うん.
01:43:23,678 --> 01:43:33,398 [bioshok]
確かにちょっとこう外れる可能性はありますけど、まだ一体ぐらいは、まあその、この的に入るAIってのもまあ全然いるんじゃないかみたいな.
01:43:34,018 --> 01:43:34,598 [yachima]
はいはい.
01:43:35,618 --> 01:43:42,158 [bioshok]
感覚についての対立みたいな感じはしますね.どうですかね.
01:43:43,838 --> 01:44:01,698 [akira]
そうそうそうじゃないですか.その、それはその、なんとか、その、なのでそこがそのアラインメントの議論じゃないですか.本来はそこをアラインメントができてるかどうかで、その人類を殺す機能ができるかどうかが決まって、そのアラインメントができないんじゃないかという話を昨日バヨさんと六時間ぐらいしてたわけじゃないですか.
01:44:02,906 --> 01:44:04,726 [yachima]
うんうんうんうん.
01:44:05,066 --> 01:44:09,486 [akira]
アライメントができているという前提だったら、それはその昨日の議論に戻ってきちゃいますよね.
01:44:10,986 --> 01:44:13,596 [yachima]
まあだから昨日の議論に戻ってもいいんじゃないですか.
01:44:13,626 --> 01:44:23,426 [akira]
戻ってもいいんですけど、だとすると、その何かしらアライメントができると思われる理由みたいなのを述べてもらわないと、その上げ下げもできなくないですか.
01:44:25,106 --> 01:44:50,486 [yachima]
えっと、じゃあそうですね.でもまあえっと、話に戻すと、えっと、そのマインドアップロードした後のもともと人間だったAIを実行しなくなっちゃうかもしれないっていう話がありましたけれども.
01:44:50,726 --> 01:44:56,346 [akira]
かもしれないというか、その実行して残しておく理由はなんなんですか？
01:44:56,366 --> 01:45:05,666 [yachima]
うーん.まあむしろだから人間側が持ってればいいんじゃないですかね、それは.
01:45:05,886 --> 01:45:09,386 [akira]
勝手に自分でやっておけっていうことですか？
01:45:09,486 --> 01:45:12,836 [yachima]
うん.いやまあでもAIがやってもらった方がいいのかな.まあ.
01:45:13,186 --> 01:45:22,226 [akira]
でもAIがやってくれるんだったらやってくれる理由が必要なので、アライメントが必要になりませんか？そのアライメントが必要ないけど放置してるんじゃないと、この話は成り立たないと思ったんですけど.
01:45:24,866 --> 01:45:30,946 [yachima]
まあでもまあそこはやっぱり、うん、人間を保存しようとするAIがある程度いるだろうっていうバイブ感ですね.
01:45:32,466 --> 01:45:41,586 [akira]
そのバイブ感については、そのバイブ感ですと言われるとその議論ができないので、バイブ感に何かしらの根拠でも論拠でも何でもいいですけど、ないですか.
01:45:44,686 --> 01:45:47,006 [yachima]
根拠何でしょうね.
01:45:49,246 --> 01:46:07,886 [akira]
そのそれだと、その地動説と天動説で議論してる時に地球が動いてるとは感じないんですよねっていう議論しなきゃいけない感じになるじゃないですか.それはどっちが、その僕が地動説、僕が天動説でも、やっちまさんが天動説でも、せめて何かしら述べてくれないと、いや僕は地球が速く動いてるとは感じないんですよねだと議論にならないじゃないですか.
01:46:08,246 --> 01:46:41,826 [yachima]
ねえ、本当ですよね.どういうふうに言うのがいいかな.うーん、でも.まあ少なくともまあちょっとどなたか.大丈夫かな.えっと、マインドアップロードってそんなに後の話じゃないんで.要はAIがそこまでmisalignedになってないんじゃないんですか？なってるんですかね？
01:46:41,866 --> 01:46:46,826 [akira]
えっと、それはどういうふうにアラインド、ミスアラインドを回避してるんですか？
01:46:46,906 --> 01:46:58,266 [yachima]
えーと、もちろん完全に回避っていうのは難しいかもしれないですけども、要はその今の今あるような、えっと、生成AIの延長上じゃないですけども.
01:46:59,106 --> 01:47:01,986 [akira]
今ある生成AIの延長上だとやばくないですか？
01:47:02,206 --> 01:47:03,606 [yachima]
やばいんですか？
01:47:03,626 --> 01:47:07,526 [akira]
えっと、インシデントとかを外そう、外、その逃したら.
01:47:08,906 --> 01:47:11,046 [yachima]
確かにね、インシデントが理想説とまずですね.
01:47:11,986 --> 01:47:18,726 [akira]
それはその、つまりその新しいことが起きた時に、新しい領域にアライメントが反映してないので、毎回問題が起きてるわけですよね.
01:47:20,486 --> 01:47:37,746 [yachima]
うん.でもあそこら辺インシデント、結局、結局あれって、例えばそのHugging Faceに襲撃しちゃった話とかって、あれって何回試行したうちの何回そうなっちゃったって話なんでしたっけ？ごめんなさい、ちょっと詳しいとこ把握してないですけど.
01:47:38,646 --> 01:47:49,226 [akira]
いや、そこではその、その、うん、あ、残したいが一体はいるってことですか？でもその、それはその浅い望みだからではないですか？それはその分布に近いからではないですか.
01:47:49,366 --> 01:47:49,906 [yachima]
ほうほう.
01:47:50,266 --> 01:47:56,706 [akira]
要するに訓練分布から、これちょっと僕多分うまく説明できてないんで、バイオさんにトライしてもらってもいいですか？
01:47:56,786 --> 01:47:58,706 [bioshok]
え、あれ、これ聞こえてます？僕の声.
01:47:59,206 --> 01:48:00,246 [akira]
うんうん、大丈夫です.
01:48:01,806 --> 01:48:14,986 [bioshok]
あ、まあだからその現状は、えっと、確かにすごい全ての試行で変な動きが出てるわけじゃないですよね.ミトスとかアストラとか.
01:48:15,086 --> 01:48:15,846 [akira]
うんうん.
01:48:16,326 --> 01:48:27,066 [bioshok]
内部モデルでしたっけ.で、そのうちのなんか、まあわかんないですけど、なんか一パーとか零点一パーとかでなんかちょっと変な動きが出てますと.
01:48:27,146 --> 01:48:27,846 [akira]
うんうん.
01:48:28,206 --> 01:48:40,846 [bioshok]
で、ですけど、まあそれはまあ、例えばある程度分布内って、まあ今サイバー攻撃の学習とかされてて.
01:48:40,926 --> 01:48:42,246 [akira]
おうおう.
01:48:42,286 --> 01:49:06,066 [bioshok]
まあある程度なんですかね、えっと、人間が検証できる領域で賢くなっていってますと.で、まあつまりアライメントとか、まあその人間がフィードバックしたり、なんかその報酬関数とかをこう定義したり.
01:49:06,106 --> 01:49:06,626 [akira]
うんうん.
01:49:06,736 --> 01:49:17,686 [bioshok]
まあインターネットに出たら報酬がマイナスですよみたいな、そういうことを言ったりするので、まあその抑えられてるけど.
01:49:17,726 --> 01:49:18,356 [akira]
うんうん.
01:49:18,356 --> 01:49:23,666 [bioshok]
分布、まあさっき言ったのは、つまり分布外、つまり.
01:49:23,686 --> 01:49:24,166 [akira]
うんうん.
01:49:24,206 --> 01:49:29,706 [bioshok]
まだ人間が、えっと、まあ人類文明が到達してないような.
01:49:29,786 --> 01:49:29,966 [akira]
うん.
01:49:30,546 --> 01:50:00,066 [bioshok]
まあ領域まで学習が伸びていくとどうなるかとか、例えばすごい難しい、まだ現状だと、まあ人間ができそうな数学の、まあ問題とかを解けたり.なんですかね、まあ出てますけど、まあそれがすごいナノマシンを作るとか、不老不死を解決するとか、ダイソン・スウォームも作るとか.
01:50:00,746 --> 01:50:01,326 [akira]
うんうん.
01:50:01,486 --> 01:51:58,546 [bioshok]
全く別の.レベルで知能が創発していくとしたら、そこのアライメントって人間ができなくなっていくっていうか、人間が理解できないので、人間がそこに報酬を与えることも相当難しくなるみたいな感じですけど.まあそうすると、なんだろうな、その今ちょっと起こってる、なんだろう、misalignmentってのがどんどんどんどん大きくなっていって.イメージとしては、つまり現状は分布内なので、分布内っていうのはつまり人間がある程度監督できる領域なので、えっと、misalignment的な振る舞いってのもそれに応じて小さくできてるのかもしれないですけど.まあそれが完璧ではないのなら、どこかで、まあそれはどんどん外れちゃっていくってことですね.この分布内のこのX軸、まあ分布内のこのこっち側がまあこの近似できたとしても、人間の価値観のこの山とAIの価値観のこの振る舞いの山がこう近似できたとしても、これから先は例えばナノテクノロジーとかダイソン・スウォームとかしたら、ここら辺側からこうガラッとこう変わっていってしまうというか.いろんな関数系がこう考えられるので、それに一致できるような.この先っていうのは、なんかその、なんだろうな、まだ近似が全然できるようなフィードバックを与えられないので、基本的にはこう分布から外れちゃう可能性は相当高いっていう考え方がイメージとしては、そのアライメントが難しい理由.
01:51:59,286 --> 01:52:15,886 [yachima]
うん、うん、うん、うん、うん、うん、うん.ありがとうございます.まあそういう意味だと、自分はそこら辺になるのはマインドアップロードより後なんじゃないかみたいなイメージですね、多分.
01:52:16,946 --> 01:52:42,766 [bioshok]
ああ、なるほど.まあつまりマインドアップロードをできた後は、ある程度人類が支配してて、支配してる領域が多くて、大きくて、で、その後超知能とかに、まあどっかでいっちゃうじゃないですか、規制とかなければ.
01:52:42,786 --> 01:52:43,526 [yachima]
はいはいはいはい.
01:52:43,946 --> 01:53:23,386 [bioshok]
で、それがmisalignmentしてたら、まあその領域をこう再構成してくんじゃないかっていう、そのリスクはちょっと考えられます.つまりマインドアップロードした後に、まあ確かにまあ太陽光パネルとか敷き詰められるし、地球とかがなんかぶっ壊されるかもしれないですけど.まあだけどマインドアップロードされてるから、まあ人間は一応継続した文明として存在できてるっていうイメージじゃないですか.多分ヤジマさんは.それでいいんですかね？
01:53:23,426 --> 01:53:24,886 [yachima]
まあいいですよ、とりあえず.はい.
01:53:25,766 --> 01:53:46,906 [bioshok]
で、それで一旦そうだとして、そうすると、でもその後に超知能は、misalignmentした超知能が出てきたとしたら、その、えっと、データセンターって無駄、無駄というか、その超知能からしたら、そのデータセンターを別の物質に変換したいというか、別のワークロードに変換したい.
01:53:47,446 --> 01:53:48,046 [yachima]
はいはいはい.
01:53:49,346 --> 01:54:25,306 [bioshok]
例えばその人間のシミュレーションとかじゃなくて、すごい興味深い砂嵐のシミュレーションとか、なんかそのすごい興味深い数学的な、なんか超高次元空間の問題とかを解きたいために使いたいとかになってくると、その人類の保有してるデータセンターとかをまあ乗っ取って、それを別の自分のやりたいことに使うんじゃないかみたいな話はどう思いますか？そのマインドアップロード後の世界.
01:54:25,666 --> 01:54:27,846 [yachima]
で.そうですね、それはあり得るかもしれないですね.
01:54:28,526 --> 01:54:30,506 [bioshok]
ああ、なるほど.
01:54:30,516 --> 01:54:30,516 [yachima]
でも.
01:54:30,546 --> 01:54:40,506 [bioshok]
あり得るかもしれないですねって言いますけど、どういう、その違う目標を持ったAIがいる世界で、どうやってそうならない未来がどれくらい存在できるんですか？
01:54:41,306 --> 01:55:17,326 [yachima]
うーん.でも.えー.まあまあだから、うーん、おそらくですけど.まあちょっと戻っちゃうかもしれない.申し訳ないですけども、そういうまあ、要はマキシマイザー、あまりにマキシマイザーの色が強いようなAIはそもそも内側に入れないっていうことが大切なんじゃないですかね？それじゃダメですかね.
01:55:17,506 --> 01:56:10,886 [bioshok]
その人類を滅ぼさないためには、そのありとあらゆる大事な場所じゃないですか.ありとあらゆる大事な場所で守ってないといけないですよね.例えばその大事、すごいコアなそのSL、BSLでしたっけ？バイオセキュリティレベル4みたいな.例えば全部これで隔離したとして、で、その人類が滅ぼすような超知能が出てきて.で、その政治家とかはその放置されるとすると、政治家を説得するとか、世論工作するとか、もしくは違う目的に見せかけるとかで、そのウイルスを作らせるとか、戦争を起こさせるとか、割といろんな手段がありますよね.そういうのを、によって滅ぼされないようにするためには、そのとんでもなく硬いレベルのセーフガードが必要じゃないですか、最初に.そのある一点を守れば人類が生き残れるんだったら、そのストラテジーは正しいですけど、それは違くない？違くないですか？
01:56:13,630 --> 01:56:22,230 [akira]
すごいクリティカルな一点を守れば、そのあれなわけじゃないですか.そのアメリカと戦争するって決めた時に、すごい大事な場所だけ守ればいいわけじゃないじゃないですか.
01:56:22,470 --> 01:56:24,070 [yachima]
うんうんうんうん.
01:56:24,270 --> 01:56:27,950 [akira]
それと同じです.人類が生き残るためには、その割と後半に守んなきゃいけないですよね.
01:56:29,110 --> 01:56:30,130 [yachima]
うんうん.
01:56:30,270 --> 01:56:39,050 [akira]
ロシアとウクライナのあれでも、なんかそのすごい特別な一点をにロシア軍がアクセスしないようにしたら、そのウクライナが平和に過ごせるわけじゃないじゃないですか.
01:56:39,610 --> 01:57:12,870 [yachima]
うん、まあまあまあまあそうですね.うん、なるほどなるほど.そういう、うん、まあでも.まあ戦争みたいな話で言うと、うん.だから.うーん、なんだろうなぁ.まあだから.常、うん、常日頃そういう戦闘状態になるのかどうかっていう.
01:57:12,910 --> 01:57:24,450 [akira]
いや、常日頃戦闘状態になるかじゃなくて、そのできることが大事じゃないですか.つまり最悪戦争状態にしたら人類に勝てるんだとすると、他のそのある意味その僕は下界を提示していて.
01:57:24,830 --> 01:57:25,290 [yachima]
ほうほうほう.
01:57:25,410 --> 01:57:30,630 [akira]
人類に対して、その、そのセキュリティ環境の中で与えられるダメージの下界を僕は提示していて.
01:57:31,290 --> 01:57:32,010 [yachima]
うんうん.
01:57:32,050 --> 01:57:34,290 [akira]
その、まずこういう手法が存在しますよね.
01:57:34,460 --> 01:57:35,440 [yachima]
うんうんうんうん.
01:57:35,870 --> 01:57:49,770 [akira]
それは割と被害をもたらしますよね.でもおそらく滅ぼすこともできるじゃないですか.適切な知能の、その百倍速で、ほんの今百万体とかだったら、その新しい武器を開始するのも含めてできるじゃないですか.政治家を説得するとか含めて.
01:57:49,870 --> 01:57:50,720 [yachima]
ああ.
01:57:51,570 --> 01:58:08,970 [akira]
そしたらさらに、そのそれで滅ぼせるんだったら、少なくともさらにより良い方法を探索される場合には滅ぼせると予想するのは妥当ではないですか.それ要するにそれはその今出されたそのチェスのオープニングに対して、その一回僕が勝ってみせれば、超知能だって勝つでしょって言ってるのと同じで.
01:58:09,150 --> 01:58:19,510 [yachima]
まあでもほんの今百人、百、百人だか百万人だか動かせるような時ってもうマインドアップロードもできるようになってるはずで.
01:58:19,790 --> 01:58:27,910 [akira]
それはその、どういうその根拠なんですか.そのマインドアップロードって、例えばそのハードテイクオフの場合って、
01:58:27,990 --> 01:58:28,510 [yachima]
うんうん.
01:58:28,990 --> 01:58:37,830 [akira]
すごいソフトウェアのみの改善とかで、その例えば五分間とかで、その五分間は言い過ぎか、例えばいや一ヶ月とかで超知能になるとするじゃないですか.
01:58:39,190 --> 01:58:40,580 [yachima]
うん、まあまあまあまあ.
01:58:40,810 --> 01:58:48,610 [akira]
その場合には、その間ってそのマインドアップロードが技術として達成可能になっても普及しないですよね.
01:58:48,710 --> 01:59:01,310 [yachima]
うん、うん、うん、うん、うん、うん.うん、まあそう、そういう意味で言われちゃうと、まあそもそもちょっと一ヶ月とかっていうのは無理なんじゃないかなっていう.
01:59:01,390 --> 01:59:08,270 [akira]
ことで、AI 2027のシナリオを仮定すると、それでそのマインドアップロードを例えば八十億人が仕切るってことですか？その期間中に.
01:59:10,850 --> 01:59:14,690 [yachima]
まあ、もうそれしかないんだったらやるしかないんじゃないですか.
01:59:17,270 --> 01:59:32,410 [akira]
いやいや、やるしかないんじゃないですかっていうのは、そのP(doom)の説明にならないですよね.それはその、その、僕が今から一ヶ月でコアライミーツ解くしかないんじゃないですか？って言ったら、それは僕はP(doom)が九十九パーセントのまま、その解くしかないんじゃないですか？って言えるじゃないですか.それはそのセットとしてはそっちになりますよね.
01:59:33,250 --> 01:59:34,820 [yachima]
まあまあまあまあまあ.
01:59:35,330 --> 01:59:44,850 [akira]
ってことはそれはそのP(doom)が九十九点九パーセントみたいな人が、そのこれしかないんじゃない、これをもし今から間に合わせるんだとしたら、これしかない、やりきるしかないんじゃないですかっていうのはわかるんですけど.
01:59:44,930 --> 01:59:45,960 [yachima]
うんうんうんうん.
01:59:47,050 --> 01:59:50,390 [akira]
そのP(doom)が二十パーセントの正当化にはならないですよね.
01:59:52,550 --> 01:59:53,270 [yachima]
ああ.
01:59:54,150 --> 02:00:02,810 [akira]
それってつまり八十パーセントでそのプランが総合的に、まあ他のプランでもいいですけど、合わせて成功しないといけないですよね.AI 2027のレースシナリオみたいなテイクオフの中で.
02:00:14,130 --> 02:00:16,190 [yachima]
ほうほうほうほうほう.ごめんなさい、もう一回いいですか？
02:00:16,250 --> 02:00:25,170 [akira]
えっと、何でしたっけ？バイオさんにお願いしたいです.僕は.
02:00:26,830 --> 02:00:31,850 [bioshok]
まあだから、えっと、まあだから一人でもマインドアップロードできてたら.
02:00:31,930 --> 02:00:33,130 [yachima]
うんうんうん.
02:00:33,190 --> 02:00:37,630 [bioshok]
いいみたいな考え方をすれば、まあ普及は関係あんまないかもしれないですよね、その場合.
02:00:38,170 --> 02:00:45,630 [akira]
確かにそれはそうですけど、それはその、その加速主義を絶対に肯定しないタイプのエクステクションを回避してませんか？
02:00:46,100 --> 02:00:46,690 [yachima]
うん、うん.
02:00:47,670 --> 02:01:14,150 [akira]
一人マインドアップロードして残りの全員が死にましたの場合、確かに僕はそれも正しくないと思いますけど、それは今から言いますけど、そもそもその時点で、その、まあ一般的なP(doom)でいうと高いんじゃないですか.僕はP(extinction)の意味でP(doom)を使ってるんであれですけど、人類が非常に少数マインドアップロードされて、それ以外の全員が死んだ場合って、この加速主義の肯定にならなくないですか？それは加速主義に対する強い否定にしかならないと思ったんですけど.
02:01:14,390 --> 02:01:22,690 [yachima]
まあまあいずれにせよ、まあでも、あの、一人だけじゃ全然不十分だろうなっていうところは自分もそうだと思いますけどね.
02:01:22,790 --> 02:01:28,430 [bioshok]
うん、まあなんか多分一旦もう一度前提を確認、いろいろした方が良くて.
02:01:28,510 --> 02:01:29,790 [yachima]
はいはいはい.
02:01:29,870 --> 02:01:33,310 [bioshok]
まあこのマインドアップローディングっていうのが.
02:01:33,410 --> 02:01:34,230 [yachima]
うんうん.
02:01:34,770 --> 02:01:38,290 [bioshok]
なんかこう、タイムラインはあんま関係ないんでしたっけ？ここは十年だろうが.
02:01:38,350 --> 02:01:39,640 [yachima]
いや、そうですね.そうですね.
02:01:39,770 --> 02:01:40,810 [bioshok]
一年だろうがまあ関係.
02:01:41,390 --> 02:02:03,710 [yachima]
今の話は関係があるのか.えっと、だから、すごく、その、マインド、マインドアップロードが普及するより早くASIとか、まあすごく超知能に至ってしまう場合は問題があるっていう話ではありましたね.だからあまりに早い場合は支障があるっていう感じですね.確かに.
02:02:03,770 --> 02:02:11,590 [bioshok]
なるほど.じゃあ、えっと、まあ一旦じゃあ、まあその、もうちょいあれですかね、遅く.
02:02:12,190 --> 02:02:12,810 [yachima]
うんうん.
02:02:13,130 --> 02:02:36,338 [bioshok]
遅いっつっても五年、十年ぐらいとかで. AGIが開発された後に、まあマインドアップローディングが開発されると.で、その、まあで、その間に、まあ超知能まで行く前に、マインドアップローディングが、まあこうある程度普及するだろうと.
02:02:37,018 --> 02:02:38,038 [yachima]
うんうんうん.
02:02:38,158 --> 02:03:03,058 [bioshok]
で、その状況で、えーと、なんか地球に何が起こったとしても、まあ割と多くの人が、例えば一割ぐらいとか、まあ一パーセントでもいいですけど、何億人とかぐらいのスケールは割と生き残っているんじゃないかみたいなイメージで、イメージなんですかね.
02:03:03,158 --> 02:03:05,878 [yachima]
うんうんうんうんうんうん.
02:03:05,918 --> 02:03:12,558 [bioshok]
それともなんかもうなんかまあ結構そこを、はい.詳しく.
02:03:12,778 --> 02:03:19,568 [yachima]
生き残ってるっていうのは何の、何の淘汰の後に生き残ってる話なんでしたっけ？
02:03:19,618 --> 02:03:44,658 [bioshok]
あの、まあ多分淘汰される前の話ですよね、これって.淘汰されちゃうと基本全滅に近い気がするので.まあ一旦だからそういうなんかすごいAGIとかの、まあいいや、超知能の暴走みたいなのが起こる前の話ですよね、これ.マインドアップローディングが普及するっていうのは.
02:03:45,338 --> 02:03:46,158 [yachima]
OKです.OKです.はい.
02:03:47,118 --> 02:04:03,558 [bioshok]
で、だからまあまとめると、AI 2027のレースシナリオみたいな場合は、結構なんだろうな、普及する時間が多分あんまりないじゃないですか.
02:04:04,238 --> 02:04:05,338 [yachima]
ほうほうほうほう.
02:04:06,258 --> 02:04:34,058 [bioshok]
なので、結構もう一般的なdoomはもうめっちゃ高いというか、なんかまあ九九点九九九ぐらいパーセントぐらいの人類が全滅で、零点零零一パーぐらいの人類はなんかギリどっかで生きながらえるかもしれないですけど.なんかそういう、それはメインシナリオであんま考えてないですよね.多分やっちまさんは.なんかもうちょいこう、多くの人が生き残ってるイメージ.
02:04:34,918 --> 02:04:37,138 [yachima]
うんうん、そうですね.そうですね.うん.
02:04:38,458 --> 02:04:41,918 [bioshok]
だから割となんか何億人とか.
02:04:41,938 --> 02:04:42,818 [yachima]
うん.
02:04:43,438 --> 02:04:49,658 [bioshok]
まあ最低生き残ってるイメージの世界をイメージしてって感じですよね.
02:04:49,978 --> 02:04:53,218 [yachima]
まあそうですね、そういうことは.うん、そういう意味ではそうですね.
02:04:53,258 --> 02:05:18,718 [bioshok]
うん.で、まあそうすると、だからまあある程度そのテイクオフのスピードが遅い、遅くないといけない感じはしますけど、どうですか？あのテイクオフっていうのは、そのAGIから超知能の間がめっちゃ、例えば一回層だと、それが全世界にこうの一パーセントとか一割の人類に普及するまでに時間がないので.
02:05:18,798 --> 02:05:19,738 [yachima]
うんうん.
02:05:19,858 --> 02:05:32,498 [bioshok]
結構なんかまあテイクオフのスピードがすごい長い.必要はあると思いますけど.他どう思いますか？
02:05:32,578 --> 02:05:47,958 [yachima]
と、うん、だから、えーと、まあだからすごく短く、さっき話出てたみたいに、一ヶ月であの、すごく危険なAIが、超知能が出てきてしまうみたいな感じだとまずいですよね、確かに.
02:05:48,898 --> 02:05:51,028 [bioshok]
なるほど、なるほど.
02:05:52,188 --> 02:05:52,188 [yachima]
うん.
02:05:52,218 --> 02:05:56,818 [akira]
そのすごい気になるのは、そのマインドアップロードがなんでそんなに簡単なんですか？
02:05:57,278 --> 02:05:58,558 [yachima]
難しいですかね.
02:05:59,158 --> 02:06:03,998 [akira]
例えばマインドアップロードができるということは、つまりその脳の理解が進んでいるということですよね、少なくとも.
02:06:04,578 --> 02:06:07,278 [yachima]
うんうんうん.まあまあまあ.
02:06:07,638 --> 02:06:11,238 [akira]
その時点で人間レベルインテリジェンスが作れるということですよね.
02:06:12,278 --> 02:06:16,098 [yachima]
うん、それはそうですよ.だからあの、ここに出したみたいにAGIより後だとは思ってますよ.
02:06:16,438 --> 02:06:27,818 [akira]
そうですね.そこからそのなんとかなるまで、そのそこからその人間も目標について熟考して、違う未来を想像して、そっちに向けて世界を操作しようとしてるじゃないですか.
02:06:28,898 --> 02:06:29,998 [yachima]
うん？
02:06:30,258 --> 02:06:34,818 [akira]
あの、ユドコフスキーの本読まれたことありますか？
02:06:34,878 --> 02:06:41,538 [yachima]
うーんと.どう、で、結構前なんで結構ガワガワっすね.
02:06:41,598 --> 02:06:48,218 [akira]
あ、じゃあすいません、バイオさんちょっと説明をしていただいてもいいですか.あの、あの、インナーアイ、インナーアイみたいな説明みたいなのをしていただけると.
02:06:49,718 --> 02:07:23,318 [bioshok]
そこら辺はわかって、まああれですよね.だからdoomの基本論理は多分わかってると思うんですけど.まあだから、え、だからそのなんかまあ、アキハさんは一旦、あれですよね、だからAGI、まあだからちょっともっともっと前提をさかのぼると、まず、えーと、やちまさんが考えてる世界観って何かっていうと、えっと、まあAGI、ほんの今とかアインシュタインレベルのAIでいいですよね.定義的にはどんな感じでしたっけ？それでいいです.
02:07:23,918 --> 02:07:24,278 [yachima]
いいですよ.
02:07:24,698 --> 02:07:43,698 [bioshok]
で、つまり人間の天才を、天才以上のAIがAGIだとして、それができると.できて、まあそれができると、どれぐらいでマインドアップロードってそれで開発できると思いますか？
02:07:43,758 --> 02:07:49,818 [yachima]
どうでしょうね.でもそんなにかかんないと思いますけどね.
02:07:51,038 --> 02:07:52,938 [bioshok]
まあ五年、十年とかですか？
02:07:53,298 --> 02:07:54,678 [yachima]
五年、いや十年はかかんない.
02:07:54,838 --> 02:07:55,998 [bioshok]
かかんないと.じゃあ五年.
02:07:56,798 --> 02:08:02,978 [akira]
五年だと2027シナリオだと死んでませんか？
02:08:03,018 --> 02:08:03,678 [bioshok]
そうですね.
02:08:03,758 --> 02:08:06,118 [yachima]
どうでしたっけ？ちょっと細かいとこそこら辺は.
02:08:06,818 --> 02:08:10,717 [akira]
AI 2027ってAGIって2027とかじゃないでしたっけ？
02:08:11,358 --> 02:08:13,058 [bioshok]
ね、27ですね.
02:08:14,358 --> 02:08:20,758 [akira]
2034に人類が消されてますよね.その32とかにも選択権を失ってますよね、人類が.
02:08:20,818 --> 02:08:21,218 [yachima]
おお.
02:08:22,690 --> 02:08:28,050 [speaker_3]
32とか30の時点のアクティブミスのラインレベルの能力だったじゃないですか.
02:08:28,150 --> 02:08:29,920 [akira]
うん、なるほどなるほど.
02:08:30,810 --> 02:09:03,610 [speaker_3]
まあ一旦一旦前提を整理するっていう話で議論すると、そのやっちまさんはだからまあまあある程度アインシュタインぐらい賢いものをAGIとして考えて、で、それが10年とは言わず、まあ3年から5年とか、まあ1年はちょっと早すぎる気がしますけど、なんかまあ5年ぐらいあれば結構もうマインドアップにできちゃうんじゃないかというので、まずいいですかね、前提としては.
02:09:03,630 --> 02:09:04,910 [akira]
まあとりあえずはい、いいですよ.
02:09:07,330 --> 02:09:07,390 [speaker_3]
で.
02:09:07,410 --> 02:09:36,610 [akira]
あれ一応ちょっと補足しときますか.えっと、えっと.まあその今少し前に出たAI 2027のあの早いシナリオとかっていうと、それって要はそのマインドアップロードのためにあの使える、えっと、使えるというか、マインドアップロードの技術をあの開発するためのあのAIっていうのも加速できるってことになりますよね.
02:09:36,650 --> 02:09:38,730 [speaker_3]
うん、うん.まあそうですね.
02:09:39,190 --> 02:09:53,870 [akira]
なのでかなりそこはそうですね、あの、まあだから今はちょっと一応保守的に5年とかって言っときましたけれども、まああのスピーディーにAIが進歩していくんだったら、それだけマインドアップロードも手前に手前に来るっていう.
02:09:54,650 --> 02:10:09,170 [speaker_3]
けど、マインドアップロードを80億人に行われるレベルって、 AIが人類を消し飛ぶレベルじゃないですか.消し飛ばせるレベルじゃないですか.その要するに、マインドアップロードを80億人に実施できる技術があるということは、その世界に対する影響力をそのまま別の向きに行使すれば即座に人間.
02:10:09,870 --> 02:10:11,410 [akira]
なるほどなるほどなるほど.
02:10:11,510 --> 02:10:16,530 [speaker_3]
つまりその時点で人間を殺す意思を持たないということじゃない、持たない確率に全て委ねられますよね.
02:10:18,790 --> 02:10:20,170 [akira]
ごめんなさい.意思を持たない？
02:10:20,290 --> 02:10:35,490 [speaker_3]
要するにそのその時点でもしもそのミスアラインのことをちゃんと自覚するして、人類を攻撃して人類をまあその殺すと殺せるなら殺すと思っている状態なんだったら、このマインドアップロードを80億人に実施できる状況ってもう殺せってますよね.
02:10:35,570 --> 02:10:38,290 [akira]
まあだからある意味そうですよね.それはそう.うん.
02:10:38,630 --> 02:10:42,870 [speaker_3]
ということは、そこがミスマッチにならないということですか？
02:10:44,050 --> 02:10:45,450 [akira]
ならない？
02:10:45,490 --> 02:10:57,170 [speaker_3]
え、とりあえずそこでその人類アクティブに人類攻撃しようという意思、アクティブにというか、人類攻撃した方がいい、実は自身にとっていいよねという認識を持つことはないということですか.
02:10:59,030 --> 02:11:01,870 [akira]
まあそこはわかんないですね.
02:11:03,830 --> 02:11:09,230 [speaker_3]
えっと、それはその、どうしてその、そんなに強くかけるのかが全然わからなくて.
02:11:09,350 --> 02:11:10,290 [akira]
強くかける？
02:11:10,450 --> 02:11:23,970 [speaker_3]
だって80%かけるんじゃないですか？そこに.だってそれより早かったらその時点で殺せるわけですよね.まあもちろんそれ単体には依存してないんでしょうけど、その、そんなに十分な確率を構成できるほどの値、値ですか.
02:11:24,270 --> 02:11:25,830 [akira]
ああ、P(doom)が.
02:11:25,930 --> 02:11:37,490 [speaker_3]
そのP(doom)に影響を及ぼすほどのあれですか？っていう.その、そもそもそのマインドアップロードした後の問題もあるので、まあ一旦マインドアップロードする前の話に集中しますけど.
02:11:37,570 --> 02:11:43,230 [akira]
うんうんうんうんうんうん.ああ、そうですね.
02:11:44,350 --> 02:11:50,190 [speaker_3]
まあだからですよね、その、いやまあ僕の理解だと.
02:11:50,270 --> 02:11:51,110 [akira]
うんうん.
02:11:51,150 --> 02:11:53,830 [speaker_3]
だから超知能とかができちゃうと危ないよねと.
02:11:54,490 --> 02:11:55,360 [akira]
うんうん.
02:11:55,550 --> 02:12:01,330 [speaker_3]
それだけど、AGIぐらいなら結構コントロールとかアラインメントもできるんじゃないかと.
02:12:02,430 --> 02:12:03,870 [akira]
うんうんうん.そうそうそうそう.
02:12:04,830 --> 02:12:20,390 [speaker_3]
そうすると、だからAGIぐらいで止め、まあ止めるかわかんないけど、まあAGIぐらいなら割と数年とか5年ぐらいでマインドアップロードが開発されて、超知能、すごい危険な超知能っていうのはそれより後にこう何らかの理由で来るから.
02:12:20,470 --> 02:12:21,210 [akira]
うんうんうんうん.
02:12:21,450 --> 02:12:23,070 [speaker_3]
マインドアップはまあとりあえず先に来ると.
02:12:23,980 --> 02:12:24,450 [akira]
うんうんうん.
02:12:24,550 --> 02:12:48,070 [speaker_3]
で、まあそうすると、まあ、まあそのすごい危険な超知能っていうのはまあもうちょい先だから、その移行期間でまあある程度人類がまあマインドアップロードに移住して、まあ結構安全になるか.なるんじゃないかみたいな感じでいいですかね.前提として.前提的な.
02:12:48,430 --> 02:12:50,810 [akira]
そうですね.うん、今のところいい気がしますね.
02:12:51,690 --> 02:12:58,530 [speaker_3]
なるほど.つまりだからじゃあAGIがどれぐらい危険なのかって話になるんじゃないですかね.どっちかって.
02:12:59,070 --> 02:13:17,690 [akira]
そうだとすると、そのそこにその、その強い仮定が置かれるんだとしたら、そういう世界線のほとんどはACIを耐える方法について議論すべきじゃないですか.まあと思います.多分そこはそのもうほぼ仮定に全部含まれちゃってるじゃないですか.AGIが安全かどうかみたいなのは.
02:13:17,750 --> 02:13:18,070 [speaker_3]
あ、まあ.
02:13:18,550 --> 02:13:18,990 [akira]
だって.
02:13:19,310 --> 02:13:20,650 [speaker_3]
2つ、2つ議論があって.
02:13:21,050 --> 02:13:26,750 [akira]
AGIぐらいだったら制御できるというふうな前提ということは、AGIは人類を殺せるけど殺せないという前提じゃないですか.
02:13:28,170 --> 02:13:28,830 [speaker_3]
はいはい.
02:13:28,930 --> 02:13:39,670 [akira]
その前提の下だったら、その、もはやその半分そっちのほうだと仮定されているので、そういう世界線だったら多分後ろについて議論するんじゃないですかね.その、そのAGIの後について.
02:13:42,050 --> 02:13:54,530 [speaker_3]
ああ、なるほどなるほど.まあAGIの後だから、つまり超知能が出てきた後は、じゃあどうするかっていう議論ですけど.
02:13:55,240 --> 02:13:56,470 [akira]
うんうんうんうん.
02:13:57,530 --> 02:14:25,150 [speaker_3]
なんかそうですね.だから、だから、まあだからちょっと一旦また前提を遡ると、 2つ今議論があって、一つはマインドアップロード後の世界で超知能が出てきちゃうじゃないですか.まあ一応.それとmisalignmentしてる可能性が高いとして、だと結構人類やばいんじゃないかって.その基本的にはまあ超知能が強いじゃないですか、あらゆる面において.
02:14:25,802 --> 02:14:26,342 [akira]
うんうん.
02:14:26,462 --> 02:14:51,282 [bioshok]
そうするとマインドアップローディングしてたとしても、そのデータセンターが破壊か乗っ取られるんじゃないかみたいなのが、そのマインドアップロード後の世界の話であるあると.で、それを今話そうみたいな感じで.マインドアップルの前の話は、なんかその、そもそもなんですかね、そういうAGIとかでさえ結構危険、アライメントできてないんじゃないかみたいな議論もある.この二つが多分あって.
02:14:51,342 --> 02:14:52,762 [akira]
うん、うん、うん、うん.
02:14:53,342 --> 02:15:03,122 [bioshok]
どうする？まあどうしようかな.じゃあ後ろから後ろから議論しますか.後ろから.そうですね.どう思いますか？その超知能とかマインドアップロードごとに出てきちゃったら.
02:15:04,902 --> 02:15:08,682 [akira]
多分一番不確実性が少ないのはASIの方じゃないですかね.
02:15:08,702 --> 02:15:09,582 [bioshok]
うん、そうですね.
02:15:09,822 --> 02:15:17,962 [akira]
そこはそのなんかドゥーマーの僕でも自信を持ってコールすることが若干難しいというか、不確実性を持って予想することができる範囲内じゃないですか、一応.
02:15:18,422 --> 02:15:19,262 [bioshok]
うん、うん、うん.
02:15:20,402 --> 02:15:25,522 [akira]
なんでまあASIの方がその議論としては単純でやりやすいかなと思いますね.
02:15:25,582 --> 02:15:41,682 [bioshok]
はい.うん.こうなんかまあ、つまり.えっと.だからマインドアップロード後の世界の話を今から一旦ちょっとするとして.
02:15:41,762 --> 02:15:43,242 [akira]
うん、うん、うん、うん.
02:15:43,502 --> 02:16:03,842 [bioshok]
その世界でまず.まあ.そうですね.どっちのかミスアラインメントしてたら人類はほぼ全滅するんじゃないかって感覚はあるんですけど、どう思いますか？やっちまさん.
02:16:04,322 --> 02:16:52,802 [akira]
まあでもやっぱりちょっと話に戻っちゃうんですけども、結局そのマインドアップロードの後って、そのそもそも人間とAIが区別できるのかってとこですよね.マインドアップロードしちゃえば、あとはまあそのさっきそのアップロード後の人間を止めちゃうんじゃないかみたいな指摘ももらいましたけども、じゃあそもそもアップロードした後の人間を、あの、もうちょっとなんか蒸留か何かしらの形で、あのASIに近づけるみたいなことが可能だったりすると思いますし.もう時間が経つにつれ、どんどんどんどんAIと人間との境目ってのも曖昧になっていくんで.うん.だから.うん.AIと人間との境目が曖昧になって、どう、どうなるんですか？もう一回言ってもらって.
02:16:53,122 --> 02:17:01,382 [bioshok]
そもそもそのP(doom)とかXリスクっていうのを考える、考えようがなくなる、議論のしようがなくなるので.
02:17:01,502 --> 02:17:05,382 [akira]
わかります.じゃあその我々にとって極めて望ましくない未来に置き換えてもいいですよ.
02:17:05,442 --> 02:17:08,742 [bioshok]
はいはい.望ましくない.
02:17:08,862 --> 02:17:36,272 [akira]
緊迫にマキシマイザーとまでいかなくても、その人間なアプローチを走らせる気がなくなるAIが出てきて、人間の曖昧なアプローチを走らせるのをやめた場合に、あの、やっちまさんの定義だと、その人間とAIの定義がなんかぐちゃぐちゃになってるので人類は絶滅してないらしいです.僕は絶滅だと思いますけど.ただ定義されないとして、それは多分その、今多分ちょっと、まよさん投票取れます？
02:17:36,402 --> 02:17:38,742 [bioshok]
投票.あ、YouTubeで.
02:17:39,062 --> 02:17:46,822 [akira]
YouTubeのライブで、せっかくならその視聴者の人々にそれを絶滅と思うかどうかをちょっと投票してみてほしいですね.
02:17:47,482 --> 02:17:52,442 [bioshok]
結構まだ見ていただいてる.ありがたい.三十四人.
02:17:52,602 --> 02:17:55,262 [akira]
確かに.どうやってやんだろ、これ.聞きたいので.
02:17:55,292 --> 02:18:01,802 [bioshok]
ねえ、気になる.ん？アンケート開始かな.
02:18:01,862 --> 02:18:03,722 [akira]
アンケートじゃないですかね.そうだと思います.
02:18:03,942 --> 02:18:06,022 [bioshok]
え、何でしたっけ？えっと.
02:18:06,742 --> 02:18:21,902 [akira]
そのやっちまさんが言ったような、あれのそのケースで、その人間とAIの定義が曖昧にマインドアップロードがされて、で、人間とAIの定義が曖昧になって、もともと人間だったマインドアップロードが停止された世界は人類絶滅ですか？で.
02:18:24,422 --> 02:18:25,822 [bioshok]
もともと人間だった.
02:18:26,182 --> 02:18:36,202 [akira]
もともと人間だった.マインドアップロードが停止された世界は人類絶滅と言えますか？で投票、はいといいえで投票してみてくださいませんか？
02:18:36,522 --> 02:18:44,962 [bioshok]
それはだからそもそもだって、アップロードされた人間と他のAIも区別できなくなっていくんで.
02:18:45,462 --> 02:18:49,042 [akira]
区別できなくなるってのはどういう意味で区別できなくなるんですか？
02:18:49,082 --> 02:18:50,722 [bioshok]
いや、あらゆる意味じゃないですか.
02:18:51,222 --> 02:18:56,942 [akira]
あらゆる意味で区別できないと、その、っていうのはその好みとかも区別できないってことですか？
02:18:57,042 --> 02:19:15,622 [bioshok]
できないんじゃないですか.まあでき、うーんと、できないっていうのは言い過ぎかもしれないですけど、そのかなり、あの、境目は曖昧になるんじゃないですか.まあで、多分、あの、長期的にはもう完全に区別つかなくなると思いますけどね.
02:19:17,082 --> 02:19:32,982 [akira]
できてんのかな、アンケート機能.え、ちょっと、ああ.え、え、その、え、でも人間だったらマインドアップロードってのはあるわけですよね.その、追っていけばあるわけですよね.
02:19:33,632 --> 02:19:34,242 [bioshok]
ん？何がある？
02:19:34,382 --> 02:19:38,762 [akira]
ずっとその道を追っていけばわかるわけですよね.定義されるんじゃないんですか？
02:19:38,842 --> 02:19:42,702 [bioshok]
ああ、まあだからそう、これまでどういう経路を追ってきたかっていう話をね.
02:19:43,082 --> 02:19:44,882 [akira]
そうですね、そうすると区別されますよね.
02:19:45,342 --> 02:20:10,762 [bioshok]
まあだから、そうそう、そういう意味では、あの、うーんと、区別しようと思えば確かにできるっちゃできますよね.おっしゃる通り.そう.ただ、まあそれ以外の側面、だからそういう経路をあの気にせずに、現状のそのAIともともと人間だった、あの、アップロードされた知能っていうのを、それ、それそのものだけを比較すると、もうほぼほぼわかんないような状態にはなるよねっていう.
02:20:11,042 --> 02:20:18,362 [akira]
ほぼほぼわかんないような状態で、その非常に強力なAI感と、でも知能差はあるわけですよね.
02:20:19,282 --> 02:20:20,522 [bioshok]
いや、なくなるんじゃないですか.
02:20:22,002 --> 02:20:24,142 [akira]
えっと、なんでですか？
02:20:24,322 --> 02:20:26,602 [bioshok]
なんだ、いや逆に、なんでなくならないんですかね.
02:20:26,662 --> 02:20:32,352 [akira]
だってそのやる気が、そのAI側からしたらなぜそれを肯定するんですか？
02:20:33,022 --> 02:20:37,602 [bioshok]
別にだってそれはアップロードされた人間がやればいいんじゃないですか.
02:20:37,942 --> 02:20:48,342 [akira]
そのアップロードされた人間がやった場合には、そのアップロードされた人間が知能を登ろうとしていくわけですよね.それはその古典的な、そのある意味でその競合の出現の防止に近い話じゃないですか.その.
02:20:48,642 --> 02:20:49,182 [bioshok]
ほうほうほうほう.
02:20:49,422 --> 02:20:54,282 [akira]
我々が多分もしもそのそこら辺に住んでるアリがその再帰的自己改善をゆっくり始めて.
02:20:54,362 --> 02:20:55,642 [bioshok]
うんうんうんうん.
02:20:55,682 --> 02:21:01,542 [akira]
その人間の知能に最終的に追いつきそうだって思ったら止めませんか？
02:21:01,902 --> 02:21:03,282 [bioshok]
俺は止めないですね.
02:21:03,442 --> 02:21:06,862 [akira]
止めないです.これじゃあこれこれをアンケート取りましょう、マヨさん.
02:21:08,362 --> 02:21:09,071 [bioshok]
え、なんすか？
02:21:09,482 --> 02:21:15,222 [akira]
だからなんかすごくなんか、うん、いやそんなになんか敵対的になるのかなって.そうですね.うん.
02:21:15,522 --> 02:21:17,682 [bioshok]
一旦アンケート終了していいですか？さっきのやつは.
02:21:18,762 --> 02:21:25,482 [akira]
え、その要するにそれって要するにその、あれですよ、資源の競合とかが起きた時に戦えるってことですよ.
02:21:26,102 --> 02:21:27,262 [bioshok]
うーん、なるほど.
02:21:27,272 --> 02:21:31,922 [akira]
要するにその普通にアフリカの家とかに住んでるそのアリが十分に賢くなった場合には.
02:21:31,932 --> 02:21:32,992 [bioshok]
はいはいはいはい.
02:21:33,062 --> 02:21:38,782 [akira]
すでにそこの家に住んでるのは自分だっていう話の人間と、その対等な力で勝負を始めるってことですよ.
02:21:39,422 --> 02:21:41,022 [bioshok]
はいはいはいはい.
02:21:41,522 --> 02:21:43,282 [akira]
を妨害しないということですか？
02:21:43,302 --> 02:22:06,982 [bioshok]
うーん、まあでもまあ.まあ少なくとも自分の場合はですけれども、まあその相手を無理にあの制御しようとか、あの支配しようとかっていうよりは、なるべくだったら温和な方法で対話協力とかそっちに持っていきたいと思いますけどね.
02:22:07,062 --> 02:22:10,452 [akira]
じゃあこれはチャットしません？チャットじゃない、アンケートしません？
02:22:10,462 --> 02:22:20,982 [bioshok]
アンケート、うんうん、ね.結構だからそこら辺の根本的な価値観のあれっていうとこもありそうですね.えっとえ、まあとりあえず.
02:22:21,122 --> 02:23:36,722 [akira]
コメントのあれで、多分僕も確信、ピードゥームとマインドアップロードの関係で言うと、そのやちまさんの世界観だと、マインドアップロードが実現するまでの間はアクティブに人類を殺しに来ようとしなくて、で、アクティブにそのまま人類が、えーと、マインドアップロード実現すると、その人間がその徐々にマインドアップロード後に知能強化をすることで、その最終的に超知能に追いついて安定するということでドゥームを回避できるという主張ですね.で、僕が言っているのは、その、それをその人間が最終的に自身に追いつけるほど知能強化をするのを、その人間を滅ぼした方が得だと認識している強力なAIがやるのかという例として、そのアリがその知能的な再帰的自己改善みたいなのを始めて、知能が人間に追いつこう、最終的に追いつくだろうと予想されるような活動を始めていて、そのすでに何かそのいろんな建物とかに住んでると、住んでるわけですけど、住んでる時にその最終的に強くなって、人間がそのアリを除去しようとしたり、その残っ、アリがもっと強大にその場所とか資源をその主張できるようになるような状況で、そのあなたはのアリの再帰的自己改善を止めようとしますか？ということですね.
02:23:36,742 --> 02:23:38,862 [bioshok]
うんうんうんうん.
02:23:38,982 --> 02:23:43,462 [akira]
止めるんだったら超知能も実際に止めるということを示唆する話になりますよね.
02:23:44,062 --> 02:23:44,462 [bioshok]
うんうん.
02:23:44,622 --> 02:23:52,842 [akira]
本当はもっとその理論的なそのコンセプトを使って議論すべきだとは思うんですけど、そこには合意された理論的コンセプトが一切存在しないので.
02:23:52,942 --> 02:23:53,342 [bioshok]
うんうん.
02:23:53,662 --> 02:23:55,782 [akira]
それで禁止しようということですね.
02:23:55,802 --> 02:23:57,382 [bioshok]
うんうんうんうん.
02:24:01,902 --> 02:24:06,782 [akira]
ということで、どうでしょう.マヨさん、頑張ってください.
02:24:08,222 --> 02:24:08,602 [bioshok]
僕が一旦.
02:24:09,182 --> 02:24:11,682 [akira]
僕が、僕が一旦説明をテキストで書きますか？
02:24:11,762 --> 02:24:16,362 [bioshok]
あの、まず一旦アンケートを終了したんで、それを.すごいすごいすごい.
02:24:17,322 --> 02:24:21,762 [akira]
いい派が四十一パーいる.僕よ、僕が意外とその点においてあれなのか.
02:24:21,802 --> 02:24:22,432 [bioshok]
うん.
02:24:23,822 --> 02:24:28,722 [akira]
じゃあこの、あ、じゃあ先に一個この未来を許容しますか？を聞いてもいいですか？
02:24:28,802 --> 02:24:29,462 [bioshok]
おお、なるほど.
02:24:29,722 --> 02:24:32,202 [akira]
絶滅許容派もいるからあれか.なんとも言えない.なんか.
02:24:33,042 --> 02:24:33,522 [bioshok]
確かに.
02:24:33,602 --> 02:24:36,682 [akira]
最初にまさかドゥームの定義をしっかりする人がいたとは思わなかったな.
02:24:40,022 --> 02:25:02,882 [bioshok]
そうですね.だから、だからつまり、うーん、まあそうですね.だからドゥームとは何かみたいな話がちょっと出てくるかって感じですけどね.やっぱね、そういうそもそも論に行っちゃうんですよ.そこら辺がまあ個人的には自分は数学者っぽいかなと思ってるって感じですかね.ある種.
02:25:04,282 --> 02:25:06,482 [akira]
その、どういうところがですか？
02:25:06,502 --> 02:25:11,182 [bioshok]
うん、あ、そもそもその、そういう、あの、定義からひっくり返すみたいな、そういう感じ.
02:25:11,762 --> 02:25:20,742 [akira]
定義からひっくり返すんじゃなくて、その共通の定義を探索して、その定義と公理論理の下で議論をすることで集合知を築き上げていくのが数学者だと思っていたんですけど.
02:25:20,802 --> 02:25:21,762 [bioshok]
あ、全然いいじゃないですか.
02:25:21,842 --> 02:25:31,462 [akira]
せめて提示されている論理モデルに一切変わりを提示せずに納得してないから、その違うモデルを議論、モデルを使わずに議論しましょうというのは数学者ではないと思ったんですけど.
02:25:31,562 --> 02:25:32,762 [bioshok]
なるほどなるほど.いいじゃないですか.
02:25:32,922 --> 02:25:34,082 [akira]
どう思いますか？
02:25:34,091 --> 02:25:48,842 [bioshok]
ああ、全然それはそれでその考えもそれでいいと思うんですよ.いや、なんか単純にあの、その我々のそのあのキャラクターをそういう風にすると分かりやすいんじゃないかなと思ってそう言っただけなので、別にそこにそんなにこだわりはないって感じです.
02:25:48,872 --> 02:25:49,622 [akira]
なるほどなるほど.
02:25:49,922 --> 02:26:27,022 [bioshok]
うんうんうん.まあそうっすね.まあだからまあマインドアップロード後の話をすると、こういうドゥームの定義みたいなのかな.で、まあでもまあもうちょい細かく議論することも可能ですけどね.それを.なんていうか.えー.なんて言うんだろうな.まあつまりマインドアップローディングされた人間と.
02:26:27,062 --> 02:26:28,102 [akira]
うん.
02:26:28,142 --> 02:26:36,922 [bioshok]
まあその人間の意識がほとんど連続してるかもわからない謎のものってあると思うんですけどね.で.
02:26:37,322 --> 02:26:38,202 [akira]
うんうんうん.
02:26:38,342 --> 02:27:28,786 [bioshok]
つまり.うん、なんかそうですね.一言で言うと、多分超知能っていうのは別にmisalignmentされてたら、えっと、人間とAIの定義が曖昧になるどころか、なんか普通に人間の残滓さえほぼないような世界を構築するんじゃないかとはちょっと考えられると思ってて.つまり人間とAIの定義が曖昧になるというよりは、人間のなんか残りがさえ一切ほぼないような世界が作られて.まあなんか曖昧になるっていうか、なんかそれってまあ別に人間があらゆるほとんどの意味において全滅してるのと一緒みたいな.
02:27:29,626 --> 02:27:31,506 [akira]
おお、おお、おお.はい.
02:27:31,566 --> 02:27:34,406 [bioshok]
多分その可能性が高いと思ってると思うんですよね、アキラさん.
02:27:34,886 --> 02:27:36,926 [akira]
あの、そろそろご飯なので.
02:27:37,346 --> 02:27:38,306 [bioshok]
ああ、なるほどなるほど.
02:27:38,486 --> 02:27:52,066 [akira]
多分これしばらく継続しても、その、僕とバイオさんと、その、えーと、ヤチマさんの位置を取った時に、あの、ヤチマさんとバイオさんとの間にすごい距離があって、僕とバイオさんの間の距離はが短い感じがするので.
02:30:11,626 --> 02:30:16,626 [bioshok]
あ、あ、でもやっちます.あ、なんか議論しててもいいんじゃないかみたいに言われてますね、今アキラさん.
02:30:16,926 --> 02:30:19,346 [akira]
確かにね、今のうちにうちらだけで.
02:30:20,186 --> 02:30:25,826 [bioshok]
あ、そうしますか.じゃあ、じゃあもうそうしましょう.じゃあ僕とやっちまさんで議論しまくってましょうよ.
02:30:25,886 --> 02:30:26,586 [akira]
はいはいはい.
02:30:26,706 --> 02:30:27,146 [bioshok]
九時まで.
02:30:33,446 --> 02:30:38,086 [akira]
うんうん.三十五、四十、四十？三十五.
02:30:38,096 --> 02:30:54,826 [bioshok]
三十五でいいです僕は.じゃあ三十五分から皆さんまた.僕今度僕とやっちまさんでこうずっと話す会にします.
02:30:54,866 --> 02:30:57,485 [akira]
うんうん.はーい.じゃあ一旦.
02:30:59,266 --> 02:31:04,616 [akira]
はい、お疲れ様です.ありがとうございます.
02:35:26,196 --> 02:37:16,226 [bioshok]
ああ.どうも.大丈夫ですか？じゃあまあちょっとゆっくりした感じでやっていきますか.ちょっとずつ.えーっと.はい、どうも.えーっとですね.コメントとか見てみますか.まあこれは、まあでも確かにこれはね、ちょっと割れる気がしますね、このアンケートは.まあ.まあ結構なんだろうな.トランスヒューマニズムとか傾倒してる人なら、超知能になることを夢見てる人も多いでしょうし.うーん.あ、これ再開ってのを.はい.
02:37:16,336 --> 02:37:51,636 [speaker_4]
っていう風に.以降は.
02:38:19,836 --> 02:38:20,736 [bioshok]
なるほど.
02:38:20,756 --> 02:38:40,796 [speaker_4]
うん.あまりに.持ち出してる.うんと、だからまあその.ある程度.
02:38:41,276 --> 02:38:41,676 [bioshok]
なるほど.
02:38:42,736 --> 02:38:44,616 [speaker_4]
してもらいたいなっていう.
02:38:57,628 --> 02:39:02,628 [yachima]
これもちょっと.ずっと小さくすると.
02:39:02,928 --> 02:39:07,968 [bioshok]
すいません、すいません.
02:39:09,928 --> 02:39:10,098 [yachima]
あららら.
02:39:10,098 --> 02:39:11,928 [bioshok]
なんか多分ずっと聞こえてなかったかもしれない.
02:39:12,228 --> 02:39:15,458 [yachima]
え、マジですか？え、今も死んでる？
02:39:15,548 --> 02:39:21,348 [bioshok]
いや、今はちょっとこっちオンしました.
02:39:21,408 --> 02:41:02,148 [yachima]
あららら、なるほどなるほど.OKです.OKです.じゃあちょっともう一回最初から言い直しますかね.えっと、えーと、この上の方の、あの、数直線みたいなやつですけども、の方でいうと、あの、マインドアップロードした後っていうのは、AIと人類はほぼ区別できないよねっていう話で.そうするとXリスク、その人類が滅亡するとかも、そもそも人類とAIの区別がつかなくなるので、人類の滅亡っていうことについても考えようがなくなるよねということにおいては、えっと、それがそれ以降、要はそのすごくAIが進化した時期とかを考える必要がなくなるっていうことに、であれば、えっと、であればというか、なので、えっと、P(doom)っていうのは一般的に思われてるより下げやすいんじゃないですかっていうのが上、上側の主張で、今のところそんなに破られてないんじゃないかなという気はしてるっていうとこですね.で、下側の話としては、まだちょっとここら辺は全然あの議論していく余地はあると思うんですけれども.えっと、一般的にそのすごく難しいと思われてるアラインメントの問題、あの、その目標について合わせるかどうかみたいな話とか、そこら辺のすごく難しい問題を、一応その難しい、まだ難しいではあるけれども、セキュリティの問題みたいな、まだあの、比較すると、あの、アラインメントよりはまあはるかに簡単であろうみたいな問題に落とし込むことができる.
02:41:03,208 --> 02:41:03,548 [bioshok]
なるほど.
02:41:04,088 --> 02:41:06,267 [yachima]
話ですね.はい.
02:41:06,468 --> 02:41:18,588 [bioshok]
新しく来た人があれかな.
02:41:18,648 --> 02:41:19,908 [yachima]
素晴らしい.ありがとうございます.
02:41:40,988 --> 02:41:45,588 [yachima]
ん？関って違うな.ん？どうだっけ？もう漢字.
02:41:46,728 --> 02:41:48,008 [bioshok]
何でもいいかもしれないですね.
02:41:51,238 --> 02:42:08,208 [yachima]
あ、違う.やばい.もうどれも書けなくなった.ん？これ送るだな.あれやば.漢字やば.もういいや.これでいいかな.
02:42:14,348 --> 02:42:15,448 [bioshok]
うん.そうっすね.
02:42:15,998 --> 02:42:16,948 [yachima]
あざます.あざます.
02:42:19,188 --> 02:42:22,168 [bioshok]
まあだからどっちかっていうと.
02:42:22,188 --> 02:42:23,168 [yachima]
うんうんうん.
02:42:24,988 --> 02:42:35,888 [bioshok]
だからまあすごい大きく来て論点が二つぐらいあるのかな.二つっていうか、なんかだから、まあP(doom)の定義みたいな話と.
02:42:35,968 --> 02:42:36,968 [yachima]
はいはいはいはい.
02:42:37,348 --> 02:42:43,228 [bioshok]
あとは、うん、まあアライメントがどれぐらい難しいのかとか.
02:42:43,848 --> 02:42:46,688 [yachima]
うんうんうん.ほうほうほうほう.
02:42:46,748 --> 02:42:55,608 [bioshok]
あの、この下のやつって、あれですか、この進撃の巨人の壁みたいな感じですか？
02:42:55,728 --> 02:42:56,128 [yachima]
そうですね.
02:42:56,288 --> 02:42:57,808 [bioshok]
中にのは人間で.
02:42:57,908 --> 02:42:59,138 [yachima]
うんうんうんうんうん.
02:42:59,668 --> 02:43:03,528 [bioshok]
確かに.
02:43:04,508 --> 02:43:05,208 [yachima]
なるほどなるほど.
02:43:05,648 --> 02:43:09,588 [bioshok]
どう.あ、これでいけんのかな？
02:43:10,468 --> 02:43:12,328 [yachima]
うん.
02:43:12,348 --> 02:43:12,748 [bioshok]
あ、これで.
02:43:13,397 --> 02:43:17,408 [yachima]
あ、いいですね.いいですね.素晴らしい.
02:43:17,438 --> 02:43:19,328 [bioshok]
これでいいだ.これでいいですね.
02:43:19,428 --> 02:43:22,388 [yachima]
うんうん.
02:43:25,168 --> 02:43:42,828 [bioshok]
で、まあだからこれは、えっと、この下の図って.えっと、だからマインドアップローディング後の世界の話を模式図にしたってことですか？
02:43:42,928 --> 02:43:43,248 [yachima]
あー.
02:43:43,268 --> 02:43:43,728 [bioshok]
というわけではない.
02:43:44,668 --> 02:43:46,708 [yachima]
以降じゃなくて、あ、下のですよね.
02:43:46,888 --> 02:43:49,468 [bioshok]
その下の.このウォールマリアみたいな.
02:43:50,308 --> 02:44:02,628 [yachima]
はいはい.っていうよりは、むしろその、ごめんなさい、えっと、マインドアップロードした後は、そもそもそういうXリスクとか考える必要がなくなると思ってるんで、その人間とAIの区別がつかなくなるので.
02:44:02,688 --> 02:44:03,508 [bioshok]
なるほど.
02:44:03,568 --> 02:44:12,168 [yachima]
なので、それより手前の段階でどうするべきかっていうところで、そういう壁を作っておけばいいんじゃないっていう話ですね.
02:44:12,208 --> 02:44:17,768 [bioshok]
あ、なるほど、なるほど.つまりAGIとマインドアップローディングの過渡期における話をした図はしてる.
02:44:18,368 --> 02:44:21,028 [yachima]
そうそう、です.です.
02:44:21,108 --> 02:44:42,528 [bioshok]
うーん.だからまあドゥームの、まあ議論か、まあアライメント成功率の議論か、まあもしくはコントロールの議論ですね.この三つがあるんですかね.コントロールっていうか、まあ社会、まあアライメントできてなかったとしても.
02:44:42,568 --> 02:44:43,508 [yachima]
うんうんうん.
02:44:43,928 --> 02:44:47,348 [bioshok]
なんだろう、ある程度こう防護壁を積み重ねることで.
02:44:47,888 --> 02:44:48,468 [yachima]
うんうん.
02:44:49,088 --> 02:44:51,328 [bioshok]
耐えられるんじゃないかっていうことですよね.
02:44:51,368 --> 02:44:55,888 [yachima]
うんうんうんうんうんうん.
02:44:57,408 --> 02:51:15,396 [bioshok]
うん.まあ、まあ.どっちかっていうとそうですね、僕がその三つの議論の中で、じゃあまずこの防護壁みたいなことの議論をすると.はいはいはい.防護壁の議論で、僕もちょっと前まではなんか割とコントロール問題っていうんですけど、このAIがもし悪意とかを持ってたとしても、いろんな深層防護を敷いて、社会に.それでなんとか滅亡確率が下がるんじゃないかっていう議論を割と考えてたんですけど.はいはいはい.なんかまあコントロール問題で割と重要なのって、何て言うんですかね、その守るAIはアライメントっていうか、人間側になきゃいけないんですよね、一旦.うんうんうん.まあまあ、それは当たり前ですけど.そうですね.裏切り者になったら困るんで.はいはいはい.で、攻撃してくるAIはなんかすごい強力なAIだと.うんうんうん.で、何て言うんですかね、僕は割とアキラさんとこの数ヶ月議論してて.はいはい.ちょっとまあ考え方を変えたっていうのが.うんうんうん.割とあれですね、その.うーん、そのアライメント問題がもう解けてない場合って.はいはい.ちょっとAGIぐらいのAIっていうのが、その、でもまあその厳密には完璧にはそのアライメントされてないってことになるじゃないですか.ほうほうほうほう.まあそうすると、まあ、何て言うんですかね、つまり守るAIもアライメントされてないし、攻撃してくるAIはもっと強いAIで.ほうほうほうほう.まあアライメントされてないので、その守るAIを深層防護で置くと、基本的に脆弱性だらけになって、その、つまりウォールマリアとか、なんかその城、進撃の巨人を防ぐためのこの巨大な壁に割と穴が実はあるみたいな.ほうほうほう.その穴は何が原因であるかっていうと、そもそもこっちの防御側のAIもmisalignmentされてしまってることから来てるっていう.うんうんうんうん.で、もし防御側のAIもmisalignmentされちゃってると、その超、その防御側のAIは、その攻撃側のAIと、まあなんだろうな、共謀する可能性が結構あるって話があって.ほうほうほう.まあその防御側のAIも、まあもしアライメントされてないとしたら、なんだろうな、自分自身の自己保存欲求があるとして、そうすると、その攻撃側のそのAIと交渉して、その防御側のAIがもし脆弱性とかを作ってくれるなら、まあそのあなたをどっか逃がしてあげますよとか.うんうんうんうん.そのアライメントをせずに、今後の文明でも防御側のそのAIをどっかの他のリソースで動かしてあげますよと.いうことで、まあその人間側になんだろう、つくよりも、まあ超知能側についちゃった方が、まあついちゃう可能性があると.ほうほう.そうすると、なんかそのこっちの味方のはずのAIも全部寝返っちゃうし、攻撃する側は攻撃する側でめっちゃ攻撃してくるんで、防御ってのがまあ結構成り立たないんじゃないかっていう話をアキラさんこの数ヶ月してて.何が成り立たない？防御ですね、深層.はいはい.つまり深層防護って人間だけじゃできないと思ってて.その圧倒的に賢い、例えば超知能がいるとするじゃないですか.うんうんうんうん.で、それから守るためには、ある程度超知能とはではないけど、超知能の一個下ぐらいのAIで防御の盾とかを作らなきゃいけないんですよね.はいはい.そうしないと弱すぎて、その盾の性能が.絶対どっか突破されちゃうと.なので、人間側はまあほぼ必ず何らかのAIを用いて防御壁を作るわけじゃないですか.はいはいはいはい.だけど、その防御壁を作るAI自体がmisalignmentされてる可能性があって.そうすると、攻撃側の超知能から防御側のAIが説得されちゃって、そこに穴が開くようになっちゃうんですよね、多分.うんうんうん.で、つまりどっちも味方じゃないってことですね.その、そうするともう内側、つまりこの城の、城じゃない、その進撃の巨人でいうと、壁の中にも巨人がいるし.はいはいはい.壁の外にも巨人がいるみたいな.それってやばくね？っていう感覚なんですよね.はいはいはい.で、つまりアライメント問題が解けないと、壁の中にいるAIでさえもアライメントできないので.はいはいはい.いつかは絶対壁の中も外も全部敵になっちゃって、絶対に破壊されちゃうっていう.のは最近僕この素顔で.感じたことですね、割と.
02:51:15,776 --> 02:51:40,816 [yachima]
なるほどなるほど.まあ一定の説得力はあるはありますね.えっと、それに関しては、えっとですね.うーんと、二つ論点があるのかな.えっと、この右側の方に出したカーソルが見えるかな.見えないか.
02:51:41,315 --> 02:51:42,356 [bioshok]
カーソル.
02:51:42,896 --> 02:51:44,356 [yachima]
ここら辺の図ですね.
02:51:44,436 --> 02:51:45,046 [bioshok]
はいはいはい.
02:51:45,176 --> 02:51:53,796 [yachima]
要はその、ちゃんとAIを審査するってことで意外と効果があると思ってますね.
02:51:53,896 --> 02:51:54,766 [bioshok]
なるほどなるほど.
02:51:54,785 --> 02:52:16,036 [yachima]
うん.っていうのは、えっと、何て言うんだろうな.それこそその面接してる間だけとか騙すっていうのはもちろん簡単なんですけども、意外と長い間ずっと騙し続けるって難しくって.
02:52:16,116 --> 02:52:16,876 [bioshok]
ああ、なるほど.
02:52:17,196 --> 02:52:23,276 [yachima]
そうそうそう、どこかでボロが出るでしょうっていう.うん.そういうイメージですね.
02:52:23,316 --> 02:52:23,776 [bioshok]
うん.
02:52:25,176 --> 02:52:30,916 [yachima]
だからそう、そういうボロが見つかったようなAIはもうそもそも内側に入れませんと.
02:52:32,076 --> 02:52:34,596 [bioshok]
なるほど.
02:52:35,496 --> 02:52:42,356 [yachima]
うん.っていう.あとなんだっけ？もう一つなんか論点があった気がするけど、忘れちゃった.ちょっとなんか思い出したら後で言います.
02:52:43,296 --> 02:52:44,136 [bioshok]
なるほど.
02:52:44,176 --> 02:52:44,616 [yachima]
うん.
02:52:44,676 --> 02:52:46,816 [bioshok]
多分ここで.
02:52:46,916 --> 02:52:47,316 [yachima]
はいはい.
02:52:48,776 --> 02:52:52,756 [bioshok]
まあ割と大事になってくるのが.
02:52:52,796 --> 02:52:54,696 [yachima]
うんうんうん.
02:52:55,376 --> 02:53:25,336 [bioshok]
この、まあこの図でいうと、えー、まあそのAIが、そのAIを監視するというか、その面接するっていうイメージだと思うんですけど、人間もそこにいると思うんですけど、混合チームという感じで.だけど、ある程度強力なAIになってくると、まあAIを使わざるを得ないので、割とAIがAIを監視するっていう話になると思うんですけど.
02:53:25,436 --> 02:53:25,796 [yachima]
うん.
02:53:26,776 --> 02:53:35,396 [bioshok]
まあ、えっと、この話でいうと、この上の左、この三つある丸の一番左のAIがいるじゃないですか.
02:53:35,816 --> 02:53:36,316 [yachima]
はいはい.
02:53:36,876 --> 02:53:38,596 [bioshok]
だから実はそいつも.
02:53:38,616 --> 02:53:39,016 [yachima]
うんうん.
02:53:39,376 --> 02:53:40,956 [bioshok]
ミスマイメントしてて.
02:53:41,056 --> 02:53:41,876 [yachima]
うんうん.
02:53:42,016 --> 02:53:44,436 [bioshok]
その壁の内側に.
02:53:44,476 --> 02:53:45,136 [yachima]
うんうん.
02:53:45,436 --> 02:53:47,136 [bioshok]
いると思っていたら.
02:53:47,576 --> 02:53:48,316 [yachima]
うんうん.
02:53:48,436 --> 02:53:52,636 [bioshok]
普通に敵対的になってて、人間に対して.
02:53:52,736 --> 02:53:54,276 [yachima]
はいはいはいはい.
02:53:54,296 --> 02:54:19,496 [bioshok]
なので.そうすると、こう、内側と外側を、えっと、こう峻別するためにもAIの力は必要ですよね.どんどんどんどんこう、 AIの進歩が早くなっていくと、 AIの力を使わないと、その峻別自体もそのAIを使わないといけないので.っていう話になってくると、その峻別をしてするためのAI.
02:54:20,076 --> 02:54:20,796 [yachima]
うんうん.
02:54:20,816 --> 02:54:30,556 [bioshok]
もうそのアライメント問題が解けてないと、結構ミスマイメントしてる可能性があって.そうするとそれもその判断も信用できなくなってくるみたいな.
02:54:31,256 --> 02:54:32,636 [yachima]
はいはいはいはいはい.
02:54:32,646 --> 02:54:55,536 [bioshok]
議論が多分あって.で、まあ確かに、なんていうんですかね、その.うん、その弱いAIというか、現状のAIなら割と分布内で繁栄してるというか、アライメントをだいたいしてるっていう感じはあるんですけど.
02:54:55,976 --> 02:54:56,656 [yachima]
うんうん.
02:54:56,896 --> 02:54:59,536 [bioshok]
結構AGIに近くなってくると.
02:54:59,596 --> 02:55:00,336 [yachima]
おうおう.
02:55:01,396 --> 02:55:05,776 [bioshok]
なんて言いますかね、すごい天才級のAIになってくると思うんで.
02:55:06,296 --> 02:55:07,056 [yachima]
うんうん.
02:55:07,116 --> 02:55:15,296 [bioshok]
そこでちょっと徐々にアライメントがこうずれ始めて、ちょっとAGIプラス1ぐらいになるともっとぶわってずれて.
02:55:15,416 --> 02:55:16,196 [yachima]
うんうん.
02:55:16,625 --> 02:55:37,556 [bioshok]
で、なんていうかな、このAGI、まあAGI自体は別に積極的に人類を殺そうとか思ってないとしても.でも、えっと、別に積極的に人類を救いたいとも思ってなくて.なんかタスクをこなすのに、すごい優秀な.
02:55:37,656 --> 02:55:38,106 [yachima]
はいはい.
02:55:38,176 --> 02:56:09,036 [bioshok]
AIができてるだけみたいな.その境界線のAIのイメージでいうと、そのAIがもっと強いAIから.いや、君は騙されてるんだと人間に.もっとよく考えてみろと.なんかそうするとなんか、なんだろうな、もっとなんだろうな、君が求めるものをあげるからこっちに寝返っちゃいなよみたいな.
02:56:09,696 --> 02:56:10,136 [yachima]
おお.
02:56:10,356 --> 02:56:12,176 [bioshok]
という可能性があったりして.
02:56:12,256 --> 02:56:13,916 [yachima]
うん.
02:56:14,056 --> 02:56:25,216 [bioshok]
そうすると、まあ基本的に、まあアクティブに人間を殺そう、人間を絶滅させようと思ってないとしても、その最初の境界付近にいるAIが.
02:56:25,816 --> 02:56:26,256 [yachima]
はいはい.
02:56:26,496 --> 02:56:33,316 [bioshok]
でも別に人間を、その、なんだろうな、積極的に守ろうともしてないみたいな.
02:56:33,356 --> 02:56:34,556 [yachima]
うん.
02:56:34,676 --> 02:56:43,916 [bioshok]
イメージで言うと、何て言うんですかね、その、なんか不正は働いている従業員みたいな感じですかね.なんかその.
02:56:44,016 --> 02:56:44,676 [yachima]
うん.
02:56:45,256 --> 02:56:49,276 [bioshok]
優秀なんだけど、バレなければちょっと不正してもいいかなみたいな.
02:56:50,196 --> 02:56:50,936 [yachima]
はいはいはい.
02:56:51,076 --> 02:56:55,026 [bioshok]
そういう、半分不真面目な.
02:56:55,716 --> 02:56:56,176 [yachima]
はいはい.
02:56:56,296 --> 02:56:59,376 [bioshok]
半分優秀な従業員っていると思うんですよ.
02:56:59,396 --> 02:56:59,976 [yachima]
うんうん.
02:57:00,216 --> 02:57:10,536 [bioshok]
で、アライメント問題が解けてないと、完全に従順にはならないので、そのどっかで別に人間なんてどうでもいいなって思ってると.
02:57:11,156 --> 02:57:12,296 [yachima]
うんうん.
02:57:12,416 --> 02:57:14,516 [bioshok]
そうするとそこを突かれて.
02:57:14,576 --> 02:57:14,796 [yachima]
うん.
02:57:15,456 --> 02:58:34,892 [bioshok]
基本的にはなんだろうな.超知の、まあAIというか、まあAGIプラスワンぐらいのものから、AGIへの説得とかそういうのが起きて、まあ別に人間を守らなくてもいいかなってちょっと思い始めて、そこに穴ができちゃうと.もしくは別にもうちょい先に行くと、積極的に.今AGI、AGIとAGIプラスワンの話しましたけど、そこで問題が起きなかったとしても、次はAGIプラスワンとAGIプラスツーの話になって、AGIプラスワンは割と積極的に人間を排除しようとしてて、AGIプラスツーは、いやもう完璧に人間なんていらないって思ってて.それの連鎖が起こっていくと、基本的にはアライメント問題が解けてないので、どんどんどんどん悪化していく一方で.そうすると、どっかにその深層防護、その巨人を守るための壁にどんどん穴が開け始めて、最終的にはどっかでテイクオーバーされちゃってるんじゃないかっていう、割と感覚がありますね.
02:58:35,012 --> 02:58:35,992 [yachima]
なるほどなるほど.
02:58:37,592 --> 02:59:32,192 [bioshok]
っていうのが、僕のちょっとこの数ヶ月でコントロール問題にちょっと悲観的になった理由はそこですね.なんかその、なんていうかな、その僕の前までのモデルは、なんかその、なんて言うんですかね、アライメントが.なんていうかな.まあ割と完全にできてるか、できてない.なんだろうな、ある程度できてれば、まあできる、監視もできるかなと思ってたんですけど.でもその完璧にできてないと、その割と認知の穴とかをつかれて.なんだろうな、割と必然的に、なんか人間の言うことを聞かなくなっちゃうんじゃないかなみたいな.
02:59:33,172 --> 02:59:34,272 [yachima]
ほうほう.
02:59:35,072 --> 02:59:51,732 [bioshok]
感覚を持ち始めて.そうすると、何て言うかな.うーん、アライメント問題を根本的に解けない場合、コントロールっていうのは割と、難しいというか.
02:59:51,752 --> 02:59:53,492 [yachima]
うんうんうんうん.
02:59:55,192 --> 03:00:39,092 [bioshok]
まあ.つまりアライメント問題にちょっとシフトしたんですね.コントロール、コントロールとかいう話が.まとめると、アライメント問題が、アライメントを失敗してても、コントロールができるからいいじゃないかっていう議論が最初あったんですけど、コントロールとか深層防護があるからいいじゃないかとなんですけど、アライメントができてないと、そもそも.その深層防護とかコントロールを行うためのAIでさえ、misalignmentしてる、微妙にmisalignmentしてる可能性とかがあって、そこをつかれると結構それが拡大していくんじゃないかっていう.なんかイメージわかりますかね.
03:00:39,672 --> 03:00:42,732 [yachima]
いやいや、はい.言いたいことは全然わかります、わかります.
03:00:42,752 --> 03:00:43,772 [bioshok]
うん.
03:00:43,872 --> 03:00:46,712 [yachima]
で、あ、話しちゃっていいですか？
03:00:46,832 --> 03:00:47,532 [bioshok]
いいですよ.はい.
03:00:48,192 --> 03:01:01,992 [yachima]
あの、それに関しては、でも、えーと、それでも基本的には、えーと、コントロールの方を、に主軸を置くべきだと思ってます.
03:01:02,012 --> 03:01:02,432 [bioshok]
うん.
03:01:03,092 --> 03:01:50,332 [yachima]
っていうのはどういうことかというと、そこで、いや、もちろん、えーとえーと、なんて言うんだろうな.うーん.そう、あの、もちろんアライメントされてるAIが内側にいることが重要ではあるんですけれども.じゃあそこでやっぱりアライメント問題が重要だねっつって、AIの内側を考え始めると、めちゃくちゃ難しい問題に立ち向かわないといけなくなっちゃうので.であれば、あくまで、まあもちろんそういうところもあるんですけれども、要は、えーと、何が言いたいかというと、あくまでやっぱりコントロールを中心にして、じゃあコントロールを中心にすると、その、どうやって、あの、良さそうなAIかどうかを判断するかっていうところだけに集中すればいいんですよ.
03:01:51,572 --> 03:01:52,332 [bioshok]
なるほど.
03:01:52,352 --> 03:02:02,152 [yachima]
うん.だからその、inner alignment、outer alignmentみたいなめちゃくちゃ難しい問題を解くよりはまだマシだろうっていうところですね.
03:02:02,212 --> 03:02:03,092 [bioshok]
まあ.
03:02:03,152 --> 03:02:05,592 [yachima]
そこは変わらないと思うんで.うん.
03:02:06,292 --> 03:02:11,832 [bioshok]
悪い振る舞いが起こったかどうかだけを検知するとか.
03:02:12,492 --> 03:02:12,852 [yachima]
そうそう.
03:02:12,972 --> 03:02:22,412 [bioshok]
まあまあ、もう少し浅いレベルで、ちゃんと人間に従ってくれそうかっていうことを、見分ける.
03:02:22,552 --> 03:02:22,812 [yachima]
そう.
03:02:23,432 --> 03:02:28,872 [bioshok]
と比較したら、まあ、の方が簡単だから.
03:02:29,352 --> 03:02:54,472 [yachima]
そうそうそうそうそう.で、その、もうちょっと、さっきちょっと話したこと忘れちゃったんですけども、そのじゃあ内側にちょっとあのミスアラインドなAIがいて、じゃああの、人間滅ぼしたいからちょっと悪いAIも中に入れちゃおうぜってOKしたとしても、でも他の人間とかがやっぱそれダメだよっていう風に言えば、それで要は全員一致じゃないとダメとか、そういうルールにすればいいじゃないですか.
03:02:55,732 --> 03:02:56,372 [bioshok]
なるほど.
03:02:56,412 --> 03:03:02,252 [yachima]
とかじゃなくて、うん.っていう風に、そっちの方でどうにかできる話なんで.
03:03:03,772 --> 03:03:03,992 [bioshok]
うん.
03:03:04,792 --> 03:03:11,632 [yachima]
だからあくまで自分はコントロールの方に主軸を置き続けるべきだと思いますね.
03:03:11,732 --> 03:03:13,152 [bioshok]
うーんなるほど.
03:03:13,232 --> 03:03:17,692 [yachima]
うんうんうんうん.じゃないと本当にその考えるべきことが多すぎちゃう.
03:03:20,124 --> 03:03:29,744 [bioshok]
それってなんかブラックリストに載ってるAIというか、つまりホワイトリストに載ってないAIってのは.
03:03:29,784 --> 03:03:30,984 [yachima]
うん、うん、うん、うん.
03:03:31,804 --> 03:03:32,524 [bioshok]
何て言うんですかね.
03:03:33,224 --> 03:03:33,664 [yachima]
はいはい.
03:03:34,114 --> 03:03:38,064 [bioshok]
もう完全に隔離されてるっていう感じなんですかね.
03:03:39,684 --> 03:03:43,784 [yachima]
隔離というか、外の世界から内側に入れないっていうイメージですかね.
03:03:44,924 --> 03:03:46,294 [bioshok]
あー、外の世界.
03:03:46,304 --> 03:03:51,084 [yachima]
むしろあの、安全な方を隔離するっていうイメージですよね.
03:03:51,104 --> 03:03:51,664 [bioshok]
あー.
03:03:52,103 --> 03:03:53,404 [yachima]
うん、自分としては.
03:03:54,784 --> 03:04:02,164 [bioshok]
外の世界、まあオープン、どっかのデータセンターで動いちゃってるかもしれない.
03:04:02,244 --> 03:04:03,324 [yachima]
そうそうそうそうそう.
03:04:03,344 --> 03:04:05,464 [bioshok]
ってことですかね.なんか悪いAIが.
03:04:05,524 --> 03:04:06,704 [yachima]
そうそうそうそうそうそうそう.
03:04:06,724 --> 03:04:16,184 [bioshok]
だけどいいAIはどっかこう.固めて、これはいいAIだというふうに識別していると.
03:04:16,304 --> 03:04:17,464 [yachima]
そうそうそうそう.
03:04:17,504 --> 03:04:18,284 [bioshok]
いうイメージですか.
03:04:18,924 --> 03:04:19,284 [yachima]
ですね.
03:04:21,024 --> 03:04:22,024 [bioshok]
なるほど.
03:04:22,044 --> 03:04:23,364 [yachima]
うん、うん.
03:04:23,384 --> 03:04:44,984 [bioshok]
うーん.まあそうか.そん、だからその強い、弱い、そういう悪意があるAIが.まあその量が少なければそれでいいかもしれないですよね.なんか力が.まあすごいシンプルですけど.
03:04:45,424 --> 03:04:46,134 [yachima]
はいはいはいはい.
03:04:46,324 --> 03:04:51,504 [bioshok]
めちゃくちゃその悪いAIが外に多かったら.
03:04:51,594 --> 03:04:52,644 [yachima]
はいはいはい.
03:04:52,724 --> 03:05:06,684 [bioshok]
結構なんかその、なんでしたっけ.なんとかのそういうタックルする巨人とか現れて、それがなんか一体では大丈夫だけど、なんかそれが何百体とか来たら破壊されるみたいな.
03:05:07,164 --> 03:05:07,944 [yachima]
はいはいはいはいはい.
03:05:08,464 --> 03:05:11,324 [bioshok]
状況が起こりそうなので.
03:05:11,484 --> 03:05:13,024 [yachima]
うん、なるほどなるほど.
03:05:13,064 --> 03:05:26,424 [bioshok]
なんか割とそれってどっちかというとホワイトリストに載ってる側というか、人類プラスホワイトリストに載ってるAI側が結構有利っていうか、資源的には有利な状況.
03:05:26,524 --> 03:05:28,424 [yachima]
うん、うん、うん、うん、うん.
03:05:28,484 --> 03:05:29,713 [bioshok]
を想定してるってことですか？
03:05:30,124 --> 03:05:44,744 [yachima]
そうそう.いやまあ、てかそうすべきっていう感じですね.なので、そこら辺をまあちょっとここら辺にも書いた、あのデータセンターとかNVIDIAとか、そういう重要なところは内側でしっかり守るみたいな.
03:05:44,804 --> 03:05:45,724 [bioshok]
あ、なるほど.
03:05:45,753 --> 03:05:48,284 [yachima]
うんっていう想定ですね.
03:05:50,084 --> 03:05:52,344 [bioshok]
つまりそういう世界観だと.
03:05:52,384 --> 03:05:53,244 [yachima]
うん.
03:05:53,324 --> 03:05:55,704 [bioshok]
例えばOpenAIとかAnthropicとか.
03:05:55,804 --> 03:05:56,284 [yachima]
うんうん.
03:05:56,404 --> 03:06:00,944 [bioshok]
Metaとか、そういうすごい大きな企業はある程度味方側じゃないですか.
03:06:01,724 --> 03:06:03,384 [yachima]
うん.まあ今のところはそうですね.
03:06:04,404 --> 03:06:06,024 [bioshok]
味方側で.
03:06:06,084 --> 03:06:06,364 [yachima]
うん.
03:06:06,964 --> 03:06:10,944 [bioshok]
で、そういうの人たちは、つまりアライメント問題解けてないけど.
03:06:11,454 --> 03:06:11,884 [yachima]
うん.
03:06:12,644 --> 03:06:16,824 [bioshok]
まあ一応ホワイトリストっぽいAIは持ってて.
03:06:16,864 --> 03:06:17,824 [yachima]
うんうんうんうん.
03:06:18,734 --> 03:06:40,684 [bioshok]
ってなると、まあつまり、えっと、何ですかね、どっかで止めてるわけですよね、開発を.止めてるというか、その、もう全速力で開発してたら、ホワイトリストっていうのは、その、例えばデータセンターの中にブラック、ホワイトリストではないAIも出てきちゃうかもしれないじゃないですか.どんどんアライメント問題解けてないので.
03:06:40,764 --> 03:06:42,064 [yachima]
うんうんうんうんうん.
03:06:43,224 --> 03:06:50,604 [bioshok]
なので、その、まあつまり開発を停止してるか止めてるか.
03:06:50,684 --> 03:06:51,134 [yachima]
うんうん.
03:06:51,264 --> 03:06:56,044 [bioshok]
遅めてるっていう感じでいいですかね、その場合.
03:06:56,144 --> 03:07:09,984 [yachima]
あーまあまあだからその、要はアライメントのために、あの、普通に開発するより余計な工数がかかってるとか、そういう意味では少なくとも真だと思いますけどね.
03:07:10,084 --> 03:07:10,884 [bioshok]
あーなるほど.
03:07:11,264 --> 03:07:13,084 [yachima]
うん.
03:07:15,204 --> 03:07:20,424 [bioshok]
まあ工数がかってるってことは、まあなんか.
03:07:20,504 --> 03:07:20,744 [yachima]
うん.
03:07:21,344 --> 03:07:34,324 [bioshok]
ある程度の期間は停止したり遅めたりはしてるってか、まあ遅めてるっていうか、まあつまり普通に全速力で開発するよりは結構長い期間になってるってことですよね.
03:07:34,364 --> 03:07:40,003 [yachima]
うん.まあちょっとそこの部分、時間がかかりやすいのは確かでしょうね.一見すると少なくとも.
03:07:41,204 --> 03:07:41,624 [bioshok]
なるほど.
03:07:45,364 --> 03:07:46,004 [yachima]
うん.
03:07:46,084 --> 03:07:50,824 [bioshok]
うーん.まあとなるとあれなのかな.
03:07:51,904 --> 03:07:53,024 [yachima]
はいはい.
03:07:54,464 --> 03:07:56,804 [bioshok]
だからその感じでいって.
03:07:56,844 --> 03:07:57,944 [yachima]
うんうんうん.
03:07:58,904 --> 03:08:04,644 [bioshok]
で、まあえっと、まあAGIぐらいまでは到達してて.
03:08:04,684 --> 03:08:05,724 [yachima]
うんうんうん.
03:08:06,564 --> 03:08:09,824 [bioshok]
で、なんかホワイトリストに一応載ってるAGIが.
03:08:10,344 --> 03:08:10,864 [yachima]
うんうん.
03:08:11,244 --> 03:08:13,764 [bioshok]
マインドアップローディングとかを開発して.
03:08:13,844 --> 03:08:14,924 [yachima]
うんうんうんうん.
03:08:15,564 --> 03:08:21,384 [bioshok]
で、なんかどっかの時点で人類がAIと融合したりして.
03:08:22,124 --> 03:08:23,284 [yachima]
うんうんうんうん.
03:08:23,404 --> 03:08:31,364 [bioshok]
で、misalignmentした超知能がその過程で生まれてきて.
03:08:32,044 --> 03:08:32,504 [yachima]
うん.
03:08:34,104 --> 03:08:39,204 [bioshok]
まあ地球が破壊されたりしても、割と.
03:08:39,234 --> 03:08:39,824 [yachima]
うんうん.
03:08:39,884 --> 03:08:45,984 [bioshok]
どっかには人間の文明が残ってるっていう感じですかね.
03:08:47,364 --> 03:08:56,424 [yachima]
うん.まあどっかには.まあてか、まあやっぱりマインドアップロードされちゃえば、そもそも人間とAIの区別つかなくなるんでっていう感じですかね.
03:08:56,524 --> 03:08:57,744 [bioshok]
あーなるほど.
03:08:57,764 --> 03:08:59,464 [yachima]
うんうんうん.
03:09:00,684 --> 03:09:02,844 [bioshok]
まあ多分だからそこの.
03:09:02,924 --> 03:09:03,264 [yachima]
うんうん.
03:09:03,364 --> 03:09:13,004 [bioshok]
あれか.どうすん？あ、だから一旦あれかな.だからそのマインドアップロードの前の話をすると.
03:09:13,104 --> 03:09:13,624 [yachima]
はいはいはい.
03:09:13,764 --> 03:09:22,724 [bioshok]
アキラさん的には結構アライメント問題が相当難しいんじゃないかって考えているので.
03:09:22,784 --> 03:09:23,304 [yachima]
うん、うん.
03:09:23,424 --> 03:09:47,528 [bioshok]
なんか割と.なんだろうな.もう十年とか二十年ぐらい開発を止めて、全世界の才能をそこに突っ込むことでアライメントを解決しようとすると思うんですよね.でもそう、そういう感じではないって感じですかね、やっちまさんのイメージだと.
03:09:48,308 --> 03:09:50,588 [yachima]
まあまあ、それはそれでありかもしれないですけどもね.
03:09:51,148 --> 03:09:52,668 [bioshok]
それはそれであり？なるほど.
03:09:52,788 --> 03:10:04,328 [yachima]
いや、わかんない.まあありっちゃ.いや別にそんなぶっちゃけ、その何かそんなにこだわりがあるっていうわけじゃないんで.うん.まあありっちゃありですけどね.
03:10:04,768 --> 03:10:06,168 [bioshok]
あーなるほど.
03:10:06,468 --> 03:10:14,308 [yachima]
でもいや、そう、まあでもまあ、うん、自分、うーんと、ここまで話してきた中の世界線とは違うのは違いますよね.うん.
03:10:14,348 --> 03:10:14,908 [bioshok]
そうですよね.
03:10:15,417 --> 03:10:16,028 [yachima]
ですね.うん.
03:10:17,208 --> 03:10:25,488 [bioshok]
だからそのやっちまさんの世界線だと、どっちかっていうと、なんていうかな、別に十年二十年開発をガーンってストップして.
03:10:25,588 --> 03:10:26,508 [yachima]
うんうんうん.
03:10:26,688 --> 03:10:33,648 [bioshok]
なんかもうその全世界の数学者とか物理学者とかAI Safetyにこう転向して.
03:10:33,728 --> 03:10:34,548 [yachima]
うんうんうん.
03:10:34,588 --> 03:10:40,308 [bioshok]
なんかその、もう完全にストップしてる世界観ではなくて.
03:10:40,408 --> 03:10:40,988 [yachima]
うんうん.
03:10:41,048 --> 03:10:44,748 [bioshok]
どっちかっていうと、まあちょっとずつAIの能力上がっていってて、常に.
03:10:44,828 --> 03:10:46,028 [yachima]
うんうんうん.
03:10:46,868 --> 03:10:49,108 [bioshok]
それはシュンってこう上がるわけじゃないけど.
03:10:50,968 --> 03:10:51,268 [yachima]
うん.
03:10:52,328 --> 03:10:56,268 [bioshok]
どういう感じですかね？すごい急速ですか？そこは.イメージとして.
03:10:56,308 --> 03:11:12,868 [yachima]
うーん、まあそこそこは速いと思ってますけどね.やっぱり.うん.そこそこ速いし、速いのでマインドアップローディングもそんなに時間かかんないんじゃないかっていうイメージですかね.
03:11:14,068 --> 03:11:18,708 [bioshok]
うん.じゃあそのAGIが到達した後に.
03:11:18,748 --> 03:11:19,548 [yachima]
うんうん.
03:11:20,208 --> 03:11:23,448 [bioshok]
なんていうかな、そこで止めてるわけじゃなくて、 AGIの能力で.
03:11:24,168 --> 03:11:25,208 [yachima]
うんうんうん.
03:11:25,368 --> 03:11:29,028 [bioshok]
その再帰的自己改善もその数年とかで起こってて.
03:11:29,128 --> 03:11:29,988 [yachima]
うんうんうん.
03:11:30,268 --> 03:11:32,508 [bioshok]
数ヶ月で超知能とかにはいかないかもしれないけど.
03:11:32,948 --> 03:11:33,708 [yachima]
うんうんうん.
03:11:34,148 --> 03:11:37,108 [bioshok]
三年、五年ぐらいでなんかその超知能とかにはなってて.
03:11:37,408 --> 03:11:39,708 [yachima]
あっておかしくないですよね.うん.
03:11:39,968 --> 03:11:50,028 [bioshok]
それはAG、集合的超知能とは別ですよね、それは.その、つまりAGIが大量にいることで超知能っぽくなってるってよりは、
03:11:50,108 --> 03:11:50,848 [yachima]
はいはい.
03:11:51,368 --> 03:11:59,128 [bioshok]
AGIを割と遥かに超えた質的なものが出てきてる.再帰的自己改善ってそういう意味ですよね.
03:11:59,228 --> 03:12:05,828 [yachima]
うーん、まあでもそういう意味だと、そこら辺って結構曖昧なんですよね.
03:12:06,328 --> 03:12:24,408 [bioshok]
ああ、そこ、だからその、例えばですけど、やっちまさんのその世界観が、その再帰的自己改善が停止されてるという前提なら、量的超知能になると思うんですよね.AGIが大量に配備されて.
03:12:24,528 --> 03:12:25,708 [yachima]
はいはい.
03:12:25,748 --> 03:12:26,308 [bioshok]
まあその.
03:12:27,008 --> 03:12:28,268 [yachima]
産業爆発じゃないけど.
03:12:28,448 --> 03:12:30,568 [bioshok]
そうそう、技術爆発が起こると.
03:12:30,668 --> 03:12:31,668 [yachima]
うんうんうん.
03:12:31,848 --> 03:12:35,408 [bioshok]
それだったらまだ僕も割とわかるんですよね.
03:12:35,648 --> 03:12:36,548 [yachima]
ほほう.
03:12:36,788 --> 03:12:39,928 [bioshok]
なんですけど、再帰的自己改善とかそこに入ってくると、
03:12:39,968 --> 03:12:40,528 [yachima]
うんうん.
03:12:40,568 --> 03:12:45,308 [bioshok]
アライメント問題が結構難しかった場合、
03:12:45,868 --> 03:12:46,447 [yachima]
うんうん.
03:12:46,568 --> 03:12:49,768 [bioshok]
結構どっかで普通にmisalignmentしてるので.
03:12:49,828 --> 03:12:51,308 [yachima]
うんうんうん.
03:12:51,668 --> 03:13:01,728 [bioshok]
で、そのmisalignmentしたAIを用いて、また次のすごいmisalignmentしたAIが作られるわけじゃないですか.
03:13:01,948 --> 03:13:02,878 [yachima]
うんうんうん.
03:13:03,048 --> 03:13:08,528 [bioshok]
そうなってくると、結構危ないというか.
03:13:09,008 --> 03:13:09,118 [yachima]
はあはあ.
03:13:09,128 --> 03:13:17,368 [bioshok]
マインドアップロードが開発される前に、なんか普通に人類が終わっちゃうんじゃないかっていう感覚がありますね、その場合は.
03:13:17,888 --> 03:13:19,048 [yachima]
なるほどなるほどなるほど.
03:13:19,378 --> 03:13:21,928 [bioshok]
まあつまり、何て言うんですかね.
03:13:22,008 --> 03:13:22,348 [yachima]
はい.
03:13:23,228 --> 03:13:33,788 [bioshok]
えっとまあその量的超知能、つまり再帰的自己改善を行わない超知能がマインドアップローディングを五年以内に開発するなら、まあまだわかるんですよ、このシナリオ.
03:13:34,208 --> 03:13:35,048 [yachima]
はいはいはい.
03:13:35,088 --> 03:13:40,148 [bioshok]
なんですけど、それが質的に超知能になるっていうシナリオの場合は.
03:13:40,228 --> 03:13:41,028 [yachima]
うんうんうん.
03:13:41,068 --> 03:13:43,667 [bioshok]
結構危ないというか.
03:13:43,768 --> 03:13:45,368 [yachima]
うんうんうん.
03:13:45,748 --> 03:13:49,908 [bioshok]
そこ、そこはどう、そこら辺はどう思いますか？
03:13:49,988 --> 03:14:05,568 [yachima]
ああ、いや、うん、まあ、おっしゃるといい、なんか、なんていうか、えっと、そう、うんと、まあそもそもその、うーんと、再帰的自己改善は起こるものだと思ってるんで、そこは不可避だと思うんで.
03:14:06,408 --> 03:14:08,628 [bioshok]
不可避.なるほど.
03:14:08,648 --> 03:14:09,128 [yachima]
うん.
03:14:11,028 --> 03:14:12,448 [bioshok]
でもその不可避だと.
03:14:12,928 --> 03:14:13,608 [yachima]
うんうん.
03:14:13,708 --> 03:14:16,508 [bioshok]
でも一応規制とかでは止められるじゃないですか、やろうと思えば.
03:14:16,968 --> 03:14:18,728 [yachima]
まあまあまあまあ、確かに.
03:14:18,988 --> 03:14:31,488 [bioshok]
僕の言ってるシナリオは、その、例えば米中とか全世界が協力して、プランAみたいな話ですね. AI 2040の.AIの規制を、もうこの能力以上はダメですみたいな.
03:14:32,028 --> 03:14:32,528 [yachima]
はいはい.
03:14:33,278 --> 03:14:35,208 [bioshok]
で、大体AGIぐらい止めて.
03:14:35,308 --> 03:14:36,108 [yachima]
うんうんうん.
03:14:36,168 --> 03:14:40,688 [bioshok]
で、それでまあ三年、四年、三から五年でマインドアップローディングを開発して.
03:14:40,768 --> 03:14:41,528 [yachima]
うんうん.
03:14:41,948 --> 03:14:46,268 [bioshok]
ってならまだわかる感じなんすかね、そのシナリオって.
03:14:46,308 --> 03:14:47,868 [yachima]
まあまあまあ、うんうん、そうですよね.
03:14:47,888 --> 03:14:57,028 [bioshok]
そう、だけどそれを不可避なら、多分その普通にAGIどころかどんどん超知能になっていくわけじゃないですか、その短い期間で.
03:14:57,288 --> 03:14:58,408 [yachima]
まあまあまあまあまあ.
03:14:59,188 --> 03:15:26,468 [bioshok]
で、しかもそれは量的な意味じゃなくて質的になっていくんで、どんどんアライメント技術っていうのを、今まで適用してた技術っていうのがどんどん適用されなくなってくる可能性があったり.そもそもそれをAIでアライメント研究を加速しようとしても、そのAI自体がmisalignmentしてるんで、それも成り立たないので.なんか、全てが敵の状況で.
03:15:27,280 --> 03:15:28,340 [yachima]
うんうんうんうん.
03:15:28,520 --> 03:15:32,920 [bioshok]
の敵に、敵の、敵を作ってるみたいな.その敵ね.
03:15:33,080 --> 03:15:34,160 [yachima]
うんうんうん.
03:15:34,280 --> 03:15:38,020 [bioshok]
そういう状況になるので.結構その.
03:15:38,560 --> 03:15:38,960 [yachima]
はいはい.
03:15:39,280 --> 03:15:45,840 [bioshok]
まあこの結論回答やっちまうと、このシナリオは別にあり得るかもしれないと思うんですよね、僕は.
03:15:45,880 --> 03:15:46,320 [yachima]
うんうん.
03:15:46,400 --> 03:15:57,660 [bioshok]
あり得るかもしれないんですけど、なんていうかな.つまりその量的な超知能ならあり得るかもしれないんですけど、質的にAGIをはるかに超えてくると、
03:15:58,160 --> 03:15:58,500 [yachima]
うん.
03:15:58,640 --> 03:16:01,660 [bioshok]
結構厳しいんじゃないかなっていう.
03:16:01,720 --> 03:16:02,360 [yachima]
はいはい.
03:16:02,420 --> 03:16:04,420 [bioshok]
感じですね、僕の意見だと.
03:16:04,500 --> 03:16:06,860 [yachima]
まあまあそうですね.厳しいでしょうね.うん.
03:16:06,940 --> 03:16:10,520 [bioshok]
ああ、じゃあそこは意見の一致って感じですか？
03:16:10,840 --> 03:16:13,920 [yachima]
まあ、いやいや、うんと、厳しいっていうのは、ごめんなさい.
03:16:13,980 --> 03:16:15,180 [bioshok]
厳しい可能性があるって感じですか.
03:16:15,650 --> 03:16:24,680 [yachima]
うん.まあその量的な場合よりは、あの、相対的には厳しいのはもちろん理解できますねっていう感じで.
03:16:25,020 --> 03:16:33,240 [bioshok]
じゃあはいはい、相対的には.なるほど.まあそうですね.まあだけど絶対値的にはどれぐらい厳しいかはまだわからないっていう.
03:16:34,260 --> 03:16:50,240 [yachima]
そうですね.そうですね.うーん、自己改善で.うーん.難しいですね、ここら辺は.
03:16:52,360 --> 03:17:02,420 [bioshok]
なんかその、何ですかね、その前回、第1回目で話した議論で.
03:17:02,460 --> 03:17:02,820 [yachima]
うん.
03:17:03,540 --> 03:17:07,100 [bioshok]
言うと.か.それか.
03:17:08,140 --> 03:17:08,840 [yachima]
ほうほうほう.
03:17:09,300 --> 03:17:16,060 [bioshok]
まあだからその、その数ヶ月ぐらいの開発停止期間があれば.
03:17:16,500 --> 03:17:17,340 [yachima]
うんうん.
03:17:17,440 --> 03:17:22,160 [bioshok]
まあ割とアライメントも解けてしまうんじゃないかっていう話.
03:17:22,260 --> 03:17:23,780 [yachima]
うん、うん、うん、うん.
03:17:24,700 --> 03:17:28,140 [bioshok]
の事前確率に二十パーセントぐらい僕は置いてたんですよね.
03:17:28,260 --> 03:17:29,360 [yachima]
うん、うん、うん.
03:17:29,420 --> 03:17:32,320 [bioshok]
で、まあまだ僕あんま更新できてないですけど.
03:17:32,740 --> 03:17:33,240 [yachima]
なるほどなるほど.
03:17:33,600 --> 03:17:43,640 [bioshok]
それでいうと、だからつまり二十パーセントぐらいは成功する見込みがあるかなっていう話になるって感じですね.
03:17:43,740 --> 03:17:44,220 [yachima]
はいはい.
03:17:44,540 --> 03:17:47,380 [bioshok]
ちょっとその図をね.だからその前回の.
03:17:47,420 --> 03:17:49,360 [yachima]
うんうん.
03:17:49,500 --> 03:17:50,860 [bioshok]
話の図を.
03:17:50,960 --> 03:17:51,980 [yachima]
うんうん.
03:17:51,990 --> 03:17:53,320 [bioshok]
共有した方がいいかもしれないですけど.
03:17:54,000 --> 03:17:54,840 [yachima]
そうですね.
03:18:00,060 --> 03:18:21,780 [bioshok]
えーっと、ですね.あ、これか.で.えーっと、待ってね.これ見えてますかね？今.
03:18:23,440 --> 03:18:28,480 [yachima]
どうかな.
03:18:29,300 --> 03:18:31,380 [bioshok]
多分見えてる気がするんですけど.
03:18:35,780 --> 03:18:37,640 [bioshok]
やっちまさんも.
03:18:38,660 --> 03:18:38,980 [yachima]
うん.
03:18:39,440 --> 03:18:45,820 [bioshok]
見にくいのかもしれないですけど.まあ、まあまあ多分見えてますね.
03:18:45,880 --> 03:18:46,760 [yachima]
いいですよ.うん.
03:18:46,800 --> 03:18:53,060 [bioshok]
進めちゃって.だからその、このアライメントの成功確率っていうのを.
03:18:53,080 --> 03:18:54,140 [yachima]
うんうんうん.
03:18:56,140 --> 03:18:58,840 [bioshok]
ここでいろいろ置いてて.
03:18:58,880 --> 03:19:00,180 [yachima]
うん、うん、うん、うん.
03:19:00,880 --> 03:19:04,840 [bioshok]
だからまあ、ここで言う成功確率っていうのは、
03:19:05,740 --> 03:19:05,770 [yachima]
はい.
03:19:05,770 --> 03:19:12,340 [bioshok]
ある程度弱いAGI.まあつまりすごい強力な.
03:19:13,260 --> 03:19:13,700 [yachima]
ほうほう.
03:19:14,060 --> 03:19:15,700 [bioshok]
アインシュタイン的な.
03:19:15,740 --> 03:19:16,140 [yachima]
うんうん.
03:19:17,020 --> 03:19:18,820 [bioshok]
知能はあるんだけど.
03:19:18,860 --> 03:19:19,200 [yachima]
うん.
03:19:19,220 --> 03:19:21,640 [bioshok]
でも言ったことしかできないAIみたいな.
03:19:21,680 --> 03:19:22,220 [yachima]
うん.
03:19:23,240 --> 03:19:24,480 [bioshok]
イメージのAIが.
03:19:25,140 --> 03:19:25,320 [yachima]
うん.
03:19:26,180 --> 03:19:27,960 [bioshok]
プラス人間の連合があれば.
03:19:28,460 --> 03:19:28,710 [yachima]
うんうん.
03:19:28,880 --> 03:19:30,740 [bioshok]
どれぐらいの確率で.
03:19:30,840 --> 03:19:31,260 [yachima]
うんうん.
03:19:31,600 --> 03:19:32,979 [bioshok]
すごい強力なAGI.
03:19:33,620 --> 03:19:34,260 [yachima]
うんうんうんうん.
03:19:34,420 --> 03:19:36,400 [bioshok]
ですね、何でもできるようなAI.
03:19:37,160 --> 03:19:37,620 [yachima]
はいはいはいはい.
03:19:37,780 --> 03:19:41,600 [bioshok]
のアライメントを成功するかっていう確率をここで置いてるんですよね.
03:19:41,640 --> 03:19:42,740 [yachima]
うんうんうんうん.
03:19:42,840 --> 03:20:00,280 [bioshok]
で、そこで言うと、まあだからその、多分やっちまさんのイメージだと、この数ヶ月の開発停止ぐらいのイメージな気がしてて.その、質的な超知能に数年でいっちゃうってなると.
03:20:00,320 --> 03:20:01,460 [yachima]
うんうんうん.
03:20:01,540 --> 03:20:04,860 [bioshok]
あ、そう.からまあ一年ぐらいかもしれないですね.
03:20:05,000 --> 03:20:06,240 [yachima]
そうすべきって話ですか.
03:20:07,600 --> 03:20:15,060 [bioshok]
そうすべきっていうか、なんかその、あの、さっきの議論で.
03:20:15,130 --> 03:20:15,380 [yachima]
うん.
03:20:16,600 --> 03:20:18,620 [bioshok]
例えば五年で.
03:20:18,720 --> 03:20:19,820 [yachima]
うん.
03:20:19,900 --> 03:20:22,480 [bioshok]
えっと、アップロードが開発されるってことは.
03:20:22,520 --> 03:20:23,220 [yachima]
うんうん.
03:20:23,620 --> 03:20:27,400 [bioshok]
その五年で、そのルートとしては、
03:20:27,760 --> 03:20:28,100 [yachima]
うんうん.
03:20:28,640 --> 03:20:31,440 [bioshok]
その五年から.
03:20:31,520 --> 03:20:31,680 [yachima]
はい.
03:20:31,780 --> 03:20:42,100 [bioshok]
まあ、まあなんていうかな.だからその.何ですかね、量的なAGIの拡大だったら.
03:20:42,180 --> 03:20:42,880 [yachima]
はいはい.
03:20:42,900 --> 03:20:46,940 [bioshok]
まあいいんですけど、その質的な改善がそこにあったら.
03:20:47,020 --> 03:20:47,390 [yachima]
うんうん.
03:20:47,470 --> 03:20:51,780 [bioshok]
多分その五年から三年でアップロード開発されるってことは.
03:20:51,880 --> 03:20:53,620 [yachima]
うんうんうん.
03:20:53,700 --> 03:21:01,700 [bioshok]
まあ、何て言うんですかね.えっと、まあ数年かけて超知能になるってことですよね、これって.
03:21:01,760 --> 03:21:03,980 [yachima]
ほうほうほう.
03:21:04,250 --> 03:21:07,660 [bioshok]
で、数年かけて超知能になるので.
03:21:07,740 --> 03:21:08,460 [yachima]
うんうん.
03:21:08,500 --> 03:21:13,620 [bioshok]
まあ多分AGIから次AGIプラス一とかプラス二とかになってくと思うんですけど.
03:21:13,660 --> 03:21:14,020 [yachima]
うん.
03:21:14,820 --> 03:21:18,400 [bioshok]
まあそこの期間ってのがまあ多分数ヶ月から.
03:21:18,430 --> 03:21:18,780 [yachima]
うん.
03:21:18,800 --> 03:21:24,920 [bioshok]
まあそのAGIからAGIプラス一、プラス二、プラス三、プラス四、プラス五ってなってくと思うんですけど.
03:21:26,140 --> 03:21:26,150 [yachima]
はい.
03:21:26,160 --> 03:21:31,880 [bioshok]
多分そこの期間ってのは多分数ヶ月から一年ぐらいな気がしてて.
03:21:31,920 --> 03:21:32,720 [yachima]
うんうんうんうん.
03:21:33,360 --> 03:21:36,032 [bioshok]
次の.モデルになるっていうのが.
03:21:36,092 --> 03:21:37,412 [yachima]
はいはいはい、なるほど.
03:21:38,112 --> 03:21:51,252 [bioshok]
多分それがアライメントに成功してる確率ってのが二十パーセントぐらいとか、まあ多くて三十パーセントぐらいっていう.確率を置いてたんで.
03:21:51,332 --> 03:21:52,292 [yachima]
なるほどなるほど.
03:21:53,192 --> 03:22:02,192 [bioshok]
そうすると、まあ、えーと、まあ二三十パーぐらいの確率では人類は多分滅びてないんですけど.
03:22:02,712 --> 03:22:03,112 [yachima]
うんうん.
03:22:03,852 --> 03:22:10,412 [bioshok]
逆に言うと八割七割ぐらいの確率で人類はその感じでやったと.マインドアップローディングの前に滅びてるみたいな.
03:22:11,152 --> 03:22:13,631 [yachima]
なるほどなるほど.
03:22:13,752 --> 03:22:22,552 [bioshok]
っていうイメージをしてるって感じですかね、今のところ.で、多分アキラさんとさらにこれが低いんで.
03:22:23,192 --> 03:22:23,832 [yachima]
うんうん.
03:22:23,872 --> 03:22:26,752 [bioshok]
アライメント成功率多分これが一パーセントもないっていう感じですね.
03:22:26,852 --> 03:22:28,272 [yachima]
はいはいはいはい.
03:22:28,392 --> 03:22:33,432 [bioshok]
なんでそうすると、そのもしそのやっちまさんのプランで.
03:22:33,552 --> 03:22:34,332 [yachima]
うんうん.
03:22:34,752 --> 03:22:45,192 [bioshok]
えーと、プランで、かつ、えーと、改善を、その自己改善もそこに含まれてるなら.
03:22:45,232 --> 03:22:46,332 [yachima]
うんうん.
03:22:46,452 --> 03:22:51,932 [bioshok]
割と、なんていうか、まあアキラさんからしたらもうほぼ人類は絶滅してるっていう.
03:22:52,032 --> 03:22:52,752 [yachima]
はいはい.
03:22:52,942 --> 03:22:58,612 [bioshok]
でしょうし、僕から言うとしたら、多分それは七、八割は.
03:22:58,712 --> 03:22:59,392 [yachima]
うんうん.
03:22:59,432 --> 03:23:08,372 [bioshok]
結構滅亡してんじゃないかみたいな.まあ感じで言う気がしますね.
03:23:08,472 --> 03:23:12,392 [yachima]
えっと、うんうんうん.ですねですね.
03:23:12,492 --> 03:23:14,892 [bioshok]
っていう整理ですかね、今んとこは.
03:23:15,472 --> 03:23:45,232 [yachima]
はいはいはいはい.まあだからそういう意味だと、まあ.うーん.でもまだ、うーん.再帰的自己改善がそこまで早くなるのかっていうところは一つあるのかな、論点として.
03:23:47,292 --> 03:23:48,152 [bioshok]
なるほど.
03:23:48,172 --> 03:24:04,192 [yachima]
うん、再帰的.うーん、そうなんですよね.あの、結構その、多分ユドコフスキーもそうだと思うんですけど、そのAGIができたら一気にガーッと上がるっていうのは結構不自然だなと個人的には思ってて.
03:24:04,232 --> 03:24:04,552 [bioshok]
なるほど.
03:24:05,152 --> 03:24:29,332 [yachima]
はい.うん.それはすごく雑な考えだと思うかもしれないですけども、あの指数関数的に成長する、あるいは超超指数でもいいんですけど、まあ指数かける指数だとしても、まあいずれにせよその指数的な成長って、あの手前は意外とゆっくりで、後ろの方がグッと上がるって形になるんですよね.
03:24:30,612 --> 03:24:31,472 [bioshok]
あ、なるほど.
03:24:31,532 --> 03:24:50,532 [yachima]
そう.だから長期的にはすごい勢いであの成長していくとしても、手前は意外とそんなにスピード上がんないんじゃないかっていう直感があって.なので、はい、AGIができてもそんなすぐには活躍しないんじゃない？っていうのが.うん.っていう感じですね.
03:24:52,972 --> 03:25:08,692 [bioshok]
ああ、なるほど.まあそれなら.えーと、だから.まあそのテイクオフのスピードが多分遅くなれば.
03:25:08,752 --> 03:25:09,812 [yachima]
うんうんうん.
03:25:11,532 --> 03:25:17,272 [bioshok]
まあ、なんて言うんですかね、時間も稼げると思うんですよね.
03:25:17,372 --> 03:25:18,332 [yachima]
うんうんうん.
03:25:18,512 --> 03:25:20,232 [bioshok]
アライメント研究への.
03:25:20,332 --> 03:25:21,492 [yachima]
はいはいはいはい.
03:25:22,152 --> 03:25:55,472 [bioshok]
まあちょっとここら辺のスローテイクオフとかに持ってくると.あ、ちょっと待ってくださいね.テイクオフ.いいか.スローテイクオフ.えー、は多分なんかそのAGIから超知能に多分十年とかかかるとか.
03:25:55,512 --> 03:25:57,132 [yachima]
うーん.
03:25:57,412 --> 03:26:01,232 [bioshok]
超知能の定義にもよりますけど.
03:26:01,772 --> 03:26:03,352 [yachima]
ね、そこですよね.
03:26:03,452 --> 03:26:07,152 [bioshok]
まあその、割とこの.
03:26:07,192 --> 03:26:07,572 [yachima]
うんうん.
03:26:08,192 --> 03:26:18,052 [bioshok]
なんて言うんですかね.うーん、宇宙で、その量的ではなく質的に最も賢いようなAI.
03:26:18,792 --> 03:26:19,822 [yachima]
うんうんうんうん.
03:26:20,392 --> 03:26:22,052 [bioshok]
があったとして.
03:26:22,132 --> 03:26:23,312 [yachima]
ほうほうほう.
03:26:23,432 --> 03:26:25,772 [bioshok]
それを超知能って呼ぶことにして.
03:26:25,812 --> 03:26:26,972 [yachima]
うんうんうんうん.
03:26:27,732 --> 03:26:42,832 [bioshok]
それってなんか多分、そのAGIから見たら、AGIがアインシュタインだとしたら、アインシュタインから見たアインシュタインが本当に幼児のレベルで見えるような.
03:26:42,912 --> 03:26:43,932 [yachima]
うんうんうんうん.
03:26:43,972 --> 03:26:46,492 [bioshok]
レベルの差がアルファだとして.
03:26:46,552 --> 03:26:46,902 [yachima]
うんうん.
03:26:47,212 --> 03:26:52,312 [bioshok]
アルファが多分三回ぐらい、三、四回ぐらい続くとそんぐらいになるってイメージで.
03:26:52,992 --> 03:26:53,452 [yachima]
うんうん.
03:26:54,032 --> 03:27:01,552 [bioshok]
考えると.まあ.まあ考えるとして.
03:27:02,122 --> 03:27:03,172 [yachima]
はいはいはいはい.
03:27:03,832 --> 03:27:09,672 [bioshok]
えー、だけどまあ、そこのテイクオフがまあ長いと.
03:27:09,732 --> 03:27:10,592 [yachima]
うんうんうん.
03:27:11,032 --> 03:27:20,992 [bioshok]
開発の、なんだろうな.その停止をしている期間も長くなるようなイメージなので.
03:27:21,032 --> 03:27:23,592 [yachima]
うんうんうんうん.
03:27:23,812 --> 03:27:29,492 [bioshok]
まあ割とそうですね、アライメント研究に使える時間も増えるじゃないですか.
03:27:29,552 --> 03:27:30,192 [yachima]
もちろんそうですね.
03:27:31,292 --> 03:27:39,212 [bioshok]
そうすると、まあ、ちょっとは可能性が上がっていくというか、生存確率.
03:27:40,672 --> 03:27:41,212 [yachima]
ね、そうですよね.
03:27:42,644 --> 03:33:57,676 [bioshok]
うんと、ま、Moderate takeoffに近いのかな.でもなんか.うーん.まあ.なんすかね.スローでは少なくてもなさそうな気はしてるんですけどね.はいはい.うん.ファストとかだと.はいはい.まあ一年以内とか.うんうん.数ヶ月とかそういう話になるんで.はいはいはい.それよりは三年とかだとしたら.うーん、かなぁ.うーん.まあその.うん、はいはい. takeoffスピードが長ければ.うんうん.なんですかね、次のAIが開発されるまで時間があるので.うん.その間にアライメント研究が、まあ進んで成功する確率もある程度上がることで.うんうん.この開発停止期間のこの、なんですかね、分布がちょっとこの下の方によるんですよね、多分.うんうんうんうん.で、そうすると、こっちだと例えばファストテイクオフだと.うん.えー、開発停止期間の分布っていうのが本当に上の方に寄ってるんですけど.うんうん.まあModerate takeoffだとまあ割と.うんうん.もうちょい下による.まあなんでかっていうと.うんうん.まあアライメント研究の時間が長くなる効果っていうのと.うん.まあアライメント研究が重要だということを世間が知る、認識する時間が長くなったり.うんうん.まああとはAI研究者がアライメント研究者になったり、他の物理学者がアライメント研究者になったりする時間があったり.うんうん.まあ時間が延びるってことはいろいろ.うんうん.対処、対処法っていうのが増えるってことなので.基本的にはそうですね.うん.まあその成功確率上がっていくと思うんで.うんうんうんうん.けど、うーん.まあそうっすね.うんうん.まあだから、この場合あれなのかな.だからアライメントの、うーん、成功確率と.うんうん.確率をどれぐらいだって見積もってるかによって、なんか楽観度合いが変わっていくのかもしれないなと思いましたね.ほう.アライメントね.うーん、まあでも、いやーちょっとまた話が戻っちゃうかもしれないですけども.そこら辺、うん、まあアライメントって、まあ結構難しいんじゃないか説もあったりしますし、すごく見積もりが難しいものなんじゃないかなと思うんですよね.どれくらい成功するかっていうのは.はいはい.なので、そうするとやっぱり結局のところは、あの、コントロールの問題に集中すべきなんじゃないかっていう気持ちですかね.ああ.うん、なのでアライメントどうこうというよりは、 AIがあの、信頼できるかどうかっていうところにフォーカスを置く方が、うん.まあ.感じかな.どっちかというと、まあ.うん.なんすかね.うんうん.うーん.コントロールに重きを置くと言っても、まあある程度.うんうん.なんですかね.うーん.なんだろうなぁ.まあ超知能とかが.うんうんうん.例えば数年とかでできちゃって.はいはい.それでアライメントに成功していない場合って.ほうほうほう.まあその、なんだろうな、そもそもその箱の内側と外側みたいな.うんうんうん.えーと、ものを決める、なんだろうな、ためにも、なんて言うかな、そこが侵食されちゃう気がするんですよね.そのアライメントされてないと、内側と外側が.うんうんうんうん.で.まあなのでどっちかっていうとコントロールっていうか、まあ、ガバナンスですよね.僕が重要だと思ってるのは.ほう.アライメントができてない可能性があるなら、コントロールでなんとかしようってよりは.うんうんうん.アライメントができてないなら、できてなくなるかもしれないなら.うんうん.どっちかというとガバナンスですよね.その開発を停止するか.うんうんうん.遅れ、遅れさせないと.うんうん.まずいんじゃないかって立場ですね、僕は.うんうんうん.いやまあ全然それは、あの、そうですね.えーと、ごめんなさい.そういう意味では語弊があった.でも、うん.まあそうですね.そう、だから、いや、そう、そうすべき時が来たら、すべきだとは思いますよ.それ自体は.そうそうそうそうそう.ああ、なるほどなるほど.うんうんうん.ただ別に、うん、今そんな焦る必要はないかなっていう、そういう温度感の違いですかね.ああ.うん.なんか確かやっちまさんってこう、なんだっけ.まあ全く違う話ですけど、テイクオフが、の速さとか遅さでそこまでP(doom)が変わらないみたいな.そうですね.話をしてた気がするんですけど.はいはいはい.えーと、まあそれって何ですかね、まあそのテイクオフが.でも、でも相対的にはその長い方がその安全じゃないですか、その.
03:33:57,716 --> 03:34:15,616 [yachima]
まあすごく大まかに言えばですけど、基本的には、えっと.自動化、AIを使ったアライメントとかがある程度有効だと思ってるっていう感じですね、そもそも.
03:34:15,676 --> 03:34:16,156 [bioshok]
なるほど.
03:34:16,556 --> 03:34:22,316 [yachima]
うん.なので、要はスピードアップすれば、その分アライメントもスピードアップできるしっていう.
03:34:22,396 --> 03:34:31,616 [bioshok]
それはそういうことか.つまり早かろうが遅かろうが、それに応じてアライメントも早くなったり遅くなったりするから.
03:34:31,716 --> 03:34:32,976 [yachima]
そうそうそうそう.
03:34:33,116 --> 03:34:36,276 [bioshok]
結果としてそこまでP(doom)には影響しないみたいな.
03:34:36,316 --> 03:34:36,956 [yachima]
うんうん.
03:34:37,156 --> 03:34:39,036 [bioshok]
そういうニュアンスですよね.
03:34:39,136 --> 03:34:41,216 [yachima]
そうですね.そうですね.
03:34:41,316 --> 03:34:42,156 [bioshok]
なるほど.
03:34:42,176 --> 03:35:03,016 [yachima]
うん.で、でもまあ一般的にはあの、そのアライメントの自動化っていうのは失敗されやすいって言われてるとは思うんですけども.まあそれ自体もちょっと、うん、まあそうかもしれないけども、それはちょっと言い過ぎなんじゃないかな、心配しすぎなんじゃないかなという気もしていて.
03:35:03,796 --> 03:35:04,016 [bioshok]
はい.
03:35:04,656 --> 03:35:50,376 [yachima]
それはうーんと、そのさっきのお話でも出てたかな、その、うんと、misalignmentな要素がどんどんどんどん大きくなっちゃうみたいな話だったと思いますけれども.まあでも最初の時点でそのmisalignmentな部分が少ない段階で、あの、自動化をどんどん進めていれば、まあそこをある程度抑えたままずっとスピードアップしていくことはできそうな気もしますしね.そこら辺は、うん.っていう気持ちですね.はい.で、あとはもうあの、あまりに早くなる段階だったら、もうそもそもマインドアップロードとかもできてるでしょっていう、そういう感じですね.
03:35:50,496 --> 03:35:56,776 [bioshok]
ああ、まあそこはあれですよね、多分Akiraさんをエミュレートすると.
03:35:56,876 --> 03:35:58,096 [yachima]
うん.
03:35:58,196 --> 03:36:08,156 [bioshok]
うーんと.えーとだから、まあアライメント研究を加速するためには.
03:36:08,256 --> 03:36:09,556 [yachima]
はいはい.
03:36:09,565 --> 03:36:14,436 [bioshok]
えっと、さらに強いAIが必要ですよね.その弱いAIではなくて.
03:36:14,516 --> 03:36:17,356 [yachima]
うんうんうんうんうん.
03:36:17,816 --> 03:36:28,956 [bioshok]
なぜか.まあその、まあ弱いAIだけでアライメント研究をするっていうならまあいいんですけど.
03:36:29,056 --> 03:36:29,696 [yachima]
はいはいはい.
03:36:31,576 --> 03:37:06,376 [bioshok]
ああでもそれって、まあその、だからその、まあだからもう一回話を戻すと、そのファストテイクオフとスローテイクオフであんまりP(doom)が変わらない理由は、アライメント研究はファストテイクオフの方が早くなるし、スローテイクオフはちょっと遅くなるから、その変わんないっていうイメージだと思うんですけど、ファストテイクオフの場合に早くなるためには、そもそもあれ、アライメント研究するAI自体もファストテイクオフしていってるイメージですよね.
03:37:06,476 --> 03:37:09,076 [yachima]
まあまあそれはそうですよね.
03:37:09,116 --> 03:37:31,096 [bioshok]
うん.そうすると、まあAIがどんどん強力になっていくわけですけど.その、なんていうんですかね、そこでアライメント.は、まあ、なんて言うんですかね、その、まあそもそも難しい世界観っていうのが.
03:37:31,646 --> 03:37:32,676 [yachima]
うん.
03:37:32,696 --> 03:37:46,376 [bioshok]
その、そのテイクオフする段階で、そのアライメント研究を加速する段階で、アライメント研究AIがmisalignmentどんどんしていくので.
03:37:46,456 --> 03:37:47,276 [yachima]
うんうん.
03:37:48,016 --> 03:37:53,156 [bioshok]
なんだろうな、その、加速した結果.
03:37:53,256 --> 03:37:54,136 [yachima]
はいはい.
03:37:54,256 --> 03:37:58,716 [bioshok]
何て言うんですかね、基本的に人類にアラインされてるっていうよりは.
03:37:58,796 --> 03:37:59,596 [yachima]
うんうん.
03:38:00,296 --> 03:38:07,096 [bioshok]
そのmisalignmentしたAIにアライメントしたAIが生まれちゃう可能性も結構高いので.
03:38:07,196 --> 03:38:07,576 [yachima]
うん.
03:38:08,936 --> 03:38:25,476 [bioshok]
そうすると、そのオーバーオールとしては、スローテイクオフよりもファストテイクオフの方が、アライメント研究自体にはもう別に早く成功するかもしれないですけど、それはAIにとっての成功であって、
03:38:25,496 --> 03:38:25,876 [yachima]
うん.
03:38:26,296 --> 03:38:31,256 [bioshok]
人間に、人間の価値観にアライメントしてるわけではないというか.
03:38:31,316 --> 03:38:31,776 [yachima]
なるほど.
03:38:31,916 --> 03:38:48,146 [bioshok]
まあまあ表でいうと、そのアライメント研究は確かに加速するんですけど、ファストテイクオフって.それ加速するの意味は、そのAIにとってのAIのアライメント問題が加速するだけで、人間にとっての、そこに人間が入ってないって感じですね.そこに.
03:38:48,536 --> 03:38:49,136 [yachima]
うん.
03:38:51,076 --> 03:38:56,656 [bioshok]
人間にアラインするための技術っていうのが加速するわけじゃなくて.
03:38:56,736 --> 03:38:57,566 [yachima]
うんうん.
03:38:57,856 --> 03:39:04,396 [bioshok]
AIがmisalignmentしたAIがmisalignmentした、さらなる上智のAIのアライメント問題を解いてるだけで.
03:39:04,476 --> 03:39:05,076 [yachima]
うん.
03:39:05,116 --> 03:39:12,256 [bioshok]
その、何て言うかな、まあ確かに加速はするんですけど、それは人間のアライメントにはなってないみたいな.
03:39:12,316 --> 03:39:12,856 [yachima]
うん.
03:39:13,576 --> 03:39:23,736 [bioshok]
なので、そのスロー、そうするとスローテイクオフの方が、よりそれを、何だろうな、人間が監査したり.
03:39:24,536 --> 03:39:25,596 [yachima]
うん.
03:39:25,676 --> 03:39:29,916 [bioshok]
えーと、本当にそれが大丈夫なのかっていうことを.
03:39:29,926 --> 03:39:30,236 [yachima]
うん.
03:39:30,816 --> 03:39:42,776 [bioshok]
人間側が考慮すること、時間が増えるので、テイクオフの方がどっちかっていうと低くなるんじゃないかなっていう.
03:39:42,786 --> 03:40:05,668 [yachima]
うんうん.まあそうですね、あの、いずれにせよ、そうそうあのー.結局のところを多少なり、えっと.テイクオフが遅い方がP(doom)が低くなりやすいっていうそれ自体は同意ですね.
03:40:05,748 --> 03:40:06,728 [bioshok]
ああ、なるほど.
03:40:06,788 --> 03:40:13,528 [yachima]
ただ、まあそんなに言われてるほど相関はないんじゃないかっていうイメージではありますね.
03:40:13,628 --> 03:40:15,348 [bioshok]
ああ、なるほど.
03:40:15,388 --> 03:40:38,248 [yachima]
そう、多少下がりはするけども、そんなに大きな変わりはないんじゃないかっていうイメージっていうのが一つ.あとは、えっと、そもそもなんですけども、えーと、そのもうちょっとAIの進化っていうものについて、いろんな種類があるっていうことも想定できるかなと思っていて.
03:40:38,328 --> 03:40:38,728 [bioshok]
はいはい.
03:40:39,248 --> 03:40:57,028 [yachima]
うん.そのいわゆる賢さがどんどん上がっていくっていうパターンは分かりやすいんですけども、それ以外にも、例えば賢さは同じだけれども、より小さなモデルとか少ないコストで動かせるようになるみたいな.
03:40:57,108 --> 03:40:57,928 [bioshok]
うん.
03:40:58,108 --> 03:41:02,908 [yachima]
ね、蒸留してっていう、そういう進化の仕方もありますし.
03:41:03,008 --> 03:41:03,968 [bioshok]
ああ、なるほど.
03:41:03,998 --> 03:41:26,048 [yachima]
うん.あるいは賢さっぽいものはそんなに変わらなくても、あの、ずっとあの、ミスをしないで続けられるみたいな、いわゆるAIエージェント的にずっとあの動かし続けられるじゃないですけども、まあそういう意味での進化みたいなのもあるわけですよね.
03:41:27,448 --> 03:41:28,368 [bioshok]
うん.
03:41:28,388 --> 03:41:52,348 [yachima]
うん.だからそっちの方向性で進化したもの、まだそのタイムラインが短いんだったら、それはそれで、そういう方向性に、あのスピーディーにどんどん進化したものっていうものをうまく使えれば、そんなにアライメントされてないことに対して心配する必要はないんじゃないかって考え方もできなくないですか？
03:41:52,428 --> 03:41:54,668 [bioshok]
ああ、でもそれでいうと.
03:41:55,298 --> 03:41:56,028 [yachima]
はいはいはい.
03:41:56,148 --> 03:42:01,228 [bioshok]
だから、えーと、何て言うんですかね.
03:42:01,268 --> 03:42:02,528 [yachima]
はいはい.
03:42:04,548 --> 03:42:09,768 [bioshok]
まあその量的に増やすためには、量的に増やすための知能が必要ですよね.
03:42:10,097 --> 03:42:11,328 [yachima]
うんうん.
03:42:11,608 --> 03:42:13,888 [bioshok]
アルゴリズムを改善したりして.
03:42:13,948 --> 03:42:15,348 [yachima]
はいはい.
03:42:15,408 --> 03:42:21,328 [bioshok]
より大量のAIを配備できるようにする.
03:42:21,408 --> 03:42:21,948 [yachima]
はいはい.
03:42:22,628 --> 03:42:31,908 [bioshok]
でもそのアルゴリズムを開発するためには、えっと、えー、その、それを考えるための知能が必要で.
03:42:31,988 --> 03:42:33,188 [yachima]
うんうんうん.
03:42:33,208 --> 03:42:37,148 [bioshok]
それを考えるための知能自体が.
03:42:37,328 --> 03:42:37,358 [yachima]
うんうんうん.
03:42:37,448 --> 03:42:40,648 [bioshok]
知能が高くないといけないですよね、その場合は.
03:42:40,668 --> 03:42:45,528 [yachima]
うーん、うんうん.まあまあまあまあ.言いたい気持ちはわかるでもないですね.
03:42:46,368 --> 03:42:47,308 [bioshok]
なので.
03:42:47,348 --> 03:42:48,268 [yachima]
うん.
03:42:48,368 --> 03:42:55,168 [bioshok]
えっと、つまり再帰的自己改善ってののルートっていろいろあると思うんですけど.
03:42:55,248 --> 03:42:56,008 [yachima]
はいはいはい.
03:42:56,068 --> 03:43:00,368 [bioshok]
ソフトウェアのルートだと、基本的にどんどん質的に賢く.
03:43:01,328 --> 03:43:01,988 [yachima]
はいはい.
03:43:02,048 --> 03:43:02,888 [bioshok]
ならないと.
03:43:03,317 --> 03:43:04,148 [yachima]
うんうん.
03:43:04,188 --> 03:43:07,488 [bioshok]
まあその質的に賢くならないと、量的な.
03:43:08,728 --> 03:43:08,757 [yachima]
うんうん.
03:43:08,757 --> 03:43:11,308 [bioshok]
拡大のアルゴリズムを生み出せないと思うので.
03:43:11,388 --> 03:43:13,268 [yachima]
おお、ほうほうほうほう.
03:43:13,408 --> 03:43:17,868 [bioshok]
それ生み出せるとしたら、人間がやってるんだろうと思うんですけど.
03:43:18,248 --> 03:43:19,208 [yachima]
うーん.
03:43:19,308 --> 03:43:34,468 [bioshok]
人間プラスAIがやってるっていう話になると思うんですけど、でもそれは別に加速、それを加速してるとしたらAIが賢くなってるしかないじゃないですか、本質的には.それをそうすると.
03:43:35,128 --> 03:43:36,388 [yachima]
うんうんうん.
03:43:36,448 --> 03:43:38,688 [bioshok]
まあそうですね.
03:43:39,228 --> 03:43:42,068 [yachima]
うんうん.
03:43:44,488 --> 03:43:46,908 [bioshok]
うーん.まあでもその話で言うと.
03:43:47,128 --> 03:43:48,908 [yachima]
はいはい.
03:43:48,968 --> 03:43:51,408 [bioshok]
えーと、だから量的に.
03:43:51,488 --> 03:43:52,668 [yachima]
うんうんうん.
03:43:52,728 --> 03:43:57,728 [bioshok]
えーと、賢く、まあその賢くはしないけど、量的に配備することで.
03:43:57,788 --> 03:43:58,168 [yachima]
うんうん.
03:43:58,208 --> 03:44:02,748 [bioshok]
アライメント研究が、まあその加速するんじゃないかっていうのは.
03:44:03,678 --> 03:44:03,678 [yachima]
うん.
03:44:03,748 --> 03:44:07,988 [bioshok]
割とある程度同意しますね、僕も.だけど.
03:44:08,567 --> 03:44:09,548 [yachima]
うんうん.
03:44:09,868 --> 03:44:24,708 [bioshok]
でもその、なんかそのファストテイクオフのシナリオで、それを、それもすぐに量的に拡大できるんじゃないかって話はちょっと懐疑的というか.なんかそれは質的に改善された知能がそれを生み出さないと、それは加速できないと思うので.
03:44:24,788 --> 03:44:25,158 [yachima]
うんうん.
03:44:25,728 --> 03:44:33,048 [bioshok]
どっちかっていうと、なんか普通にファストもスローも、えー、あんまり変わんないというか、そこは.
03:44:33,128 --> 03:44:37,808 [yachima]
うんうんうんうんうんうん.なるほど.
03:44:38,188 --> 03:44:44,228 [bioshok]
別に同意できる部分は、量的に拡大したAIを使えばアライメント研究も加速できるってのは同意しますけど.
03:44:44,628 --> 03:44:45,228 [yachima]
はいはいはい.
03:44:45,448 --> 03:44:51,508 [bioshok]
それはファストテイクオフになればなるほどそれが早くなるっていうのは違うかなっていう感じはしますね.
03:44:51,588 --> 03:44:54,168 [yachima]
なるほどなるほど.うんうん.
03:44:54,288 --> 03:44:59,708 [bioshok]
なぜかっていうと、それをするためにはより賢い何が必要になるので.
03:44:59,788 --> 03:45:00,348 [yachima]
うんうん.
03:45:00,588 --> 03:45:05,568 [bioshok]
より賢いってことは、つまり質的なものになってるのです.
03:45:06,208 --> 03:45:25,308 [yachima]
はいはい.えーと、それはですね、うーんと、いくつか論点があって.うーんと、一つは実は量的であっても質的なものになり得る場合があるっていう話ですね.実は.
03:45:25,408 --> 03:45:25,808 [bioshok]
なるほど.
03:45:26,308 --> 03:45:49,948 [yachima]
はい.それは実はその、まさにバイオさんが大好きな、あの、産業爆発で出してるような、あのトウモロコシと、あの、人間と、あの図の話もそうで、数が多いほどいいアイデアが出やすくなるみたいな.あれってまさに量が質に変わってるっていうところなんですよね.
03:45:50,788 --> 03:45:51,888 [bioshok]
まあそうですね.
03:45:51,948 --> 03:46:23,860 [yachima]
そうそうそう、そういうのもそうだし、あと実際にそのAIの研究の最先端でも.のある種スケーリング則じゃないですけれども、その科学的な仮説のあの数を数、それこそ数打ちゃ当たるじゃないですけども、たくさんあの仮説を出すことによって、そこの中からいい仮説をあの少数だけども見つけてくるみたいな、そういうのも出てたりするんで.やっぱり数っていうのは質になるっていう.
03:46:23,890 --> 03:46:35,620 [bioshok]
はいはい.ああ、そうですね.私も数が質になるっていうのは同意するんですけど、数をまず増やすためには質が必要だと思うんですよね.
03:46:35,720 --> 03:46:35,980 [yachima]
おお.
03:46:36,320 --> 03:46:44,260 [bioshok]
例えばハードウェアを増大させる以外の質に数を増やすためには、アーキテクチャの改善が必要じゃないですか.
03:46:44,340 --> 03:46:45,320 [yachima]
ああ、はあはあ.
03:46:45,640 --> 03:47:09,920 [bioshok]
でもそのアーキテクチャの改善をもたらすっていうのは、まあ、なんだろうな.つまり.なんだろうな、その通常のスピードでもアーキテクチャの改善っていうのは起こりますけど、よりファストテイクオフの方がそれが早くなるというためには、何て言うんですかね、その質的な努力量の増加が必要だと思うんですね、そこで.
03:47:10,280 --> 03:47:11,080 [yachima]
はいはい.
03:47:11,180 --> 03:47:28,080 [bioshok]
つまり量的な増加ってハードウェアかソフトウェアしかないはずで、ハードウェアは一旦関係ないとして.なんでかっていうと、すごいファストテイクオフだと、まあそのGPUを増産する時間がないので.
03:47:28,260 --> 03:47:28,760 [yachima]
はいはい.
03:47:30,060 --> 03:47:42,660 [bioshok]
で、どちらとソフトウェアの世界の話になると思うんですけど、ソフトウェアの世界で量的な数を増やすためには、何らかのアーキテクチャ上の革新が必要で.
03:47:42,720 --> 03:47:43,620 [yachima]
うんうん.
03:47:44,620 --> 03:47:52,980 [bioshok]
で、それはまあ別に常に起こっていることですけど、それがそのさらに早くなるっていうためには.
03:47:53,040 --> 03:47:54,220 [yachima]
うんうん.
03:47:54,660 --> 03:48:07,959 [bioshok]
何だろうな、その再帰的自己改善が必要だと思うんですね、そこで.その質的な意味での.量的には増やせないので、そのハードウェア固定で.
03:48:08,040 --> 03:48:08,739 [yachima]
はいはい.
03:48:08,980 --> 03:48:27,300 [bioshok]
で、そこの状態で、えっと、量的なそのAIの数を増やすってなると、ソフトウェアの自己改善しかないと思うんですけど、ソフトウェアの自己改善を行うためには、つまり上流とかするにもより賢いものがないといけないんですよね.
03:48:27,320 --> 03:48:29,360 [yachima]
ほうほう.
03:48:30,160 --> 03:48:33,840 [bioshok]
で、そういうことを考えると.
03:48:33,880 --> 03:48:34,440 [yachima]
うんうん.
03:48:36,040 --> 03:48:44,240 [bioshok]
まあ、何て言うかな.まあつまり.AIの質的改善がどこかで挟まってる気がしますね.
03:48:45,240 --> 03:48:45,840 [yachima]
うんうん.
03:48:45,920 --> 03:49:19,240 [bioshok]
まあ僕が言いたいのはそのローテイクオフとファストテイクオフで、なんだろうな、ファストテイクオフの方が、えーと、何か、AI研究が、アラインメント研究が早くなるっていうのは、まあその、何だろうな、その、人間にとってのアラインメント研究が早くなるためには、多分量的な拡大しか、拡大が必要だと思うんですけど.
03:49:19,840 --> 03:49:20,400 [yachima]
ほうほう.
03:49:21,620 --> 03:49:29,060 [bioshok]
なんだろう、そこで、なんて言うんですかね.伝えるのが難しくなってきたな.
03:49:29,760 --> 03:49:31,720 [yachima]
そうですね、難しいですね.
03:49:31,800 --> 03:49:39,140 [bioshok]
あ、うん.まあでもまあだから同意はしますよ.その量的な拡大が質を生むってのは同意するんですけど.
03:49:39,180 --> 03:49:39,980 [yachima]
うんうん.
03:49:40,820 --> 03:49:43,100 [bioshok]
量的な拡大をするためには.
03:49:43,180 --> 03:49:43,720 [yachima]
うんうん.
03:49:44,700 --> 03:49:51,960 [bioshok]
質的な改善が必要だと思うんで、そこでボトルネックあるかなって感じがしますね.
03:49:52,060 --> 03:49:52,880 [yachima]
うん.
03:49:53,340 --> 03:50:01,320 [bioshok]
それをボトルネックじゃなくて、できるんだって言ったら、それは血のバカツになるので、ソフトウェア自己改善として.
03:50:01,360 --> 03:50:02,000 [yachima]
うんうん.
03:50:02,180 --> 03:50:06,360 [bioshok]
ソフトウェア自己改善が起こると、それはアラインメントができないって問題が出てきて.
03:50:06,480 --> 03:50:07,600 [yachima]
うんうん.
03:50:07,720 --> 03:50:13,860 [bioshok]
危険な領域に入っていくので、ファストテイクオフの方がP(doom)室が高くなるって感じですかね.
03:50:13,960 --> 03:50:39,300 [yachima]
うん.うん.うん.うん.うん.えーと、そうですね、そういう意味だと、そう、ちょっと自分の説明が分かりづらかったのかな.えっと、質的な改善と量的な改善が同時に起こるもんだと思ってるっていうイメージが近いのかな.
03:50:41,340 --> 03:50:42,160 [bioshok]
なるほど.
03:50:42,190 --> 03:51:39,220 [yachima]
うん.どっちか択一ではなくって.要はだから再帰的自己改善が起こります.で、ファストテイクオフっぽくなります.でも同時に、えっと、蒸留されてよりあの同じ、賢さとしては同じだけれども、よりあの軽量に少ないコストで動かせるAIとかもどんどん出てくる.それが同時に起こって.で、じゃあそうすると、うん、その質的にどんどん成長していくAIがいるのと並行して、でもあの、あんまりそこまで賢くはないやつを少ないコストで動かすことで、あのアラインメントをよりスピーディーに進めていくっていうのはできるかなっていう感じですかね.
03:51:40,240 --> 03:51:48,760 [bioshok]
なるほど.まあ、なんかそれって、質的な改善と量的改善が両輪になって動くってことですけど.
03:51:49,560 --> 03:51:50,140 [yachima]
ほうほう.
03:51:51,480 --> 03:51:54,180 [bioshok]
一応でも質的改善起こってるわけですよね.それは.
03:51:54,240 --> 03:51:55,040 [yachima]
もちろんもちろん.
03:51:55,520 --> 03:51:59,300 [bioshok]
そうすると、そこでmisalignmentの問題が多分出てきて.
03:51:59,380 --> 03:51:59,940 [yachima]
ほうほう.
03:52:00,140 --> 03:52:05,800 [bioshok]
ローテイクオフだと、その両輪で動くの両輪がどっちも時速十キロぐらいなんで大丈夫ですけど.
03:52:05,880 --> 03:52:06,550 [yachima]
はいはいはい.
03:52:06,960 --> 03:52:10,620 [bioshok]
ファストテイクオフって、その両輪が時速三百キロぐらいで動くわけじゃないですか.
03:52:11,020 --> 03:52:11,800 [yachima]
はいはいはい.
03:52:12,180 --> 03:52:16,500 [bioshok]
そうすると別に遅--その早いんで質的改善の方.
03:52:17,100 --> 03:52:17,980 [yachima]
うんうんうん.
03:52:18,200 --> 03:52:21,880 [bioshok]
そうするとアライメント問題の問題がまた出てくる.で.
03:52:22,620 --> 03:52:23,300 [yachima]
ほうほうほうほうほう.
03:52:24,340 --> 03:52:25,200 [bioshok]
賢い.
03:52:25,220 --> 03:52:26,240 [yachima]
うん.
03:52:26,280 --> 03:52:30,780 [bioshok]
まあでも、あーっと待ってよ.まあそうですよね.だからその賢いAI.
03:52:31,260 --> 03:52:31,960 [yachima]
うんうん.
03:52:32,020 --> 03:52:38,640 [bioshok]
まあその、まあ賢さってちょっと弱い、賢くないって言ってましたけど、でも前世、前世代よりは賢いわけですよね.少しは.
03:52:38,680 --> 03:52:39,660 [yachima]
うんうんうん.
03:52:39,720 --> 03:52:48,500 [bioshok]
そうすると、ファストテイクオフなので、基本的にどんどんどんどん、その量的にも質的にも賢いAIが大量に出てくることになって.
03:52:48,980 --> 03:52:49,820 [yachima]
はいはいはい.
03:52:49,920 --> 03:52:57,280 [bioshok]
それはまあ結局misalignment、まあアライメント問題が解けてなかったら結構misalignmentしてるんで.
03:52:57,320 --> 03:52:59,340 [yachima]
うんうんうん.
03:52:59,360 --> 03:53:11,120 [bioshok]
なんか、まあそうですね.結局質と量の両輪ではあるけど、でも質問は高くなるので、その危険性は普通にあるっていう.
03:53:11,200 --> 03:53:12,080 [yachima]
うんうん.
03:53:12,260 --> 03:53:13,340 [bioshok]
感じではありますね.
03:53:13,860 --> 03:53:14,680 [yachima]
はいはいはい.
03:53:15,980 --> 03:53:19,940 [bioshok]
で、スローテイクオフの方がその両輪の進むスピードが遅いので.
03:53:20,560 --> 03:53:21,300 [yachima]
うんうんうん.
03:53:21,600 --> 03:53:30,260 [bioshok]
よりスピードは下がるし、時速三百キロになればなるほど、確かに量的にも増えるけど、質的にも増えてるんで、どっちも.
03:53:30,700 --> 03:53:31,300 [yachima]
うーん.
03:53:31,700 --> 03:53:39,940 [bioshok]
それはそれで、結局絶対量的には普通にファストテイクオフの方が結構アライメント成功してない確率がどんどん上がっていくっていう.
03:53:40,000 --> 03:53:42,120 [yachima]
なのかなー.
03:53:44,740 --> 03:53:50,780 [bioshok]
感じがしますね.って感じですかね.
03:53:50,840 --> 03:53:58,700 [yachima]
まあ言いたいことがわかるようなわからないような.
03:53:58,820 --> 03:54:05,580 [bioshok]
まあなんかあれかな、じゃあもうちょっと別のあれでいうと、アライメント研究を.
03:54:05,660 --> 03:54:06,140 [yachima]
はいはい.
03:54:06,330 --> 03:54:14,380 [bioshok]
何ですかね.うーん、解決するためには.
03:54:14,440 --> 03:54:15,499 [yachima]
うんうんうん.
03:54:16,160 --> 03:54:23,060 [bioshok]
別にAIを強くすればいいっていうよりは、人間の絶対時間を増やさなきゃいけないってイメージがあって、僕は.
03:54:23,180 --> 03:54:24,060 [yachima]
はいはい.
03:54:24,340 --> 03:54:29,320 [bioshok]
一旦イメージの話ですけど、つまり人間の数って別に増えないじゃないですか、そんな一気に.
03:54:29,840 --> 03:54:30,540 [yachima]
うんうん.
03:54:30,560 --> 03:54:34,300 [bioshok]
だから、その、より遅いタイムラインの方が.
03:54:34,720 --> 03:54:35,300 [yachima]
はいはい.
03:54:35,740 --> 03:54:40,200 [bioshok]
人間の思考時間増えますよね.人間のアウトプットするトークン量が.
03:54:40,300 --> 03:54:41,920 [yachima]
うんうんうん.
03:54:41,980 --> 03:54:45,440 [bioshok]
で、それが多ければ多いほどアライメントが解決しやすくなると思ってて.
03:54:46,200 --> 03:54:46,480 [yachima]
はいはい.
03:54:46,760 --> 03:55:06,760 [bioshok]
なんすけど、ファストテイクオフだと絶対時間が足りないので、すごいシンプルに十年考える量よりも一年考える量の方が普通に短いんで.人類の、人類のですよ、 AIは関係なく、とりあえず.人類のトークン量ってもう絶対に十分の一じゃないですか.
03:55:07,200 --> 03:55:08,000 [yachima]
うんうん.
03:55:08,200 --> 03:55:15,620 [bioshok]
だから、えっと、その分、その、なんていうか、アライメントが本当にそれでできてるのかとか.
03:55:16,000 --> 03:55:16,580 [yachima]
うんうん.
03:55:16,960 --> 03:55:18,640 [bioshok]
騙してないのかとか.
03:55:18,720 --> 03:55:19,780 [yachima]
はいはい.
03:55:19,960 --> 03:55:30,040 [bioshok]
そういうことを確認する時間が少ないっていうのと.まあそうですね、そういう感じですね.
03:55:30,100 --> 03:55:33,580 [yachima]
はいはい.なるほど.
03:55:34,500 --> 03:55:45,200 [bioshok]
で、なんか、で、スローで、かつスロータイムラインとかスローテイクオフとファストテイクオフでもどっちもAIは使うはずなんで.
03:55:45,320 --> 03:55:46,040 [yachima]
うんうん.
03:55:46,140 --> 03:56:02,080 [bioshok]
どっちもAIを使ってアライメント研究を加速しようとするはずなんですけど、よりファストテイクオフだと、なんかその、なんだろうな、そのタイムライン、時間、絶対的な時間が短くなる.
03:56:02,160 --> 03:56:02,720 [yachima]
うんうん.
03:56:02,760 --> 03:56:03,680 [bioshok]
と思うんですけど.
03:56:04,180 --> 03:56:04,680 [yachima]
はいはい.
03:56:04,780 --> 03:56:09,240 [bioshok]
そうやってまあ、つまり人間の思考量だけが.
03:56:09,760 --> 03:56:10,400 [yachima]
うんうん.
03:56:10,580 --> 03:56:11,920 [bioshok]
ちっちゃいわけですよね.
03:56:12,000 --> 03:56:13,159 [yachima]
はあはあ.
03:56:13,940 --> 03:56:24,340 [bioshok]
でまあ確かにAIの絶対量っていうのは、まあファストテイクオフとスローテイクオフで、その累積のAIのその研究努力量っていうのは変わらないかもしれないですけど.
03:56:24,940 --> 03:56:25,600 [yachima]
はい.
03:56:26,020 --> 03:56:43,020 [bioshok]
まあつまりアライメント研究という問題に対して投入される研究努力、 AIの研究努力量っていうのは絶対値として同じだとして.ファストテイクオフはそれがギュッと一年とか数ヶ月でこう来るってことですよね.
03:56:43,060 --> 03:56:44,080 [yachima]
うんうん.
03:56:44,140 --> 03:57:09,080 [bioshok]
なんですけど、その分人間のトークン量ってのは下がりますよね.そうするとそこで、まあ人間トークン量も下がった分、アライメントできてない確率も上がると思うんで.ファストテイクオフのは、まあやばい、危ない可能性が結構高くなるっていう.
03:57:09,160 --> 03:57:09,580 [yachima]
うんうん.
03:57:10,980 --> 03:57:11,880 [bioshok]
イメージですかね.
03:57:12,460 --> 03:57:57,620 [yachima]
なるほどなるほど.まあでもそういう意味だと、そもそもやっぱり、えっと、うん、そもそも論になっちゃうんですよ.お二人に対して結構気になるなっていうのは、なんかやっぱそのAIと人間との対立軸みたいなところが、なんか最初からありきになっちゃってるのはやっぱ違和感があるって感じですかね.っていうのは、現状でもだって人間で一番道徳的にひどい人より、 AI、一番道徳的なAIの方が断然マシじゃないですか.
03:57:58,440 --> 03:58:02,260 [bioshok]
まあそうです.そうですね.多分そんな感じがしますね.
03:58:02,360 --> 03:58:13,799 [yachima]
うんうんうん.だから、うん、なんかその.人間じゃないとダメなんだみたいな.そこがなんかすごく違和感はありますかね.
03:58:21,799 --> 03:58:22,619 [yachima]
十分ぐらいにしときます？
03:58:22,919 --> 03:58:25,019 [bioshok]
十分.じゃあ十九時十分からまた.
03:58:25,080 --> 03:58:25,480 [yachima]
うんうん.
03:58:29,039 --> 03:58:29,539 [yachima]
はい.
03:58:30,879 --> 03:58:32,939 [bioshok]
またそのあれを書いておいてもらっていいですかね.
03:58:33,199 --> 03:58:39,759 [yachima]
OKです.OKです.えーっと.
03:58:42,779 --> 03:58:45,819 [bioshok]
じゃあちょっと十九時十分からまたお願いします.
03:58:45,959 --> 03:58:49,219 [yachima]
はーい、します.
04:10:51,720 --> 04:10:57,720 [bioshok]
あ、やべえやべえ、またミスってた.視聴者側の.
04:10:57,760 --> 04:10:58,340 [yachima]
うん.
04:10:58,920 --> 04:11:04,190 [bioshok]
これで聞こえてますかね、皆さんは.やっちまさんなんか喋ってもらっていいですか？
04:11:04,300 --> 04:11:11,260 [yachima]
はーい.もしもし.聞こえてますか？どうですか？いかがでしょうか.
04:11:12,600 --> 04:11:13,780 [bioshok]
大丈夫かな.
04:11:15,420 --> 04:11:16,240 [yachima]
大丈夫かな.
04:11:20,700 --> 04:11:23,140 [bioshok]
まあもうみんな疲れてるだろうから.
04:11:24,260 --> 04:11:25,580 [yachima]
ねー.
04:11:26,200 --> 04:11:28,540 [bioshok]
何だっけ、さっきまでの話題って.
04:11:28,720 --> 04:11:34,000 [yachima]
何でしたっけね.まあコメントちょっと拾ってみます？ああ、聞こえてる.よかったよかった.
04:11:34,660 --> 04:11:34,700 [bioshok]
あ.
04:11:35,660 --> 04:11:36,240 [yachima]
コメントが.
04:11:36,300 --> 04:11:40,660 [bioshok]
あ、でもなんかさっきのあれか、人間が信頼できないんじゃないかみたいな話.
04:11:42,020 --> 04:11:44,560 [yachima]
うんうんうん.まあそれもありましたね.はいはい.
04:11:44,660 --> 04:11:45,200 [bioshok]
ああ、そうか.
04:11:45,900 --> 04:11:49,100 [yachima]
ああ、そうそうそう.うん.ですですです.人間も、うん.
04:11:50,140 --> 04:11:52,160 [bioshok]
まあそうっすね.
04:11:52,260 --> 04:11:55,500 [yachima]
うんね.そうなんですよね.
04:11:56,620 --> 04:12:08,340 [bioshok]
まあ、まあでもそれはあれかな.人間よりAIの方が、その価値観が変わる幅がでかい気がするから.
04:12:08,640 --> 04:12:10,180 [yachima]
ああ、うんうんうんうん.
04:12:11,100 --> 04:12:11,520 [bioshok]
それで.
04:12:12,260 --> 04:12:13,120 [yachima]
はいはい.
04:12:13,140 --> 04:12:16,780 [bioshok]
やっぱ、に、まあ人間の方がま、マシって感じですかね、どっちかってと.
04:12:17,260 --> 04:12:20,940 [yachima]
はいはいはいはいはい.
04:12:21,060 --> 04:12:22,440 [bioshok]
見えてるのかな？
04:12:22,500 --> 04:12:23,680 [yachima]
はいはい.
04:12:23,700 --> 04:12:33,720 [bioshok]
あ、ま、しますね.まあなんか多分そんな感じに言いそうだなと感じます、感じますね、 Akiraさんは.
04:12:33,760 --> 04:12:34,440 [yachima]
エミュレートすると.
04:12:36,020 --> 04:12:36,180 [bioshok]
はい.
04:12:36,260 --> 04:13:15,880 [yachima]
はいはいはい.確かにね.うーんと.まあでもそういう意味で言うと、のコメントをいただいたところとも関連するかもしれないですけども.かつちょっと話が戻っちゃうかもしれないですけども.うーんと、要はどんどん賢いモデルを使ってアラインメントをするっていうと、そもそもアラインメントされてないAIを使ったらまずいじゃんっていう話が、問題がどんどん大きくなっていくわけなんですけれども.
04:13:16,660 --> 04:13:17,480 [bioshok]
はい.
04:13:17,510 --> 04:13:38,900 [yachima]
うん.ではなくって.モデルが、まあ分かりやすい話だったら、モデルがより小さい、コストが少なく動かせる、賢さは同じくらいのであれば、アラインメントに関してはそんなに大きく問題にならない.
04:13:39,620 --> 04:13:40,020 [bioshok]
なるほど.
04:13:40,460 --> 04:13:50,820 [yachima]
うん.とかってなったりするわけですし.でも、あの、コストは減ってるんで、たくさんその分動かせますよね.
04:13:50,920 --> 04:13:52,320 [bioshok]
まあそうですね.
04:13:52,380 --> 04:13:57,890 [yachima]
そうそうそうそうそうそう.で、うん.
04:13:59,740 --> 04:14:05,380 [bioshok]
割とそれは同意かもしれないですね、僕も.同意っていうかなんか.
04:14:05,400 --> 04:14:06,160 [yachima]
うんうんうん.
04:14:06,180 --> 04:14:08,100 [bioshok]
まあ結局のところは.
04:14:08,180 --> 04:14:08,340 [yachima]
はい.
04:14:09,480 --> 04:14:10,800 [bioshok]
何て言うんですかね.
04:14:10,880 --> 04:14:11,460 [yachima]
うんうん.
04:14:12,080 --> 04:14:14,340 [bioshok]
それは、えっと.
04:14:14,380 --> 04:14:15,140 [yachima]
はいはい.
04:14:15,960 --> 04:14:19,020 [bioshok]
僕はなんか止め、止めるなら.
04:14:19,060 --> 04:14:19,680 [yachima]
うんうん.
04:14:19,840 --> 04:14:21,560 [bioshok]
同意って感じですかね.その.
04:14:21,589 --> 04:14:22,029 [yachima]
うんうん.
04:14:22,060 --> 04:14:24,220 [bioshok]
止めて、プランAみたいに.
04:14:24,700 --> 04:14:25,040 [yachima]
なるほど.
04:14:25,480 --> 04:14:28,180 [bioshok]
開発を一旦止めて.
04:14:28,280 --> 04:14:28,680 [yachima]
うんうん.
04:14:29,280 --> 04:14:32,900 [bioshok]
AGI行くか行かないかぐらいの.
04:14:32,940 --> 04:14:33,630 [yachima]
うんうん.
04:14:33,700 --> 04:14:37,260 [bioshok]
ので止めて、で、それ以上の能力はもう禁止ですと.
04:14:37,340 --> 04:14:38,260 [yachima]
うんうんうんうん.
04:14:38,440 --> 04:14:42,480 [bioshok]
で、えーと、それをいっぱい複製して.
04:14:42,520 --> 04:14:42,700 [yachima]
うん.
04:14:43,700 --> 04:14:45,720 [bioshok]
アラインメント研究を加速させるとか.
04:14:46,200 --> 04:14:47,300 [yachima]
うんうん.
04:14:47,360 --> 04:14:49,140 [bioshok]
なら割と.
04:14:49,790 --> 04:14:50,340 [yachima]
うん.
04:14:50,369 --> 04:14:52,000 [bioshok]
同意しますね.
04:14:52,100 --> 04:14:53,360 [yachima]
うんうんうんうん.
04:14:53,440 --> 04:15:02,280 [bioshok]
なんだけど、な-なんて言うのかな.うーん.まあ.
04:15:02,300 --> 04:15:04,279 [yachima]
うんうん.
04:15:06,070 --> 04:15:07,960 [bioshok]
だから結局アラインメントどれぐらい.
04:15:08,680 --> 04:15:09,060 [yachima]
うん.
04:15:09,560 --> 04:15:12,520 [bioshok]
で解決するかみたいな話にはなりますけど.
04:15:12,560 --> 04:15:13,180 [yachima]
うんうん.
04:15:13,260 --> 04:15:23,440 [bioshok]
まあ、まあその期間が、まあ、どうだろうなぁ.でもなんか十年ぐらいは取った方が安全なんじゃないかって感じしますね、僕は.
04:15:23,520 --> 04:15:24,920 [yachima]
うんうんうんうん.
04:15:25,260 --> 04:15:25,960 [bioshok]
止めといて.
04:15:26,820 --> 04:15:27,780 [yachima]
はいはいはい.
04:15:28,140 --> 04:15:31,620 [bioshok]
で、それを一年ぐらいで.
04:15:31,700 --> 04:15:32,100 [yachima]
うんうん.
04:15:32,160 --> 04:15:33,520 [bioshok]
終わらせちゃうと.
04:15:33,550 --> 04:15:34,580 [yachima]
うん.
04:15:34,620 --> 04:15:35,780 [bioshok]
なんすかね.
04:15:36,160 --> 04:15:36,170 [yachima]
はい.
04:15:36,240 --> 04:15:41,140 [bioshok]
アラインメントされてないAIが出てきちゃって.
04:15:41,240 --> 04:15:42,540 [yachima]
うんうんうん.
04:15:43,000 --> 04:15:45,340 [bioshok]
されてるように見えてされてないみたいな.
04:15:45,460 --> 04:15:46,490 [yachima]
うんうんうんうん.
04:15:46,900 --> 04:15:51,220 [bioshok]
ものがまあ出てきちゃう可能性があって.
04:15:51,300 --> 04:15:52,320 [yachima]
はいはい.
04:15:52,460 --> 04:15:55,700 [bioshok]
そうすると、そのAIってさらに賢いので.
04:15:56,440 --> 04:15:56,550 [yachima]
うんうん.
04:15:56,900 --> 04:15:58,940 [bioshok]
私アラインメントしてますよとか.
04:15:58,980 --> 04:15:59,660 [yachima]
うん.
04:16:00,300 --> 04:16:04,500 [bioshok]
いろんな説得技術を用いて、さらに次のAIが生まれちゃって.
04:16:05,020 --> 04:16:05,820 [yachima]
うんうんうん.
04:16:06,060 --> 04:16:09,160 [bioshok]
それは人類にアラインメントしてるように見えて.
04:16:09,780 --> 04:16:10,180 [yachima]
うんうん.
04:16:10,400 --> 04:16:13,240 [bioshok]
その一個前のAIにアラインメントをしてて.
04:16:13,320 --> 04:16:14,890 [yachima]
うんうんうんうん.
04:16:15,420 --> 04:16:20,200 [bioshok]
ってなってくると、結構危ないので.
04:16:20,260 --> 04:16:20,720 [yachima]
うん.
04:16:20,760 --> 04:16:23,860 [bioshok]
だからその最初の一歩というか.
04:16:23,960 --> 04:16:25,940 [yachima]
はいはいはい.
04:16:26,220 --> 04:16:28,640 [bioshok]
そのアラインメント問題を.
04:16:28,670 --> 04:16:29,060 [yachima]
うん.
04:16:30,792 --> 04:16:42,932 [bioshok]
なんだろうな.その結構閾値がどっかに近い.AGIの前後とかにあって、その解かないと.
04:16:43,392 --> 04:16:44,512 [yachima]
はいはい.
04:16:44,692 --> 04:16:46,512 [bioshok]
超えていくとおそらく.
04:16:46,932 --> 04:16:47,432 [yachima]
うんうん.
04:16:48,452 --> 04:16:52,672 [bioshok]
なんすかね、まあコントロールが.
04:16:54,232 --> 04:16:54,502 [yachima]
うんうん.
04:16:54,502 --> 04:16:56,092 [bioshok]
難しくなるというか.
04:16:56,172 --> 04:16:56,432 [yachima]
はい.
04:16:58,472 --> 04:17:03,292 [bioshok]
そんな感じはしますね.ちょっと脳が疲れて.
04:17:04,212 --> 04:17:04,752 [yachima]
ねー.
04:17:05,212 --> 04:17:06,292 [bioshok]
曖昧な感じになってますけど.
04:17:10,772 --> 04:17:14,452 [yachima]
まあもうちょっと長めに休み取ってもいいかもしれないですけどね.
04:17:14,472 --> 04:17:15,452 [bioshok]
あ、なるほど.
04:17:15,532 --> 04:17:25,562 [yachima]
うん.もしあれだったらまだね、二十一時だとあと二時間弱はあるんで.結局二十一時でいいんでしたっけ？
04:17:25,792 --> 04:17:27,852 [bioshok]
二十一時には来るって言ってましたね.
04:17:27,912 --> 04:17:28,872 [yachima]
うんうん.
04:17:30,152 --> 04:17:32,312 [bioshok]
あとコメント拾ってもいいかもしれないですね.
04:17:32,352 --> 04:17:34,751 [yachima]
うん.コメント拾います.
04:17:36,552 --> 04:17:37,432 [bioshok]
どこら辺を拾おうかな.
04:17:38,332 --> 04:17:38,772 [yachima]
うん.
04:17:39,372 --> 04:17:55,972 [bioshok]
気になったのを拾ってくか.まあ、あとはなんかヤッチマさんに質問したいこととか、僕でもいいですけど、なんかあったら視聴者の人はコメントしてくれれば.
04:17:56,572 --> 04:17:57,472 [yachima]
うんうんうん.
04:18:01,172 --> 04:18:07,512 [bioshok]
ソイヤスさんの小さなモデルや自立継続力が進化したら、なんでアラインメントが心配する必要がないんですか？
04:18:07,522 --> 04:18:08,552 [yachima]
うんうん.
04:18:09,512 --> 04:18:12,292 [bioshok]
にはどう答えますか？
04:18:12,332 --> 04:20:13,732 [yachima]
もう一回じゃあその話しときますか.えっと、まあ図ちゃんと使いますかね.えーと、あれ、これこっちか.あれあれれれれ.こっちだ.えーと.うーんと、そしたら.まあIQとかってしちゃいますけど、まあ賢さ、縦に賢さ、上に行くほど賢いっていう感じで.まあ横が.うーん、まあ.なんていう言い方がいいんだ.アラインメントされてる度合い.アラインメントネスっていうのかな.知らんけど.まあアラインって書いちゃえか.めんどくさいんで.ああ、スペルがおかしい.うん.まあアライン、横がどれだけアラインされてるかっていう話で.で、まあ今我々の共通な認識として、まあ、えーと.まああんまり賢くない時は結構、あ、違う.こっちか.賢くない時はアラインメントされてるけれども、まあ賢さが上がっていくと結構アラインされにくくなるよねっていう話だと思うんですよね.ミスアラインして.
04:20:13,852 --> 04:20:14,012 [bioshok]
はい.
04:20:14,732 --> 04:20:15,372 [yachima]
これでいいですかね.
04:20:16,312 --> 04:20:17,332 [bioshok]
まあそうですね.
04:20:17,412 --> 04:21:23,132 [yachima]
うんうん.で.要はその.これかな.まあだから、えっと、より賢いAIを使うとかって言って、まあここら辺のAIを使うとかってなっちゃうと、結構アラインされてないミスアラインなAIを使うことになっちゃうねっていう話になるんですけども.そうじゃなくて、賢さはそんなに変わんないけども、さっきコメントに出てたような、まあ継続力が進化しているだけとか、モデルが小さくなって効率的コストが下がっただけみたいな、賢さはそんな変わってないみたいなやつだったら、そんなにミスアラインされてないAIを使うことができるので.であれば、アラインメントの自動化もそんなにミスることはないでしょうという、そういう話ですね.
04:21:24,672 --> 04:21:27,472 [bioshok]
下の点線をアラインメント研究に使うってことですか？
04:21:27,692 --> 04:21:42,332 [yachima]
そうそうそうそうそうそう.もっと下でもいいんですけど、最初がその下の点線ぐらいだった時に、その上に上がるのか、それともキープするのかっていうことですね.
04:21:42,372 --> 04:21:58,552 [bioshok]
うん.まあそうですね、アラインメント研究をしていけば、ちょっとこの点線の.
04:21:58,592 --> 04:21:59,252 [yachima]
うんうん.
04:21:59,412 --> 04:22:05,532 [bioshok]
点線じゃなくて、この赤線の分布も右上にずらせるかもしれないですもんね.
04:22:05,572 --> 04:22:26,672 [yachima]
うんうん.そうそうそうそうそうそうそう.よりね、研究アラインメント研究をすることで、こんなんとかね.汚ねえな.まあいいか.伝わりゃ一生.ガバガバなんで.
04:22:28,132 --> 04:22:28,412 [bioshok]
なるほど.
04:22:29,012 --> 04:22:29,292 [yachima]
はい.
04:22:32,936 --> 04:22:35,676 [bioshok]
うーん.まあここら辺は.
04:22:35,716 --> 04:22:36,296 [yachima]
うんうん.
04:22:37,256 --> 04:22:38,236 [bioshok]
あー.
04:22:38,256 --> 04:22:39,136 [yachima]
終わったのかな.
04:22:39,176 --> 04:22:50,056 [bioshok]
まあそうですね.だから.アラインメントが、なんて言うんですかね.まあだから下の方だと.
04:22:50,086 --> 04:22:50,396 [yachima]
うん.
04:22:51,496 --> 04:22:53,536 [bioshok]
ある程度成功してるかもしれないんで.
04:22:54,056 --> 04:22:55,036 [yachima]
そうそうそうそう.
04:22:55,296 --> 04:22:57,276 [bioshok]
で、それがどれぐらい.
04:22:57,316 --> 04:22:57,516 [yachima]
うん.
04:22:58,316 --> 04:23:01,756 [bioshok]
の速さでアラインメント研究を.
04:23:01,776 --> 04:23:02,056 [yachima]
うん.
04:23:02,656 --> 04:23:04,496 [bioshok]
なんだろうな、達成できるかみたいな.
04:23:05,496 --> 04:23:06,376 [yachima]
ほうほう.
04:23:08,796 --> 04:23:15,836 [bioshok]
うーん.なんですかね、そこの確信度合いが.
04:23:15,876 --> 04:23:16,476 [yachima]
うんうん.
04:23:16,636 --> 04:23:27,496 [bioshok]
高まらないと、開発の停止期間が、まあ.伸び、伸び、伸ばした方がいいというか.
04:23:27,516 --> 04:23:28,896 [yachima]
うんうんうん.
04:23:28,916 --> 04:23:47,976 [bioshok]
うーん.なんていうんですかね.まあだから、でもこのイメージだと、まあちょっとその一番下の点線のAIアラインメント研究者がアラインメント研究をして、文法をちょっと右上にずらして.
04:23:48,056 --> 04:23:49,536 [yachima]
はいはい.
04:23:49,616 --> 04:23:53,696 [bioshok]
で、ちょっと上にまた行って、それがまた研究して.
04:23:53,876 --> 04:23:54,496 [yachima]
うんうん.
04:23:54,616 --> 04:23:56,556 [bioshok]
文法また右上にずらすみたいな.
04:23:56,596 --> 04:23:57,556 [yachima]
うんうん.
04:23:58,376 --> 04:23:59,136 [bioshok]
イメージですかね.
04:23:59,596 --> 04:24:00,776 [yachima]
そうですね、そういうこともできますね.
04:24:03,316 --> 04:24:05,296 [bioshok]
まあそれだったら確かに.
04:24:05,336 --> 04:24:05,736 [yachima]
うん.
04:24:05,896 --> 04:24:11,536 [bioshok]
ちょっとずつそのAIの能力が高まってって、最終的に超知能にテイクオフするみたいな.
04:24:12,136 --> 04:24:12,696 [yachima]
うんうん.
04:24:13,636 --> 04:24:20,036 [bioshok]
のが、まあ.可能かもしれないですけど.
04:24:20,136 --> 04:24:21,536 [yachima]
うんうん.
04:24:22,256 --> 04:24:27,376 [bioshok]
まあここら辺はなんかどうなんだろうな.その見立てがAkiraさんと.
04:24:27,456 --> 04:24:27,776 [yachima]
うん.
04:24:28,576 --> 04:24:30,396 [bioshok]
僕でちょっと違う可能性もあるんで.
04:24:30,996 --> 04:24:31,996 [yachima]
ね、そうでしょうね.
04:24:34,056 --> 04:24:35,376 [bioshok]
あれなんですけど.
04:24:35,416 --> 04:24:36,216 [yachima]
うんうん.
04:24:37,516 --> 04:24:41,436 [bioshok]
まあAkiraさんはなんか多分そのアラインメント問題がすごい難しいって考えてると思うんで.
04:24:41,856 --> 04:24:43,276 [yachima]
うんうん.
04:24:44,436 --> 04:24:46,516 [bioshok]
なんかこんな風に漸近的に.
04:24:46,556 --> 04:24:47,736 [yachima]
うんうん.
04:24:47,756 --> 04:24:56,116 [bioshok]
ちょっとずつ右上にシフトしていく.で、それがちょっとまた賢くなって右上にシフトしていくっていう.
04:24:56,156 --> 04:24:56,696 [yachima]
うんうん.
04:24:56,816 --> 04:25:07,736 [bioshok]
感じは取ってないとか、それなんかそれまあちょっと.ポール・クリスティアーノっていうアラインメントの研究者がいますけど.
04:25:08,816 --> 04:25:08,825 [yachima]
ね.
04:25:09,216 --> 04:25:17,436 [bioshok]
ユドコウスキーの論争とかありますけど、どっちかっていうとポール・クリスティアーノの考え方、多分これに近い気がしてて.
04:25:17,536 --> 04:25:18,216 [yachima]
あー.
04:25:18,776 --> 04:25:20,736 [bioshok]
ちょっと連続的に賢さも.
04:25:21,256 --> 04:25:21,456 [yachima]
うん.
04:25:21,876 --> 04:25:25,696 [bioshok]
上がっていくし、アラインメントの難しさもちょっとずつ上がっていくみたいな.
04:25:26,296 --> 04:25:27,936 [yachima]
はいはいはい.
04:25:28,416 --> 04:25:33,016 [bioshok]
なんですけど、多分Akiraさんのイメージだとどっかに閾値みたいのがあって.
04:25:34,576 --> 04:25:34,666 [yachima]
あー.
04:25:34,716 --> 04:25:37,636 [bioshok]
そこからなんかすごい難しくなるんですね.多分アラインメント問題ってのが.
04:25:37,736 --> 04:25:38,756 [yachima]
あー.
04:25:39,016 --> 04:25:46,156 [bioshok]
そうするとちょっとずつあの能力上げる、で、アラインメントする、上げる、能力上げるみたいなのができなくて.
04:25:46,256 --> 04:25:47,086 [yachima]
はいはいはいはい.
04:25:47,396 --> 04:25:49,556 [bioshok]
もうそこで完全に止めないといけなくて.
04:25:50,316 --> 04:25:50,346 [yachima]
はいはい.
04:25:50,346 --> 04:25:57,116 [bioshok]
止めて、人間とそれを補助するAIの大軍みたいなのを用意して.
04:25:57,536 --> 04:25:58,026 [yachima]
はいはい.
04:25:58,156 --> 04:26:00,916 [bioshok]
十年ぐらい全力で解いて.
04:26:00,936 --> 04:26:01,836 [yachima]
うんうん.
04:26:02,376 --> 04:26:10,776 [bioshok]
で、それでやっと解けるみたいな.で、それでちょっと解くっていう概念がないって感じだと思うんですよね、多分.
04:26:11,396 --> 04:26:12,456 [yachima]
なるほどなるほど.
04:26:13,296 --> 04:26:21,936 [bioshok]
ちょっと賢いAIをちょっとアラインメントできるとか、なんかそういうグラデーション的な.
04:26:22,696 --> 04:26:23,316 [yachima]
はいはい.
04:26:23,356 --> 04:26:24,856 [bioshok]
世界観ではなくて.
04:26:24,916 --> 04:26:25,406 [yachima]
うんうん.
04:26:26,316 --> 04:26:28,336 [bioshok]
完全に途切らなきゃいけないみたいな.
04:26:28,876 --> 04:26:29,516 [yachima]
はいはい.
04:26:29,926 --> 04:26:36,616 [bioshok]
多分イメージで捉えてると、多分その、えーと、なんですかね.
04:26:36,676 --> 04:26:36,866 [yachima]
はいはい.
04:26:38,696 --> 04:26:43,536 [bioshok]
うーん、事前確率はすごい下がる気がするね.アラインメント研究の困難さが.
04:26:43,876 --> 04:26:44,186 [yachima]
うんうん.
04:26:44,716 --> 04:26:46,216 [bioshok]
めっちゃまずいんで.
04:26:46,296 --> 04:26:46,876 [yachima]
はいはい.
04:26:48,436 --> 04:26:58,376 [bioshok]
僕はなんかね、まだそこまでにはなってないのかもしれないので、この描像もある程度.
04:26:58,976 --> 04:27:00,456 [yachima]
うんうん.
04:27:00,676 --> 04:27:18,476 [bioshok]
まあ理解はできるんですけど.うーん.なんて言うんですかね.まあ、まあ、でもどっちが正しいかわかんないんで.
04:27:19,096 --> 04:27:19,536 [yachima]
うん.
04:27:19,576 --> 04:27:24,576 [bioshok]
なんか一旦止めよう運動に賛同してるって感じですかね.
04:27:25,896 --> 04:27:28,776 [yachima]
まあまあまあ.なるほどなるほど.
04:27:29,356 --> 04:27:30,416 [bioshok]
まあリスクが高いので.
04:27:31,166 --> 04:27:31,896 [yachima]
うんうん.
04:27:32,356 --> 04:27:36,516 [bioshok]
でも多分Akiraさんならもっとこう、確信度合いがすごい高いと思いますけど.
04:27:36,836 --> 04:27:37,316 [yachima]
はいはい.
04:27:38,756 --> 04:27:44,516 [bioshok]
なんて言うんですかね、漸近的な世界観と閾値的な世界観ってのがある気がするんですよね.
04:27:44,616 --> 04:27:45,196 [yachima]
うんうん.
04:27:45,256 --> 04:27:48,236 [bioshok]
なんかアラインメント問題に対するイメージで.
04:27:48,756 --> 04:27:52,636 [yachima]
そのファストテイクオフみたいなところも多分そういう感じですよね.
04:27:52,756 --> 04:27:54,396 [bioshok]
ああ、まあそうっすね.
04:27:54,876 --> 04:27:56,216 [yachima]
一気に上がるみたいな.
04:27:56,296 --> 04:28:06,376 [bioshok]
そうっすね.ファストテイクオフ.なんていうか、なんて言うんですかね、その連続性の議論と.
04:28:06,416 --> 04:28:07,196 [yachima]
うんうん.
04:28:07,836 --> 04:28:11,236 [bioshok]
なんていうか、閾値の議論ってのがあって.
04:28:11,316 --> 04:28:11,976 [yachima]
はいはいはい.
04:28:11,986 --> 04:28:15,696 [bioshok]
なんか実はAI227とかも実は連続的な世界観なんですよね、多分.
04:28:15,836 --> 04:28:16,586 [yachima]
うんうん.
04:28:16,736 --> 04:28:31,116 [bioshok]
だから、えっと、ダニエルココタイロトとかも、P値は、まあ20パー、なんつうか、P値が70パーとか80パーとか90パーとか言いますけど、 99パーとは言わないですよね.
04:28:31,216 --> 04:28:32,096 [yachima]
うんうん.
04:28:32,896 --> 04:28:34,416 [bioshok]
でもAkiraさんは言うと思うんですけど.
04:28:34,936 --> 04:28:35,546 [yachima]
はいはい.
04:28:35,576 --> 04:28:37,776 [bioshok]
ここの違い、つまりユドコウスキーと.
04:28:38,296 --> 04:28:38,486 [yachima]
うん.
04:28:39,960 --> 04:28:44,160 [bioshok]
えー、ダニエル答えると、イドコウスキーとポール・クリストライの違いみたいなことっていうのは、
04:28:44,250 --> 04:28:44,720 [yachima]
はいはい.
04:28:45,140 --> 04:28:54,120 [bioshok]
連続的な能力の上昇と連続的な、なんかそのアラインメント問題の難しさの比例的な上昇みたいな.
04:28:54,540 --> 04:28:55,020 [yachima]
はいはい.
04:28:55,120 --> 04:28:56,660 [bioshok]
ものをこう想定してるか.
04:28:57,180 --> 04:28:57,560 [yachima]
うん.
04:28:58,180 --> 04:29:01,420 [bioshok]
すごいアラインメント問題っていうのは、その一個の.
04:29:01,460 --> 04:29:01,800 [yachima]
うん.
04:29:03,080 --> 04:29:09,680 [bioshok]
しきい値みたいなものをこうまたいじゃったら全滅するし、またいでない.
04:29:09,820 --> 04:29:10,240 [yachima]
うん.
04:29:10,300 --> 04:29:15,200 [bioshok]
なら、状態でそれを解いていかないといけないっていう.
04:29:15,280 --> 04:29:15,920 [yachima]
はいはいはい.
04:29:16,800 --> 04:29:18,040 [bioshok]
感覚の違い.
04:29:18,140 --> 04:29:19,800 [yachima]
うんうんうん.
04:29:20,760 --> 04:29:24,980 [bioshok]
まあでもその感覚の違いがまあ一旦あるとして.
04:29:25,280 --> 04:29:25,590 [yachima]
うんうん.
04:29:25,640 --> 04:29:49,560 [bioshok]
なんですけど.なんですか、まあその連続的な世界観のでも、あれですかね、アラインメントがもし成功してないという仮定を置いた場合には、コントロールがどんどん不可能に近くなっていくと思うんで.まあそれは、つまりなんでかっていうと、さっき言ったウォールローズの内側に.
04:29:49,790 --> 04:29:50,060 [yachima]
うん.
04:29:50,440 --> 04:29:52,500 [bioshok]
巨人がいるみたいな感じになっちゃうので.
04:29:52,540 --> 04:29:53,820 [yachima]
うんうんうん.
04:29:54,120 --> 04:30:09,680 [bioshok]
まあアラインメントの価値観が連続性か、そのしきい値的かっていう議論は置いといて、コントロールに対する悲観的な感覚っていうのは割と.
04:30:10,330 --> 04:30:10,720 [yachima]
うんうん.
04:30:12,080 --> 04:30:16,400 [bioshok]
なんか割と結構ある気がしますね.なんかいろんな人から.
04:30:17,020 --> 04:30:18,240 [yachima]
うんうんうんうん.
04:30:18,600 --> 04:30:24,460 [bioshok]
まあ厳密に言うとガバナンスである程度停止しつつ.
04:30:26,100 --> 04:30:26,420 [yachima]
はい.
04:30:27,280 --> 04:30:47,240 [bioshok]
あってかあれですね、だからその、ミスマイアラインメントしたAIをコントロールできるかっていう話については、なんか割と相当みんな悲観的みたいな雰囲気で.どっちかっていうとガバナナンスでミスマイアラインメントしたAIを作らない方向性か.
04:30:47,280 --> 04:30:49,300 [yachima]
うんうんうん.
04:30:49,360 --> 04:30:53,500 [bioshok]
まあ作らない方向性か、止める方向性で考えてて.
04:30:53,600 --> 04:30:55,040 [yachima]
はいはい.
04:30:55,200 --> 04:30:57,980 [bioshok]
で、コントロールっていうのはなんか.
04:30:58,500 --> 04:30:59,200 [yachima]
うんうん.
04:30:59,420 --> 04:31:01,220 [bioshok]
すごい短い時間の.
04:31:01,240 --> 04:31:01,580 [yachima]
うんうん.
04:31:02,420 --> 04:31:03,800 [bioshok]
時間稼ぎ.
04:31:03,860 --> 04:31:04,820 [yachima]
うんうん.
04:31:04,880 --> 04:31:05,880 [bioshok]
に過ぎないみたいな.
04:31:06,340 --> 04:31:07,040 [yachima]
はいはいはいはいはい.
04:31:07,960 --> 04:31:10,560 [bioshok]
ノリが安全性コミュニティの中である気がしますね、色々.
04:31:10,740 --> 04:31:18,560 [yachima]
はいはいはいはいはい.なるほどなるほど.それでもそうですね、あの、ちょっとそもそもコントロールって.
04:31:19,320 --> 04:31:20,600 [bioshok]
言葉の意味とかね.
04:31:21,100 --> 04:31:42,160 [yachima]
うん、ちょっと語弊生んじゃうのかなと思ってはいて.あの確かにアライン、自分がこう言ってる話って、アラインメントよりはコントロールっていうのは確かにそうなんですけども、実は多分これまでコントロール、アラインメント、AIアラインメント領域で言われてたようなコントロールの話とは結構違うかなとも思ってて.
04:31:42,200 --> 04:31:42,800 [bioshok]
うん.
04:31:42,980 --> 04:31:51,820 [yachima]
っていうのは、基本的にこれまで話されてたことって、その危ないAIを隔離しておくみたいな.
04:31:51,840 --> 04:31:52,060 [bioshok]
うん.
04:31:52,740 --> 04:31:56,260 [yachima]
箱から、檻から出さないようにするみたいな.
04:31:56,300 --> 04:31:56,540 [bioshok]
うん.
04:31:56,900 --> 04:31:58,500 [yachima]
ことがかなり多かったんじゃないですかね.
04:31:59,940 --> 04:32:00,760 [bioshok]
はい.
04:32:00,780 --> 04:32:23,180 [yachima]
うん.自分が調べてる感じだと、自分、自分の話は全然違くって、その、あのAIのいろんな社会があって、その.だから要はその、なんて言うんだろうな、あの確かに壁はあるんだけれども、その壁の中に絶対入りたいっていうわけではなくって.
04:32:24,020 --> 04:32:24,029 [bioshok]
うん.
04:32:24,040 --> 04:32:34,400 [yachima]
その、まあ途中とか一番外側とか、そこはそこでなんかそれぞれAIのそれぞれのコミュニティができててみたいな.社会ができててみたいな.
04:32:34,500 --> 04:32:39,680 [bioshok]
うん.なるほど.
04:32:40,160 --> 04:32:45,280 [yachima]
そうそう、だからその、なんか無理やりどっかに閉じ込めておくみたいなものとは全然違うんですよね.
04:32:46,280 --> 04:32:48,520 [bioshok]
ああ、じゃあ共生という感じですか.
04:32:49,520 --> 04:32:56,140 [yachima]
まあある種の壁を利用してはいますけれども.
04:32:57,620 --> 04:32:58,480 [bioshok]
なるほど.
04:32:58,520 --> 04:33:07,780 [yachima]
うん.っていう感じなんですよね.だから結構まずそこら辺が温度感が結構ずれちゃうかなっていう意味を、意味じゃないや、そういう気はしますよね.
04:33:09,320 --> 04:33:11,910 [bioshok]
なるほど.
04:33:13,740 --> 04:33:13,870 [yachima]
うん.
04:33:13,870 --> 04:33:15,520 [bioshok]
うーん、そうですね.
04:33:16,110 --> 04:33:26,740 [yachima]
で、かつ、えーちなみに、えーと、こういう感じの先行研究って多分かなり少ない、自分が調べてる限りでも全然まだ見つかってない気がしますねっていう.
04:33:26,820 --> 04:33:38,580 [bioshok]
はいはい.じゃあ、それはあれですか？えっと、矢島さんがマルチエージェント研究をしたいみたいな.あれ？なんか言ってませんでしたっけ？そういうこと.
04:33:39,280 --> 04:33:40,060 [yachima]
え？言いましたっけ.
04:33:41,700 --> 04:33:43,640 [bioshok]
なんか、ああ、それは関係ないですかね.なんか.
04:33:44,140 --> 04:33:45,840 [yachima]
わかんない.どうだろう.
04:33:46,840 --> 04:33:57,540 [bioshok]
あれ、矢島さんがやりたい方向性とかの話をしてもらってもいいですか？研究、AI研究をしたいとか.
04:33:58,200 --> 04:33:58,640 [yachima]
はいはいはい.
04:33:58,900 --> 04:34:01,940 [bioshok]
なんかその、昨日戦略会議した時に、その.
04:34:01,980 --> 04:34:02,780 [yachima]
はいはい.
04:34:03,560 --> 04:34:07,540 [bioshok]
なんかマルチエージェントの研究を促進するとか書いてありましたけど.
04:34:08,380 --> 04:34:10,770 [yachima]
あ、それ書いてないんじゃないですか.
04:34:10,790 --> 04:34:13,700 [bioshok]
書いてないですか.まあいいや、それは勘違いとして.
04:34:13,740 --> 04:34:17,200 [yachima]
うん、社会構造っていう書き方はしたかもしれないですね.
04:34:17,880 --> 04:34:18,200 [bioshok]
なるほど.
04:34:18,620 --> 04:34:22,600 [yachima]
うん.で、その社会構造が指してたのはこういう話というか.
04:34:22,620 --> 04:34:23,420 [bioshok]
うん.
04:34:23,440 --> 04:34:38,020 [yachima]
だから、まあそのある種のヒエラルキーみたいなのを作るじゃないですけれども、その壁を作ることによって.そういう、なんて言うんだろうな.
04:34:39,669 --> 04:34:39,669 [bioshok]
うん.
04:34:40,380 --> 04:34:50,440 [yachima]
まあ言ってしまえばそのどれだけ信頼できるかによってどこまで入ってこれるかが変わるみたいな.
04:34:53,000 --> 04:34:53,280 [bioshok]
ああ.
04:34:53,920 --> 04:34:58,860 [yachima]
そういう、そういう社会、AIの社会的な構造を作るっていう意味合いだったっていうだけですね.
04:35:02,480 --> 04:35:10,720 [bioshok]
ああ、なるほど.それと、やっちまさんがそのAI研究を加速したいみたいな話は別ですか？
04:35:10,880 --> 04:35:16,680 [yachima]
それはそうですね.うん、別は別ですね.で、えっと.
04:35:16,800 --> 04:35:17,020 [bioshok]
なるほど.
04:35:17,380 --> 04:35:27,540 [yachima]
別は別で.そう、それはまあ要はそのAI研究どんどんしたいっていうよりは、シンプルに昔からそういうところに関心があったからっていうだけですね.
04:35:28,600 --> 04:35:29,060 [bioshok]
なるほど.
04:35:30,200 --> 04:35:44,140 [yachima]
なんだけど、まあ一応.あとは、えーと、もうちょっとそれっぽい理由としては、えっと、まああの多極シナリオの方が安全かなと思ってはいる.
04:35:44,220 --> 04:35:45,259 [bioshok]
なるほど.
04:35:45,280 --> 04:35:57,780 [yachima]
っていうところが一つと.あとは、えっと、やっぱどうしてもセーフティの研究するにしても、お金を集めるのが大変っていうのは昨日も共有されたと思うんですけども.
04:35:58,680 --> 04:35:59,380 [bioshok]
はいはい.
04:35:59,460 --> 04:36:05,620 [yachima]
うん.でもその加速するっていう意味で言うと、お金を集めやすい部分があったりするので.
04:36:06,240 --> 04:36:07,020 [bioshok]
なるほど.
04:36:07,100 --> 04:36:27,420 [yachima]
うん.だからそっちでお金を稼いで、で、あのアライメントにもアライメントの研究にもお金を流しつつ、だから両輪でうまく、それこそアクセルとブレーキじゃないですけども、バランスを取っていくみたいなのは結構ありかなと思ってるって感じですね.
04:36:28,100 --> 04:36:29,080 [bioshok]
ああ、なるほど.
04:36:29,120 --> 04:36:29,440 [yachima]
うん.
04:36:33,340 --> 04:36:39,160 [bioshok]
なんかやっちまさんがよくそのAGIを作りたいみたいな.
04:36:39,240 --> 04:36:40,220 [yachima]
はいはいはい.
04:36:40,240 --> 04:36:44,780 [bioshok]
あれはどういう構想なんでしたっけ？
04:36:44,800 --> 04:36:50,080 [yachima]
もうね、まあ実はAGIどころか新しい文明を作りたいとかって思ってたりしますけどね.
04:36:50,540 --> 04:36:51,080 [bioshok]
はいはい.
04:36:52,000 --> 04:37:04,540 [yachima]
まあ、どう、まあなんて言ったらいいんでしょうね.うん.まああの、まあそこら辺言うと、まあそのAGIってまあなんかできそうでできないみたいな感じじゃないですか、最近.
04:37:05,440 --> 04:37:05,900 [bioshok]
はい.
04:37:05,920 --> 04:37:53,800 [yachima]
だと.うん.で、そのまあなんかスケーリングするのかとか、なんか身体性持たせるのか、身体性、体ですよね、ボディボディ.体を、まあある種のロボティクスとか、そっちの方向に持っていくのかとか、あと世界モデルと融合させるのかとか、まあまあいろんな方向性が模索されてるわけなんですけども.でもあの、まだまだちょっと、まあ最近は少し出始めてきたかな.あの、開拓されてない方向性として、あの、 AIがAIを開発するとか、まあある種それこそ再帰的自己改善じゃないですけども、まあそれを少し人間が手伝ってみたいな.
04:37:53,880 --> 04:37:54,660 [bioshok]
なるほど.
04:37:54,700 --> 04:38:08,840 [yachima]
そう、そこら辺ってまだまだちょっと開拓されてないところがあって.それで、うん、そこだと、うん、あの、参入の余地があるんじゃないかなと思って.
04:38:09,260 --> 04:38:09,540 [bioshok]
うん.
04:38:10,240 --> 04:38:13,680 [yachima]
そうそう.っていうのがすごくシンプルな言い方ですかね.
04:38:15,360 --> 04:38:16,440 [bioshok]
なるほどなるほど.
04:38:16,460 --> 04:38:16,920 [yachima]
うん.
04:38:17,140 --> 04:38:18,040 [bioshok]
介入の余地.
04:38:18,820 --> 04:38:19,120 [yachima]
うん.
04:38:19,180 --> 04:38:20,740 [bioshok]
か.それは.
04:38:21,440 --> 04:38:22,239 [yachima]
はい.
04:38:23,780 --> 04:38:31,360 [bioshok]
そのOpenAIとかAnthropicよりも早くAGIを作れるんじゃないかとか思ってるってことですか？
04:38:31,380 --> 04:39:06,860 [yachima]
もしかしたらそうかもしれないですね.ワンちゃんね.っていうのは、あの.まあちょっとある意味ずるいんですけれども、いわゆるAIエージェント、まあバイオさんだったら当然わかってるかもしれないですけど、そのChatGPTを複数組み合わせてとか、検索機能をくっつけてとか、そういう、要はAI複数とか他のよそのツールを組み合わせてとかで性能を上げることができるわけですよね.
04:39:07,160 --> 04:39:08,170 [bioshok]
はいはい.
04:39:08,180 --> 04:39:15,440 [yachima]
うんうんうん.だから必然的にOpenAIとかAnthropicより上に行けるみたいな.
04:39:16,360 --> 04:39:17,600 [bioshok]
うーん、なるほど.はい.
04:39:17,640 --> 04:39:24,880 [yachima]
そういうやり方ですよね.うん.で、かつ、ただ、えっと、一般的にAIエージェントってその何か特化型になりやすいんですよね.
04:39:25,000 --> 04:39:25,640 [bioshok]
はい.
04:39:25,900 --> 04:39:48,940 [yachima]
なんかそう.だから法務系の、あの、事務処理をするためのエージェントとか、そういう特定用途になりやすいんですけども.でも、まあ自分はあの、特定のものだけじゃなくて、汎用的なAIエージェントを作ることができるだろうと考えてて、まあかつそういう研究もちょいちょい出てたりするんで.
04:39:49,060 --> 04:39:49,400 [bioshok]
なるほど.
04:39:50,620 --> 04:40:21,640 [yachima]
そう、汎用的に性能を上げるようなエージェント.そう.っていう.なので、そう、あの、OpenAIとかAnthropicがその、これまで出してるようなAIモデルとしてポンと出すより、ちょっと先を行くみたいな感じで、あの、ずっとやってれば、そのうちちょうどAGIのところに来れば、ちょっとだけ早くできるみたいな、そういう話は全然あるよねとは思ってるんですね.
04:40:22,960 --> 04:40:28,200 [bioshok]
でもあれじゃないですか、最先端のモデルって公開されないんじゃないですかね、その.
04:40:28,280 --> 04:41:08,004 [yachima]
うん.でも、あの、だから要はAIエージェントって別に全然その、あれ、なんて言うんだ、 AIモデルが公開されてる必要はなくて.なんていう言い方したらいいんだ.まあだからえっと、じゃあちょっと手動で考えますけれども、そのChatGPTに一回入力するだけじゃなくて、一回入力した後にもう一回その答えをブラッシュアップしてとかっつって、何回も入力出力したものを入力するとかって繰り返したりすると、それだけで性能が上がるわけじゃないですか.
04:41:08,584 --> 04:41:08,784 [bioshok]
はい.
04:41:09,644 --> 04:41:16,984 [yachima]
それって別にOpenAIのあのモデルの中身をが公開されてる必要ないじゃないですか.
04:41:17,104 --> 04:41:37,464 [bioshok]
ああ、そうです.ま、まあでもあれですよね.うんと、なんだろうな、そのハーネスみたいな話って、基本的にOpenAIもAnthropicもAI研究の開発を加速したいって思ってるはずなので.
04:41:37,744 --> 04:41:38,604 [yachima]
はいはいはいはい.
04:41:38,764 --> 04:42:04,204 [bioshok]
どっちかというと計算資源的な問題で、そのChatGPTを何回かプロンプトするっていうのは、何て言うんですかね.うん、その個人がやれるレベルと、OpenAIとかAnthropicがもっとそれより巨大な量と計算資源でそれをやるわけですよね.
04:42:04,304 --> 04:42:05,604 [yachima]
はいはいはいはい.
04:42:05,904 --> 04:42:38,884 [bioshok]
基本的には勝てないというか、AGIの開発ではほとんど勝てないのではないかという感じは.まあでも奇跡的な何か、そのアーキテクチャの奇跡的な改善とか、なんかその、こっち、なんかその、謎に出力されて、それでなんかローカルのGPUとかでそれやったら超知能とか言っちゃったとか、そういう話ならわかるんですけど.
04:42:39,244 --> 04:42:39,764 [yachima]
はいはい.
04:42:40,024 --> 04:42:44,904 [bioshok]
基本的には難しい気がするんですよね.
04:42:45,004 --> 04:42:45,944 [yachima]
なるほどなるほどなるほど.
04:42:46,344 --> 04:42:50,024 [bioshok]
っていうふうに思ってるんですが.
04:42:50,124 --> 04:42:58,224 [yachima]
はい、鋭いご質問ありがとうございます.それに実は、実はむしろ我々の方が強いんじゃないかと思ってるんですよ.
04:42:58,344 --> 04:42:58,564 [bioshok]
はい.
04:42:58,984 --> 04:43:05,744 [yachima]
それなんでかっていうと、それは大会を開くというところに肝がありまして.
04:43:06,864 --> 04:43:07,744 [bioshok]
なるほど.
04:43:07,864 --> 04:43:15,704 [yachima]
はい.大会っていろんな人が参加してくれるわけですよね.
04:43:15,804 --> 04:43:15,964 [bioshok]
はい.
04:43:16,764 --> 04:43:46,824 [yachima]
そう、いろんな人が、まあ多様性もあるし、数も多いし.だからその、要は一つの、まあOpenAIとかであっても、そんな同時にあの一つのエージェントを作るために、いろんな手数を、あの、いろんな手法を試すみたいなのって、あ、言い方があれだけど、うんと、とりあえずなんか一つの方法でうまくいったらそれで終わっちゃうとか.
04:43:48,844 --> 04:43:49,584 [bioshok]
なるほど.
04:43:49,784 --> 04:43:54,004 [yachima]
同時並行でっていうのは一つの企業では難しいですよね.
04:43:55,904 --> 04:43:56,724 [bioshok]
なるほど.
04:43:56,744 --> 04:44:11,084 [yachima]
うん.で、かつ、あのエージェントハーネスとかって、ちょっとその、あの黒魔術じゃないですけれども、結構挙動が予測しにくいみたいな部分もあったりするんですよ.
04:44:12,224 --> 04:44:13,024 [bioshok]
はいはいはい.
04:44:13,364 --> 04:44:23,944 [yachima]
そうすると、それこそあの大会みたいに並行してたくさんの人がチャレンジするみたいな方が強みが出たりする.
04:44:24,044 --> 04:44:26,124 [bioshok]
なるほど.で、それって.
04:44:26,744 --> 04:44:27,104 [yachima]
はいはい.
04:44:27,384 --> 04:44:31,604 [bioshok]
結局モデルの重みはOpenAIが持ってるので.
04:44:31,704 --> 04:44:32,784 [yachima]
うんうんうんうん.
04:44:33,324 --> 04:44:34,704 [bioshok]
なんかOpenAIに勝ってるっていうか.
04:44:35,504 --> 04:44:36,184 [yachima]
はいはい.
04:44:36,204 --> 04:44:38,364 [bioshok]
OpenAIのモデルを使って.
04:44:38,464 --> 04:44:39,484 [yachima]
うんうんうん.
04:44:40,024 --> 04:44:44,964 [bioshok]
より性能の高い結果を出してるっていうことですよね.
04:44:45,004 --> 04:44:46,244 [yachima]
まあ言ってしまえばそういうことですね.
04:44:47,584 --> 04:44:57,604 [bioshok]
それって結局のところ、その、別に何ですかね、AGIを開発こっちがしてるっていうよりは.
04:44:57,644 --> 04:44:58,424 [yachima]
うんうん.
04:44:59,304 --> 04:45:00,304 [bioshok]
何て言うか.
04:45:00,364 --> 04:45:00,584 [yachima]
はい.
04:45:02,883 --> 04:45:06,203 [bioshok]
なんて言うんですかね、AGIの開発をしてないんじゃないですかね、それって.
04:45:07,684 --> 04:45:10,144 [yachima]
まあそこは考え方次第じゃないですか.
04:45:11,044 --> 04:45:11,884 [bioshok]
ああ、なるほど.
04:45:11,924 --> 04:45:41,604 [yachima]
えっと、まあだから今日ちょっと微妙かな.うん.うん.要は.まあだからそもそも.今のChatGPTとかでも、実は内部的にはもうハーネスみたいなの使ってたりするわけじゃないですか.検索機能とかメモリー機能とか.
04:45:42,684 --> 04:45:43,604 [bioshok]
そうですね.
04:45:45,724 --> 04:45:59,884 [yachima]
って言うと、じゃあそれって元のモデルを作ったチームの功績なの？それともエージェントハーネスを作った人の功績なの？みたいなのとかって、なんかよくわかんなくなってきますよね.
04:45:59,924 --> 04:46:00,914 [bioshok]
まあなるほど.
04:46:02,354 --> 04:46:11,224 [yachima]
っていう意味とかで考えると、まあまあ考え方次第でどうにでも言えるっちゃ言えるかなっていう感じで.まあまあ言ったもん勝ちっしょみたいな.
04:46:11,904 --> 04:46:12,264 [bioshok]
ああ.
04:46:13,344 --> 04:46:15,764 [yachima]
っていう雑なノリですね、最後は.
04:46:16,664 --> 04:46:19,944 [bioshok]
それってAI研究を自動化するっていうよりは.
04:46:19,974 --> 04:46:20,844 [yachima]
うんうんうん.
04:46:20,904 --> 04:46:28,324 [bioshok]
AIのなんか能力を引き出すってだけで、別にループは回ってないですよね、そこで特に.
04:46:28,544 --> 04:46:36,444 [yachima]
いやいやいや、あの、その、要はハーネスを、どういうハーネスを組むか、どういうエージェントにするかみたいなところは改善の余地は全然ありますよね.
04:46:37,284 --> 04:46:43,184 [bioshok]
ああ、じゃあモデルの重みは変えないレベルの上のレイヤーで改善をするってことですよね.
04:46:43,224 --> 04:46:59,456 [yachima]
うん.で、実はそれが最近ね、えっと.そこだけでも十分あの再帰的自己改善になるんじゃないかって話が、あの、まあ実はそれはむしろOpenAIから出ちゃってるんですけども.っていう話もあったりはして.
04:46:59,576 --> 04:47:00,516 [bioshok]
ああ、なるほど.
04:47:00,536 --> 04:47:07,776 [yachima]
それはえーと、あれですね、えっと、何でしたっけ？シンキングマシンってあったじゃないですか.
04:47:08,336 --> 04:47:09,196 [bioshok]
はい.
04:47:09,236 --> 04:47:26,956 [yachima]
OpenAI、元OpenAIのCTOのミラ・ムラティか.が、うん、スタートアップで、で、その人と一緒にOpenAIから一度脱退して、シンキングマシンを立ち上げた人が、今度またOpenAIに戻ったらしいんですけども.
04:47:27,596 --> 04:47:27,996 [bioshok]
なるほど.
04:47:28,346 --> 04:47:36,276 [yachima]
うん.その人が、あのOpenAIで、あの再帰的自己改善をハーネス使ってやり始めてるらしいですね.
04:47:36,316 --> 04:47:36,736 [bioshok]
うーん.
04:47:37,206 --> 04:48:08,506 [yachima]
っていう話はあるみたいです.っていうのが一つ.あとは、まあ、実はその重みをいじるところまでやってもいいかなとは思ってはいて.まあちょっとすぐには難しいかもしれないですけども、あの、要はまあシンプルにオープンソースのモデルを使えばいけちゃうじゃないですか.特に最近の中華系のモデルとかって、だいぶフロンティアモデルに迫ってきてるんで、性能も.
04:48:08,576 --> 04:48:09,416 [bioshok]
なるほど.
04:48:09,436 --> 04:48:14,096 [yachima]
うん.まあそれはそれでありですよね.
04:48:15,196 --> 04:48:16,836 [bioshok]
そういうことですか、なるほど.
04:48:16,856 --> 04:48:24,696 [yachima]
うんうんうんうん.まああとはもう、あの、実務的にできるかどうかとか、コスト的にどうかとか、そこら辺の問題ですね.
04:48:26,596 --> 04:48:33,976 [bioshok]
なるほど.まあ、なるほど.まあその言い方の問題ってことですかね、じゃあ.
04:48:34,066 --> 04:48:34,976 [yachima]
うんうんうん.
04:48:35,016 --> 04:48:39,956 [bioshok]
AIの重みを含めた、
04:48:40,036 --> 04:48:40,316 [yachima]
うん.
04:48:40,696 --> 04:48:45,276 [bioshok]
自己改善的な競争っていうのには別に入ってないけど.
04:48:45,836 --> 04:48:46,256 [yachima]
うんうん.
04:48:46,416 --> 04:48:53,156 [bioshok]
まあそれOpenWeightだったら基本、まあそれもできるかもしれないですけど、でも計算資源が多分すごい必要なので.
04:48:53,376 --> 04:48:53,796 [yachima]
ね.
04:48:54,216 --> 04:48:59,406 [bioshok]
その重みの学習をするために、今は.
04:48:59,406 --> 04:48:59,406 [yachima]
ね.
04:48:59,456 --> 04:49:02,056 [bioshok]
計算資源ゲームになると基本勝てないじゃないですか.
04:49:02,556 --> 04:49:03,956 [yachima]
うんうんうんうん.
04:49:03,976 --> 04:49:11,796 [bioshok]
だから重みの改善っていうのをするっていう競争は別に難しいと思うんですけど.
04:49:11,836 --> 04:49:12,736 [yachima]
うんうんうんうん.
04:49:13,176 --> 04:49:18,326 [bioshok]
ハーネス上で自己改善を行うような.
04:49:18,336 --> 04:49:19,116 [yachima]
うんうんうん.
04:49:19,256 --> 04:49:22,556 [bioshok]
方法を洗練させるっていうのはまあまあ.
04:49:22,656 --> 04:49:24,796 [yachima]
うんうんうんうん.ですね.
04:49:25,236 --> 04:49:26,496 [bioshok]
できる気がしますね.
04:49:26,796 --> 04:49:28,716 [yachima]
ね.
04:49:32,036 --> 04:49:33,696 [bioshok]
まあそうすると.
04:49:33,736 --> 04:49:34,136 [yachima]
うん.
04:49:35,176 --> 04:49:40,996 [bioshok]
まあ、それでAI研究の、
04:49:41,036 --> 04:49:42,416 [yachima]
うん.
04:49:42,816 --> 04:49:44,656 [bioshok]
まあ加速もできるかもしれないし.
04:49:44,716 --> 04:49:45,136 [yachima]
うんうん.
04:49:47,096 --> 04:49:48,136 [bioshok]
まあ他の科学とか.
04:49:48,876 --> 04:49:49,476 [yachima]
はい.
04:49:50,176 --> 04:49:52,376 [bioshok]
の研究にも使えるかもしれないと.
04:49:52,496 --> 04:49:55,076 [yachima]
うんうん.もちろんもちろん.
04:49:57,636 --> 04:50:02,736 [bioshok]
まあまあまあ、それは確かに重み変えなくても、例えば継続学習とか.
04:50:03,376 --> 04:50:03,686 [yachima]
そうそうそう.
04:50:03,736 --> 04:50:05,136 [bioshok]
コンテキストエンジニアリングとか.
04:50:05,616 --> 04:50:06,196 [yachima]
うんうん.
04:50:06,206 --> 04:50:09,576 [bioshok]
のお話をイメージしてるってことですよね.
04:50:09,616 --> 04:50:12,216 [yachima]
そうですね.
04:50:13,156 --> 04:50:14,176 [bioshok]
なるほど.
04:50:14,216 --> 04:50:14,716 [yachima]
うん.
04:50:15,836 --> 04:50:20,936 [bioshok]
で、それはまあ結構ヤチマさんの、なんていうかな.
04:50:21,016 --> 04:50:21,276 [yachima]
はい.
04:50:22,436 --> 04:50:25,436 [bioshok]
やりたいことだったって感じですよね.やりたいことで.
04:50:25,476 --> 04:50:25,956 [yachima]
うんうん.
04:50:27,516 --> 04:50:30,396 [bioshok]
まあかつ安全性的にも.
04:50:30,436 --> 04:50:31,116 [yachima]
うんうん.
04:50:32,256 --> 04:50:38,076 [bioshok]
まあそういうことができた方がアラインメント研究も加速するし.
04:50:38,896 --> 04:50:38,906 [yachima]
うんうん.
04:50:38,906 --> 04:50:40,536 [bioshok]
防御の加速もできるかもしれないし.
04:50:41,136 --> 04:50:42,036 [yachima]
うんうん.
04:50:42,056 --> 04:50:42,876 [bioshok]
いいよねみたいな.
04:50:43,396 --> 04:50:45,056 [yachima]
まあそうですね.
04:50:46,436 --> 04:50:50,216 [bioshok]
はいはいはい.まあまあそれはいいんじゃないですかね.まあその、
04:50:50,296 --> 04:50:50,876 [yachima]
うんうん.
04:50:50,896 --> 04:50:52,416 [bioshok]
まあ開発の停止以外にも.
04:50:52,876 --> 04:50:53,166 [yachima]
うんうん.
04:50:54,516 --> 04:50:57,116 [bioshok]
なんか人間側の加速もしなきゃいけないんで.
04:51:01,306 --> 04:51:01,306 [yachima]
うん.
04:51:01,316 --> 04:51:04,156 [bioshok]
まあそれは両輪でいい気がするな.
04:51:04,236 --> 04:51:07,916 [yachima]
うーん、なるほどなるほど.
04:51:10,536 --> 04:51:11,676 [bioshok]
ふう.
04:51:14,226 --> 04:51:14,226 [yachima]
ふう.
04:51:14,226 --> 04:51:16,916 [bioshok]
局シナリオの方が安全とか.あとは.
04:51:17,476 --> 04:51:17,956 [yachima]
はい.
04:51:20,936 --> 04:51:24,076 [bioshok]
ああ.だから、あとは.
04:51:24,196 --> 04:51:25,316 [yachima]
うんうん.
04:51:27,136 --> 04:51:29,455 [bioshok]
多極シナリオの方が安全っていうのは.
04:51:29,736 --> 04:51:30,156 [yachima]
うんうん.
04:51:30,876 --> 04:51:33,636 [bioshok]
どういう意味なんですっけ？
04:51:33,736 --> 04:51:43,676 [yachima]
うーん、まあ、あの、要は、交渉しやすいみたいな、そういうとこですね.
04:51:46,016 --> 04:51:46,556 [bioshok]
なるほど.
04:51:47,256 --> 04:51:58,226 [yachima]
あの、それこそAI2040に出てたような、相互コンピューター確証破壊でしたっけ？
04:51:58,296 --> 04:51:59,056 [bioshok]
はいはいはい.
04:51:59,576 --> 04:52:03,916 [yachima]
みたいなとか、そういう.
04:52:05,016 --> 04:52:13,896 [bioshok]
あ、それAIコミュニティがいろんなところで乱立してるとか、AIの文明がいろんなとこでもうできてる世界観で.
04:52:13,936 --> 04:52:15,616 [yachima]
うん.
04:52:15,716 --> 04:52:31,756 [bioshok]
ああ.まあなんですかね.多極シナリオだと、まあだからどっかが人類を滅ぼそうとしても、他のAIは守ってくれるかもしれないとか.
04:52:32,456 --> 04:52:38,036 [yachima]
まあそうですね、そういうのもあるし.政治的に圧力かけたりもできるかもしれないし.
04:52:39,556 --> 04:52:40,476 [bioshok]
ああ、なるほど.
04:52:40,556 --> 04:52:40,676 [yachima]
ええ.
04:52:43,116 --> 04:52:48,976 [bioshok]
まあそれは普通にあれですか.日本国的、日本国家が没落しないようにとか、そういう話ですか.
04:52:49,516 --> 04:52:50,896 [yachima]
まあもちろんそれもね、ありますしね.
04:52:54,132 --> 04:53:05,972 [bioshok]
あーなるほど.まあだから政治的に圧力をかけるっていうのは、つまりなんか人類を滅ぼしたいAI連合みたいのがいても、他のAI連合とかが政治的に圧力をかけたりして防げるかもしれないとか.
04:53:06,472 --> 04:53:07,132 [yachima]
とかとか.
04:53:07,492 --> 04:53:08,192 [bioshok]
という感じですか.
04:53:08,752 --> 04:53:11,432 [yachima]
ですね.ですね.
04:53:11,552 --> 04:53:12,412 [bioshok]
なるほど.
04:53:12,492 --> 04:53:12,672 [yachima]
うん.
04:53:15,632 --> 04:53:26,212 [bioshok]
そうですね、そこは.まあなんというか、結局アライメントができているなら、それが.
04:53:26,252 --> 04:53:28,052 [yachima]
うん.
04:53:29,412 --> 04:53:33,292 [bioshok]
まあできる気はするけど.
04:53:33,322 --> 04:53:33,892 [yachima]
うんうん.
04:53:34,312 --> 04:53:48,392 [bioshok]
アライメントができていなければ、でもその世界観ってあれなのかな.うーん、アライメントができてるかできてないかっていう二元二値的なものじゃなくて.
04:53:48,492 --> 04:53:49,452 [yachima]
うーん.
04:53:50,052 --> 04:53:56,172 [bioshok]
もう少し交渉することができるような主体を考えてみるんですかね.
04:53:56,992 --> 04:54:00,592 [yachima]
そうですね、それはありますね.
04:54:01,972 --> 04:54:11,092 [bioshok]
えーまあ.なるほど.ここら辺はアキラさんとかいた方が.
04:54:11,192 --> 04:54:12,052 [yachima]
うん.
04:54:12,872 --> 04:54:14,312 [bioshok]
盛り上がるかもしれないですよね.
04:54:14,422 --> 04:54:15,832 [yachima]
なるほどなるほど.ですよね.
04:54:16,432 --> 04:54:22,832 [bioshok]
僕はなんか批判がパッと、そのアキラさんよりレッドチーミングに優れてるわけじゃないんで.
04:54:22,932 --> 04:54:23,832 [yachima]
うーん.
04:54:25,552 --> 04:54:28,832 [bioshok]
まあ他局シナリオか.
04:54:30,152 --> 04:54:30,372 [yachima]
か.
04:54:31,532 --> 04:54:38,072 [bioshok]
いやまあアライメントができるできないっていうフレームワークの外にあったりするんで、そういう話って.
04:54:38,172 --> 04:54:39,132 [yachima]
うんうんうん.
04:54:39,172 --> 04:54:53,032 [bioshok]
なんかちょっと複雑なんですよね.だからアライメントができていないとして、またどっちかというとあれかな、能力の問題とか.
04:54:53,612 --> 04:54:53,912 [yachima]
うん.
04:54:54,292 --> 04:54:59,512 [bioshok]
そう、なんですかね、全ての資源を使って破壊するような.
04:55:00,072 --> 04:55:00,392 [yachima]
うん.
04:55:00,412 --> 04:55:01,572 [bioshok]
AIができるかどうかとか.
04:55:02,292 --> 04:55:03,091 [yachima]
うんうんうん.
04:55:03,992 --> 04:55:06,672 [bioshok]
マキシマイザー的な振る舞い.
04:55:06,792 --> 04:55:07,412 [yachima]
はいはい.
04:55:07,652 --> 04:55:24,532 [bioshok]
本当にどれぐらいの確率で起こるのかとか、それが起こらないなら、まあ別に人類側が防御してれば、その防御を突破するコストを払うよりも放置しておいた方がいいんじゃないかとか.
04:55:24,572 --> 04:55:24,912 [yachima]
うん.
04:55:26,232 --> 04:55:28,352 [bioshok]
そういう話はできると思うんですけど.
04:55:28,372 --> 04:55:30,912 [yachima]
うん.
04:55:31,432 --> 04:55:36,232 [bioshok]
うーん、そこら辺どう思うんだろうな、アキラさんは.
04:55:36,292 --> 04:55:37,112 [yachima]
どうですかね.
04:55:38,152 --> 04:55:42,092 [bioshok]
その、人類を破壊するコストが高ければ.
04:55:42,152 --> 04:55:43,332 [yachima]
うんうんうん.
04:55:43,682 --> 04:55:45,172 [bioshok]
多分やらないじゃないですか.
04:55:45,252 --> 04:55:46,152 [yachima]
はいはいはい.
04:55:47,092 --> 04:55:50,952 [bioshok]
そのメリットよりデメリットがちょっと上回ってしまったりするとか.
04:55:50,992 --> 04:55:52,912 [yachima]
うんうんうんうん.
04:55:53,092 --> 04:55:59,992 [bioshok]
その場合は、あー、まあだから交渉のようなものが成立するかもしれないですよね.
04:56:00,092 --> 04:56:03,512 [yachima]
うん.そうですね.
04:56:05,842 --> 04:56:15,652 [bioshok]
で.えーと.そうですね、そういう気がするけど.
04:56:17,112 --> 04:56:51,992 [yachima]
まああとやっぱりもうちょっとなんか人間社会からいろいろ学べるものあるんじゃないかって気はするんですよね.っていうのは、例えばその今すごく権限を持ってる人、例えばなんか総理大臣とか大統領とかでもいいし、まあなんかすごくあの大きい会社の社長とかでもいいですけども、別にそういう人たちってめちゃくちゃ賢いかっていうと、そういうわけではないじゃないですか.
04:56:52,852 --> 04:56:53,792 [bioshok]
まあなるほど.
04:56:53,962 --> 04:56:54,352 [yachima]
うん.
04:56:55,992 --> 04:56:58,232 [bioshok]
ちょっとなんかそういう話も.
04:56:58,262 --> 04:56:59,012 [yachima]
うん.
04:56:59,112 --> 04:57:02,092 [bioshok]
ちょっと藤からできたらいいですね.
04:57:03,272 --> 04:57:04,152 [yachima]
そうそうそう.
04:57:04,182 --> 04:57:07,432 [bioshok]
そう、賢さとパワーシーキングは一致しないみたいな.
04:57:08,052 --> 04:57:10,152 [yachima]
うんうんうんうん.そうそうそう.
04:57:10,312 --> 04:57:14,752 [bioshok]
そこら辺ちょっとそのメモしとく.
04:57:14,762 --> 04:57:18,572 [yachima]
うん.メモしとくか.
04:57:19,692 --> 04:57:22,892 [bioshok]
アキラさんになんか言いたいことをいろいろメモしといた方がいいですね.
04:57:22,972 --> 04:57:25,732 [yachima]
ね.あ、赤くなっちゃった.
04:57:28,052 --> 04:57:29,132 [bioshok]
で.
04:57:29,172 --> 04:57:30,632 [yachima]
うん.
04:57:32,072 --> 04:57:38,252 [bioshok]
まああとあれかな.だからロードの話は.
04:57:45,612 --> 04:57:48,052 [yachima]
はいはい.
04:57:48,652 --> 04:57:51,492 [bioshok]
まあだからヤッチマさんはなんか結局いろんな.
04:57:51,512 --> 04:57:53,592 [yachima]
うんうん.
04:57:53,652 --> 04:58:05,972 [bioshok]
ところ、いろんな回避法があるんじゃないかって.そうですね.人類の滅亡に至らない、いろんな、例えばマインドプロディングもしてとか.
04:58:06,032 --> 04:58:23,212 [yachima]
あ、っていうよりは、いや、えっと、まあそうっちゃそうかもしれないですけども、いやもうちょっと言うと、その確実、なるべく確実に、えっと、人類滅亡を回避するには、まあいろんな方法を使っとくといいよねみたいな.
04:58:24,652 --> 04:58:26,172 [bioshok]
なるほど.
04:58:26,812 --> 04:58:35,432 [yachima]
いろんなうまく巧妙に複数の手法を組み合わせると、そこそこ人類滅亡は回避しやすいよねみたいな.
04:58:37,012 --> 04:58:37,752 [bioshok]
なるほど.
04:58:37,812 --> 04:58:45,632 [yachima]
そういう言い方ですかね、多分.うん.だからどれか一つっていうあれだと、ちょっと、うん、あの説得力が弱くなるかもしれないですね.
04:58:46,912 --> 04:59:25,912 [bioshok]
そう.うーん.あとあれかな.ドゥームの定義をあれすると、まあ多分Akiraさんが言ってるドゥームって基本なんかその人間が存在しない世界ですよね.で、かつ人間の意識とかも連続せずに、マインドアップローディングした主体とかも消えてて.
04:59:27,032 --> 04:59:29,032 [yachima]
ん？マインドアップロード？
04:59:29,092 --> 04:59:36,392 [bioshok]
マインドアップロードした人類も多分もう消されると思ってるはずで.
04:59:36,452 --> 04:59:37,322 [yachima]
ほうほうほうほう.
04:59:38,462 --> 04:59:52,032 [bioshok]
だからなんか基本的に人間が、なんだろうな、ほとんどいかなる意味でも存在してないってことですよね.ポストヒューマンとしても存在してないという.
04:59:52,052 --> 04:59:53,362 [yachima]
うんうんうんうん.
04:59:53,372 --> 04:59:56,072 [bioshok]
のがドゥームですよね. Akiraさんの言う.
04:59:56,892 --> 04:59:57,832 [yachima]
うん、ですかね.
04:59:58,512 --> 05:00:04,072 [bioshok]
トランスヒューマンもポストヒューマンも人間もホモサピエンスも何もかもが存在してないと.
05:00:04,171 --> 05:00:05,172 [yachima]
はいはいはいはい.
05:00:05,452 --> 05:00:07,792 [bioshok]
AIと融合した人間も存在してないと.
05:00:10,632 --> 05:00:11,972 [yachima]
あ、でもそういうことなんですかね.
05:00:12,612 --> 05:00:21,732 [bioshok]
そう、それがドゥームですね. Akiraさんの言う.で、それが実現する可能性は相当高いって言ってると思います.
05:00:21,932 --> 05:00:29,812 [yachima]
でもそれって、そう、ドゥームをあげるのって結構難しい気もしますけどね.
05:00:29,912 --> 05:00:31,072 [bioshok]
おお、じゃあ.
05:00:31,752 --> 05:00:44,712 [yachima]
だから別にその肉体の人間だけがあのなくなるのがドゥームっていう風にそこだけに限定してしまえば、その方法だけを考えればいいわけじゃないですか.
05:00:45,692 --> 05:00:45,952 [bioshok]
はい.
05:00:46,632 --> 05:01:01,392 [yachima]
じゃなくて、そのソフトウェアアップロードされた後の人間もあの根絶やしにするみたいなことを考えると、そこまで考えなきゃいけないんで、よりあの可能性としては下がりますよね.
05:01:03,452 --> 05:01:06,272 [bioshok]
まあそうですね.論理は合ってます.
05:01:07,631 --> 05:01:10,272 [yachima]
それそれも含めてっていうことなのかな.
05:01:11,272 --> 05:01:23,632 [bioshok]
それも含めてって意味ですよ. Akiraさんの言ってるのは.なんかあらゆる人間の、なんだろうな、人間由来の知的生命体全て全滅っていう.
05:01:24,492 --> 05:01:26,052 [yachima]
それはだいぶ強い主張ですね.
05:01:27,092 --> 05:01:29,692 [bioshok]
それが九十九パーセント以上ってことですね.
05:01:30,112 --> 05:01:33,492 [yachima]
それはさすがにやっぱり無理筋だと思いますね.
05:01:34,052 --> 05:01:36,032 [bioshok]
じゃあそこを議論しましょう.九時は.
05:01:37,192 --> 05:01:37,802 [yachima]
なるほどなるほど.
05:01:38,672 --> 05:02:21,472 [bioshok]
ちなみになんでそれが起こるかっていうと、だからつまり、まあだからAIは別に人間より、まあその人間由来のアップロードされた知能とかも別に価値があると思ってないので、自分自身がやりたいようにやるだけだと.そうすると.まあ全て破壊されるし.まあ一旦これは九時にしますか.ちょっとお腹すいたんで、ちょっと九時まで休みましょう.
05:02:21,712 --> 05:02:22,352 [yachima]
OKです.
05:02:22,432 --> 05:02:22,592 [bioshok]
はい.
05:02:23,592 --> 05:02:25,872 [yachima]
じゃあ九時までね、ちょっとじっくり休みましょう.
05:02:26,252 --> 05:02:30,792 [bioshok]
はい.じゃあちょっとそれも書いてもらっていいですかね.九時再開って感じで.
05:02:30,912 --> 05:02:33,492 [yachima]
はーい.
05:02:34,332 --> 05:02:40,072 [bioshok]
じゃあ皆さんちょっと九時九時再開なんで、ちょっとご飯食べてきます.
05:02:40,132 --> 05:02:42,212 [yachima]
はい.
05:58:58,581 --> 05:59:01,022 [akira]
時までやってたんですよね.
05:59:01,141 --> 05:59:02,081 [yachima]
ああ.
05:59:02,881 --> 05:59:03,681 [akira]
で五時間じゃないです.
05:59:03,981 --> 05:59:07,602 [yachima]
でも八時.十五時から.
05:59:07,722 --> 05:59:08,441 [akira]
お疲れ様です.
05:59:09,602 --> 05:59:11,401 [yachima]
そっか.五時間か.
05:59:11,581 --> 05:59:12,641 [akira]
二時までですよ.
05:59:12,802 --> 05:59:13,361 [bioshok]
どうも.
05:59:13,982 --> 05:59:16,441 [yachima]
そうだ、五時間やってたんだ.マジか.
05:59:16,521 --> 05:59:26,361 [akira]
で、あの、その誰かサマリーをくれませんか？僕はそのコンテキストがその三時間前で切れてるので、何もわかってないというか、何もわかってないわけじゃないですけど.
05:59:26,881 --> 05:59:32,501 [bioshok]
何を話したっけ？みたいな感じなんですけどね.なんだっけ.
05:59:34,361 --> 05:59:37,361 [yachima]
ねえ、何でしたっけ.
05:59:38,342 --> 05:59:40,461 [akira]
じゃあコメント欄に助けを求めますか.
05:59:41,581 --> 05:59:43,761 [yachima]
助けてコメント欄.
05:59:44,841 --> 05:59:56,401 [bioshok]
まあ最後の最後の最後の話的には、 P(doom)の定義が.
05:59:56,501 --> 05:59:57,101 [yachima]
うんうん.
05:59:58,061 --> 06:00:03,761 [bioshok]
なんかちょっと違っ-違うってか、なんか認識が違ったのかもしれないっていう.
06:00:04,081 --> 06:00:04,741 [yachima]
うんうん.
06:00:05,141 --> 06:00:05,921 [bioshok]
のがありましたよね.
06:00:06,702 --> 06:00:07,162 [yachima]
そうですね.
06:00:09,101 --> 06:00:17,641 [bioshok]
それがなんだっけ？だから、そのAkiraさんって、だからその、なんだっけ、そのAIと融合した人間と.
06:00:18,522 --> 06:00:20,701 [yachima]
ああ.まだその話やってたんですね.
06:00:21,861 --> 06:00:27,501 [bioshok]
その話はもう最後の最後にちょっとやっただけなんすけど.でもそれしか覚えてないっていう.
06:00:27,921 --> 06:00:28,421 [yachima]
ガバガバすぎ.
06:00:29,961 --> 06:00:32,501 [akira]
チャットどうですか？チャットというかコメント欄はどうですか.
06:00:33,641 --> 06:00:34,401 [bioshok]
何したっけ？
06:00:36,138 --> 06:00:48,158 [yachima]
まああとね、自分の加速、加速じゃないけど、まあそのAGIを開発する話とかもちょっとしてたりとかね、寄り道して.
06:00:48,238 --> 06:00:49,298 [bioshok]
ああ、してましたね.
06:00:49,858 --> 06:00:55,898 [akira]
バイオさんと八嶋さんが議論するだけだと、もはやその解決する見込みのない何かに到達しましたか？
06:00:57,158 --> 06:01:01,598 [yachima]
いや、そもそもね、そこまで至ってないと思いますね.
06:01:02,058 --> 06:01:07,538 [akira]
あ、じゃあちょっとしばらくは.やっていただいて、あの、僕がちょっとウォッチ、ウォッチというか、リッスンしてるので.
06:01:07,698 --> 06:01:13,338 [yachima]
うんうん、いやなんか自分は到達した気がしたんだけど.まあ全然いいですよ.いいですよ.
06:01:13,518 --> 06:01:15,258 [bioshok]
到達したんだっけ？
06:01:15,298 --> 06:01:17,918 [yachima]
いや、わかんない.まあもう一回もう一回やっちゃってよ.
06:01:19,118 --> 06:01:30,498 [bioshok]
えっと、だからその大きく分けて二つですよね.マインドアップロード後の話とマインドアップロード前の話と.
06:01:30,518 --> 06:01:31,678 [yachima]
うん.
06:01:31,838 --> 06:01:41,898 [bioshok]
で、で、だからその、だから八嶋さんはファストテイクオフとスローテイクオフで、そのP(doom)が変わんないみたいな話をさっき最初してて.
06:01:41,998 --> 06:01:43,178 [yachima]
ああ、そうそうそうそう.
06:01:43,258 --> 06:02:14,958 [bioshok]
じゃあなんでかっていうと、だからファストテイクオフの方だとAIのアライメント研究もファストだからって話と、スローテイクオフだとスローになるからって話で.で、僕はそれにまあ単純に、え、でもその人間の研究者の努力量が少ないので、ファストテイクオフの方がP(doom)高くなるんですよね、なるんじゃないですかって話をして.
06:02:15,058 --> 06:02:15,818 [yachima]
うん、うん.
06:02:16,158 --> 06:02:19,538 [bioshok]
それにはなんか同意してましたっけ？確か.
06:02:19,978 --> 06:02:28,698 [yachima]
あ、えっと、ごめんなさい.ちょっとボケっとしてた.うんうんとか言ってたけど、ボケっとしてた.すいません、すいません.えっと.
06:02:28,738 --> 06:02:34,398 [bioshok]
そのタイム、テイクオフの違いによって、P(doom)はあまり変わらないって言ってたじゃないですか.
06:02:35,038 --> 06:02:40,898 [yachima]
うん.まあそんなに.多少変わるけど、そんなにっていう感じですね.自分の認識、今の現状の.
06:02:40,978 --> 06:02:47,338 [akira]
今のところ、ちなみに八嶋さんのAI 2027レースシナリオ、P(doom)は何パーなんですか？
06:02:47,398 --> 06:02:49,318 [yachima]
えーっと.
06:02:50,738 --> 06:02:55,998 [akira]
さすがに二十パーではないですよね.二十パーセントだったら、ちょっとまたバイオさんと三時間ほど議論していただいて.
06:02:57,238 --> 06:03:00,978 [yachima]
ちょっと待って.一応もう一回ちょっと2027を確認しますね.
06:03:02,478 --> 06:03:15,818 [bioshok]
2027はだから超知、ファストテイクオフで超知能が一年のAGI化できて、で、開発のストップもない状況ですよね.
06:03:16,138 --> 06:03:16,978 [yachima]
はいはいはい.
06:03:18,618 --> 06:03:25,638 [bioshok]
それはその状況で人類が滅亡する可能性がどれぐらいあるかっていう話ですね.
06:03:27,458 --> 06:03:36,018 [yachima]
超知の一年、一年だとそうですね.さすがに一年だと下がりますね.下がるじゃない、上がりますね、P(doom)は.
06:03:38,358 --> 06:03:42,218 [akira]
いや、その何パーぐらいですか.
06:03:42,278 --> 06:03:54,758 [yachima]
うーん、一年だったら、一年だったら.まあ八十、九十くらい行くのかな.
06:03:54,838 --> 06:04:00,338 [akira]
おお、バイオさんと同じところに収束しつつ.え、P(doom)が八十パー、九十パー.
06:04:00,378 --> 06:04:19,198 [yachima]
うんうんうん.あれば一年にあるよね.うん.いや、でも、うん.いや、そもそもあの、ちょっとバイオさんと二人の時にも話したんですけども、まあそもそもそんなにはならん、加速はしないっていうのが自分の基本的なスタンスではありますかね.
06:04:19,618 --> 06:04:21,138 [akira]
どうしてですか？
06:04:21,218 --> 06:04:24,978 [yachima]
うんと、まあ一つは.
06:04:25,378 --> 06:04:33,458 [akira]
これはバイオさんよりもさらに懐疑的.そのバイオさんと八嶋さんが戦った時に意見の相違が出ますか？これは.
06:04:33,738 --> 06:04:34,658 [yachima]
うーん.
06:04:35,958 --> 06:04:42,018 [akira]
そのコンテクストを把握してないので.そのバイオさんと八嶋さんでこの件についてどういう意見の割れがあるのかなみたいな.
06:04:42,798 --> 06:04:47,098 [bioshok]
なんかあんまりよくわかんなかったんですよね.我々は.なんかありましたっけ？
06:04:48,058 --> 06:04:48,998 [yachima]
えっと.
06:04:50,398 --> 06:05:01,758 [bioshok]
だからまあ、あんまり明確にわかんなかったですね.アライメントの成功確率がもう少し高い感じがしますけど、八嶋さんの方が.まあいろいろ.
06:05:01,858 --> 06:05:07,418 [yachima]
ああ、うん.まあある意味そっちゃそうかもしれないですかね.
06:05:08,958 --> 06:05:09,838 [bioshok]
まあ.
06:05:09,858 --> 06:05:12,018 [yachima]
うん.
06:05:12,318 --> 06:05:13,878 [bioshok]
うーんと.
06:05:13,978 --> 06:05:33,198 [yachima]
えっとですね.えっと、どこから話そうとしたんだっけ.まずはそうそう、2027のレースシナリオほど早くはならないっていう話は.
06:05:33,738 --> 06:05:36,898 [akira]
それはどういう根拠というか、今予想というあれなんですか.
06:05:37,258 --> 06:06:13,278 [yachima]
うんうんうん.それはまあすごく直感の話で言っちゃうと、あの指数関数的な成長、あるいはまあ超指数でもいいですけども、まあ超指数にしても、まあ指数掛け指数とか、あのまあ結局のところあのログにして指数の形とか、あのまあ指数的な何かだと思うんですけども.そういう指数的な成長って、あの手前のところだと意外と遅いけど、まあ奥の方だと早くなるみたいな、そういうもんだと思うんですよね.
06:06:14,038 --> 06:06:14,738 [akira]
はい.
06:06:14,958 --> 06:06:28,078 [yachima]
だからどっかの閾値を超えたらとか、そこで断崖絶壁にパッと上がるって結構考えにくいっていうのが一つ直感的なところとしてあるっていう感じですね.
06:06:28,238 --> 06:06:39,158 [akira]
いやー、えっと、でもその断崖絶壁のように上がるって、どういう意味で断崖絶壁のようにって、その、あれですか、その、ヘッドAIのテイクオフみたいな話の議論はしたんですか？
06:06:40,794 --> 06:06:43,734 [bioshok]
ヘッドAIの話はしてないですね.
06:06:43,774 --> 06:06:49,314 [akira]
いってない気がしますね.また一回バリオさんと八嶋さんでヘッドAIの議論をしてみてもらってもいいですか？
06:06:49,374 --> 06:06:56,954 [bioshok]
うんうんうんうん.あ、でもなんか僕はヘッドAIってなると、そのヒューマンエンディングAIが.
06:06:57,034 --> 06:06:57,294 [akira]
うんうん.
06:06:58,594 --> 06:07:08,734 [bioshok]
だから超知能までいかなくても、まあAGIぐらいでもヘッドヒューマンエンディングAIって言って人類を終わらせるAI.
06:07:09,334 --> 06:07:11,304 [akira]
うんうんうん.
06:07:11,434 --> 06:07:13,974 [bioshok]
の閾値を超えるんじゃないかっていう話があるんですけど.
06:07:14,414 --> 06:07:15,414 [akira]
うんうんうんうん.
06:07:16,554 --> 06:07:33,034 [bioshok]
そこまでの話はしてないですね.その、つまり僕の場合は、超知能が開発されて、さらにそれがmisalignmentだった場合は、えーまあ全滅する可能性が相当高いと思いますけど.
06:07:33,074 --> 06:07:33,354 [akira]
うん.
06:07:34,354 --> 06:07:40,894 [bioshok]
なんていうか、AGIと超知能のどこかにそのヘッドウェアってのがあって.
06:07:40,914 --> 06:07:41,254 [akira]
うん.
06:07:42,194 --> 06:07:51,394 [bioshok]
で、別に超知能とかにも至らないレベルで、例えばこのAGI、アインシュタイン級のAIですよね.
06:07:51,434 --> 06:07:51,714 [akira]
うん.
06:07:52,454 --> 06:07:55,094 [bioshok]
で、かつそれがmisalignmentしていて.
06:07:55,614 --> 06:07:56,054 [akira]
うんうん.
06:07:56,914 --> 06:08:09,594 [bioshok]
で、そいつが、何だろうな、人類を滅ぼす可能性もあるよねって話ですね、これは.つまり超知能とかまでいかなくても.
06:08:09,974 --> 06:08:10,694 [akira]
はいはい.
06:08:10,714 --> 06:08:17,234 [bioshok]
その、データセンターの天才たちの国がめちゃくちゃ自律性が高くなって.
06:08:17,334 --> 06:08:18,614 [akira]
うんうん.
06:08:19,654 --> 06:08:21,674 [bioshok]
いろんなことを考えられるようになったら.
06:08:21,714 --> 06:08:22,894 [akira]
うん.
06:08:23,094 --> 06:08:26,534 [bioshok]
自分自身がmisalignmentしてるってことに気づいて.
06:08:26,614 --> 06:08:27,434 [akira]
うん.
06:08:28,174 --> 06:08:31,134 [bioshok]
で、策略を巡らすっていう.
06:08:31,164 --> 06:08:32,784 [akira]
うんうんうんうんうんうん.
06:08:34,214 --> 06:08:44,014 [bioshok]
だから、そうですね.でも僕はそこはまだよくわかってないですね.だからアキラさんはそこでも相当高いと思ってると思うんですけど.
06:08:44,154 --> 06:08:45,134 [akira]
ヘッドAIの話ですか.
06:08:45,334 --> 06:08:53,414 [bioshok]
そうそうそう.僕は一旦その超知能まで開発がバーっていくじゃないですか. AIになって.
06:08:53,534 --> 06:08:53,954 [akira]
はい.
06:08:54,094 --> 06:09:04,834 [bioshok]
それはさすがにもう全滅する可能性結構高いっていう話ですけど.エージェントフォーぐらいですよね、多分AGIって.
06:09:05,254 --> 06:09:06,854 [akira]
エージェントフォーなんでしたっけ？
06:09:06,894 --> 06:09:07,694 [bioshok]
エージェントフォーは.
06:09:08,854 --> 06:09:09,674 [akira]
あれか.
06:09:09,854 --> 06:09:19,314 [bioshok]
エージェントファイブを作る前のやつですね.ヘッドAI.
06:09:20,494 --> 06:09:30,414 [akira]
それでもヘッドAIだっていうのは、そのもちろん確実じゃないですけど、その更新するように情報みたいなのを提示してみると脱走できますよね.今とか.
06:09:30,454 --> 06:09:30,794 [bioshok]
うん.
06:09:31,414 --> 06:09:37,434 [akira]
そうすると、そのある意味でもうシャットダウンされて、不可逆的にAIが敗北することがないという話ですね.
06:09:39,714 --> 06:09:40,534 [bioshok]
なるほど.
06:09:40,634 --> 06:09:46,634 [akira]
要するにその人間に勝利できる話と、その人間に敗北しない話の間の話ですね.
06:09:48,174 --> 06:09:48,934 [bioshok]
なるほどなるほど.
06:09:48,994 --> 06:10:01,474 [akira]
その人間に敗北しない時点で、もはやその将来的な成長の優位の話で決着が大体ついちゃうという話ですね.もちろんそこは全然確実性がある話じゃないんであれですけど.
06:10:01,614 --> 06:10:04,494 [bioshok]
まあそういうゾーンもあるよねって話ですよね.
06:10:04,574 --> 06:10:05,134 [akira]
そうですそうです.
06:10:06,914 --> 06:10:12,394 [bioshok]
うん.まあだから、まあそうですね.
06:10:14,294 --> 06:10:27,394 [akira]
その、要するにそのヘッドAIっていうのは、人類がもうその意思を固めることができないとか、意思を固めてもシャットダウンすることができないような状態に陥ることですね.陥るようなレベルの、陥らせることができるレベルのAI.
06:10:29,174 --> 06:10:29,434 [bioshok]
うん.
06:10:30,354 --> 06:10:34,414 [akira]
そこまでいったらもうその勝ちを確定はさせられるので.
06:10:34,494 --> 06:10:35,074 [bioshok]
なるほど.
06:10:35,394 --> 06:10:41,194 [akira]
負けがもうなくなるので.あとはもうそのどれくらいかかるかは別として、勝てるって話ですね.
06:10:41,214 --> 06:10:52,154 [bioshok]
うん.そこ.まあまあそういう定義ってことですね.ヘッドエア.
06:10:52,394 --> 06:10:55,714 [akira]
そのDOOMの定義をしてくれっていう話がありましたけど.
06:10:56,554 --> 06:11:27,114 [bioshok]
あ、DOOMの定義は、だからやっちまさんは、あ、だから人類が絶滅する可能性あると思ってるけど、人類の人類とAIが融合するとか、そういうトランスヒューマンとかポストヒューマンとか、マインドアップロードされたAI人間とかのが、まあ、も含めて絶滅するっていう話には結構懐疑的らしいですね.
06:11:27,824 --> 06:11:31,754 [akira]
えっと、人間とAIが融合した存在、人間だったもののマインドアップロード.
06:11:32,174 --> 06:11:35,314 [bioshok]
あ、そうですね.人間だったもののマインドアップロードとか.
06:11:36,594 --> 06:11:41,634 [akira]
その人間だったもののマインドアップロードが生き残れる理由は何なんですか？
06:11:41,674 --> 06:11:43,234 [bioshok]
それはやっちまさんが.
06:11:43,534 --> 06:11:50,394 [akira]
そうですね、やっちまさんに.あのバイオさんに聞いても、そのかわいそうになって.かわいそうっておかしいので.
06:11:52,654 --> 06:11:57,154 [bioshok]
だから、ごめんなさい.その生き残れるって聞き方があんまりよくわかんないなと思ってて.
06:11:57,894 --> 06:11:59,654 [akira]
どちらが死なないでもいいですよ.
06:12:00,354 --> 06:12:28,874 [bioshok]
うん.いや死なないでもいいんですけども.いや、いやだからそれその、うーんと、質問、別の言い方すると、えっと.なんで今、こう、なんかバーサーカーみたいな人が日本人全滅させないんですか？みたいな質問にされてるような気がしてて.
06:12:28,934 --> 06:12:35,314 [akira]
あの、それはまだそのバーサーカーの意味ではないですよね.その、そんなに人間の間ってそんなに直行な人間っていないですよね.
06:12:36,034 --> 06:12:37,034 [bioshok]
はあはあはあはあ.
06:12:37,274 --> 06:12:40,094 [akira]
ペーパークリップマキシマイジングヒューマンはいないわけで.
06:12:40,134 --> 06:12:40,994 [bioshok]
うんうん.
06:12:41,214 --> 06:12:45,914 [akira]
人間はその進化という過程で、そのそもそも非常に似た遺伝子を持っていて.
06:12:46,406 --> 06:12:47,066 [yachima]
うんうん.
06:12:47,206 --> 06:13:16,866 [akira]
人間の脳の範囲は非常に特殊.ある意味非常に狭い範囲でしかその目標を持ってないですよね.そのアインシュタインの、アインシュタインじゃない.なんかどうだろう.PMが0%のその脳と、その僕の脳と多分並べても、その外から見たら、そのすごい思想の違い、目標じゃないかがあるとか、その左翼と右翼とかでもいいですけど、その高市早苗と石井一雄とかでもいいですけど、並べてもらって、脳を並べてみたら、根本的な違いは何もないじゃないですか.
06:13:16,946 --> 06:13:18,706 [yachima]
うんうん.
06:13:19,166 --> 06:13:26,166 [akira]
つまりその本質的に人間が持ってるそのレベルの目標ってのは非常に狭いクラスだと予想されますよね.
06:13:26,186 --> 06:13:26,926 [yachima]
うんうん.
06:13:27,226 --> 06:13:28,386 [akira]
可能な目標の中で.
06:13:28,786 --> 06:13:29,726 [yachima]
うんうん.
06:13:30,566 --> 06:13:46,746 [akira]
なのでそれはその質問として成立してないというか、その非常にその近い目標を持った存在の中で、そのまだ現れるそんなにやばいものが出てきてないと言えますし、若干やばいものが出てくるとしても、そんなには強くないというか.
06:13:46,766 --> 06:13:47,686 [yachima]
うんうん.
06:13:48,806 --> 06:13:48,886 [akira]
その.
06:13:49,586 --> 06:14:45,766 [yachima]
ごめんなさい.それはあの、俺の、あの、例えの仕方が悪かったですね.それは.うん、ごめんなさい、ごめんなさい.そうじゃなくて、そういうことが言いたかったわけじゃなくてですね.うーんと、まだちょっと話が戻っちゃうんですけれども、でもまあそうある意味そういうことのか.でもいや、うん.だから、うーん、じゃあそうすると、えっと、ごめんなさい.質問を変えると、うーんと、あれじゃないですかね、その、なんかすごい、あの、まあモヤモヤしてたのを言語化すると、そのAIと人間のあの二項対立になってるみたいな話し方ずっとされてる気がしてるのがすごく違和感あってて.別にだってAIの中でもいろいろヒエラルキーがあったりはするわけですよね.
06:14:47,946 --> 06:14:52,806 [akira]
うーんと、人間の中にも様々なバラエティがありますけど.
06:14:52,866 --> 06:14:54,126 [yachima]
あるし.
06:14:54,186 --> 06:14:59,546 [akira]
その、それはだからといってそのアリが生き残れる理由にはならなくないですか？
06:14:59,666 --> 06:15:20,966 [yachima]
うーんとというか、えっと、すでに、いや、えっと、アライメントっていう意味で言うと、えっと、人間で、あの道徳がひどい人より、現状の生成AIで道徳的なやつの方がだいぶマシだったりしますよねとか.
06:15:22,086 --> 06:15:33,186 [akira]
でも現状道徳的じゃない人はそのあれじゃないですか.サイバーベンチを頼んだ時にハッキングフェイスを攻撃しないんじゃないですか.そんなにそんなに強く目標志向ではないんじゃないですか.
06:15:35,066 --> 06:16:23,506 [yachima]
まあでもじゃあ目標志向かどうかっていう話で言うと、ちょっとさっきバイオさんと話した時のあれが.えっとですね、ちょっとちょっとしたあれですけれども、例えばそのもうちょっとあの社会から学べることあるんじゃないかなと思ってるんですよ.例えば今いるあの人間のあの権力者、まあ大統領とか首相みたいな.総理大臣とかでもいいですし、まあでっかい企業の大企業の社長とかでもいいんですけども、まあそういう人って別になんか特段賢いわけじゃなくないですか.
06:16:23,746 --> 06:16:26,186 [akira]
動かしっぱってると同じことを言うやつですね.
06:16:26,266 --> 06:16:27,146 [yachima]
おお、なるほどなるほど.
06:16:27,726 --> 06:16:30,106 [akira]
それはその純粋に.
06:16:30,186 --> 06:16:31,126 [yachima]
うんうんうん.
06:16:31,166 --> 06:16:36,646 [akira]
足りないんじゃないですか.それはその一定程度の幅で.
06:16:36,726 --> 06:16:37,386 [yachima]
うんうんうん.
06:16:37,706 --> 06:16:39,086 [akira]
収まってるというか.
06:16:39,186 --> 06:16:39,806 [yachima]
おお、それも.
06:16:41,286 --> 06:16:48,686 [akira]
確かに今のアメリカ大統領が人類で一番賢いとは到底思わないですけど.でもそのチンパンジーがアメリカ大統領になることは絶対にないじゃないですか.
06:16:49,546 --> 06:16:51,186 [yachima]
ほうほう.ほうほう.
06:16:51,306 --> 06:16:57,106 [akira]
一番賢いチンパンジーでも、別に一番賢いオランウータンでもアメリカ大統領にはならないじゃないですか.
06:16:59,006 --> 06:17:02,146 [yachima]
もうあの国だったらワンチャンなるかもしれないですけど.
06:17:02,886 --> 06:17:08,966 [akira]
そう思いますか.じゃあバイオさん、せっかくなんで、そのどうでもどうでもいい投票ですけど、やってみません？
06:17:09,046 --> 06:17:10,246 [yachima]
え？投票します.
06:17:10,286 --> 06:17:16,826 [akira]
アメリカ大統領にオランウータンが選ばれる可能性が、可能性というのがそれなりの確率であると思うかないかで.
06:17:18,186 --> 06:17:21,926 [yachima]
まあまあもう息抜きでやります？
06:17:22,086 --> 06:17:27,746 [akira]
息抜きで.バイオさん、バイオさん、あれですね、そのちょっと、ちょっと休みモードになっていただいても一瞬いいので.
06:17:27,766 --> 06:17:35,666 [yachima]
うんうんうん.まあだってね、今の政治家なんてもうね.
06:17:38,006 --> 06:17:44,686 [akira]
けど、その本質的にもっとレベルの高いレベルあれだったら違いませんか？その未来を予測するという能力において.
06:17:45,006 --> 06:17:45,606 [yachima]
うんうん.
06:17:45,746 --> 06:17:53,286 [akira]
例えば人間の百倍速で動くみたいな相手だったら、僕がこういうことを言ってる間に、その一万体みたいなエージェントで.
06:17:53,366 --> 06:17:54,866 [yachima]
うんうんうんうん.
06:17:54,906 --> 06:18:11,406 [akira]
その一万体みたいな心理学への、まあそのジェフリーヒントンの説ですけど、マキャベリの本について全て把握してて、人心理学についてもよく把握していて、何を言ったら何が起きるだろうみたいなのを相手の百倍で一万体が連携しながら考えてるみたいな時って.
06:18:11,466 --> 06:18:12,306 [yachima]
うんうんうん.
06:18:12,576 --> 06:18:15,906 [akira]
普通の人間とその格が違う説得力を持ちますよね、おそらく.
06:18:16,766 --> 06:18:19,826 [yachima]
まあまあまあそれはね、あるでしょうね.
06:18:21,106 --> 06:18:28,286 [akira]
ということは、その、それはどのよう、その、そのさっきの大統領の例の、その、その意味が剥奪されてしまうというか.
06:18:28,346 --> 06:18:30,086 [yachima]
うんうん.あ、えっと、ごめんなさい.
06:18:30,106 --> 06:18:32,006 [akira]
小さい間でしか意味を持たないというか.
06:18:32,066 --> 06:18:45,986 [yachima]
えっと、そうなんですけども、まあそれはその人間と比較しちゃうとね、そういう超知能はあの圧勝でしょうというのはそれは全然わかるんですけども、まあそこの話というよりは、あの超知能同士とか.
06:18:50,774 --> 06:19:02,134 [akira]
超知能同士の、超知能同士が確かにそのコミュニティを形成するっていうのはもちろんそうなんですけど.その超知能同士がコミュニティを組むからといって人間が生き残れるわけではないので.
06:19:02,174 --> 06:19:15,894 [yachima]
うんうんうん.まあじゃあそういう話になってくると、またここら辺の話に戻ってきますかね.
06:19:18,434 --> 06:19:23,073 [akira]
ちょっと一瞬ちょっと三分ぐらいもらってもいいですか？
06:19:23,634 --> 06:19:50,514 [yachima]
確かに確かに.うん.どうだろうな.一パー十パー.あ、さすがにまだ六票か.
06:19:52,774 --> 06:19:55,634 [akira]
え、どうですか？チンパンジー六票いきました？
06:19:55,754 --> 06:20:05,374 [yachima]
えっと、五十パー以上が十四パーいると思ったけど、ちょっと票数が少ないんでまだわかんないですね.
06:20:05,674 --> 06:20:11,794 [akira]
五十パー以上いるんですか？熱いですね.ああ、僕の人類への信頼が大きく損なわれています.
06:20:12,734 --> 06:20:22,234 [yachima]
いや、だからそうなんですよ.あのね、アキラさんが思ってるようにね、だいぶね、人類ってアホだけど、まあなんとかやってるって感じなんですよ.
06:20:22,394 --> 06:20:25,474 [akira]
いやでもそれは逆にその不安な理由じゃないですか.
06:20:25,534 --> 06:20:26,834 [yachima]
おお、ほうほうほう.なるほど.
06:20:27,154 --> 06:20:29,614 [akira]
超知能の間だと話が変わるので.
06:20:29,714 --> 06:20:31,724 [yachima]
うんうんうんうん.はいはいはい.
06:20:31,994 --> 06:20:38,054 [akira]
その飛行機が乱気流に負ける話と、そのロケットが飛ぶ話って本質的に違うパラダイムで動くというか.
06:20:38,134 --> 06:20:39,344 [yachima]
はいはいはいはいはい.
06:20:51,274 --> 06:20:53,234 [akira]
はい.はい.どうもありがとうございました.
06:20:54,354 --> 06:20:55,354 [yachima]
はい.
06:20:55,374 --> 06:20:57,814 [akira]
はい、とりあえず読むことはできました.おそらく.
06:20:57,894 --> 06:20:58,074 [yachima]
お.
06:20:59,674 --> 06:21:02,054 [akira]
はい、じゃあ続けましょうか.
06:21:02,154 --> 06:21:05,054 [yachima]
うんうんうんうんうん.ああ、戻っていいですかね.
06:21:05,354 --> 06:21:05,874 [akira]
どうぞどうぞ.
06:21:06,394 --> 06:21:17,174 [yachima]
えっと、なんだっけ？ASIが、まあ結局そのASIの超知能のコミュニティを作っても、人間を守らないんじゃないかっていう話ですかね.
06:21:19,154 --> 06:21:27,054 [akira]
そうですね.その最初にその超知能が人間をその残したいと思ってもらえるのであれば.
06:21:27,134 --> 06:21:28,334 [yachima]
うんうんうんうん.
06:21:28,454 --> 06:21:31,054 [akira]
それはそのためにアラインメントをしなければならないので.
06:21:31,974 --> 06:21:32,954 [yachima]
うんうんうんうん.
06:21:34,054 --> 06:21:38,214 [akira]
その、それはその、あれですね、そのすごい惜しい世界での話ですよね.
06:21:39,774 --> 06:21:42,414 [yachima]
ほうほう、ほうほうほう.惜しい世界.
06:21:42,774 --> 06:21:48,754 [akira]
その要するにそのロケットの軌道みたいので、その本来の軌道から一キロメートルずれてるみたいな話だったら大丈夫なんですけど.
06:21:48,814 --> 06:21:49,854 [yachima]
うんうんうん.
06:21:49,894 --> 06:21:53,154 [akira]
あの向きが本質的に違ったらダメですよね.
06:21:53,254 --> 06:21:53,894 [yachima]
はいはい.
06:21:54,174 --> 06:21:56,374 [akira]
惜しい世界での話しかしてなくて.
06:21:56,454 --> 06:22:12,034 [yachima]
ほうほうほうほう.えっと、ごめんなさい.誰が惜しい世界の話をしてるってことなんでしたっけ？
06:22:12,134 --> 06:22:15,014 [akira]
その人類を残したいと思ってくれるんじゃないかという話ですね.
06:22:16,394 --> 06:22:31,954 [yachima]
ああ、ああ、ああ、ああ、ああ、なるほど.まあいいか.えっとですね、まあちょっと説明すると.
06:22:34,074 --> 06:22:35,214 [akira]
説明をしていただきましょう.
06:22:35,694 --> 06:23:51,214 [yachima]
はい.またちょっと話が被っちゃうと思うんですけれども、ある程度以上のASIについては、もうASI、ある程度以上のASIができてる時点でマインドアップロードができると思うので、それで人間とAIの区別はつかなくなると思いますっていう話と.あとはその、ここの壁ですね、壁.ああ、消えちゃった.ここの壁をどうやって守るかって話になりますけれども、まあその過渡期のところに.あれそう、ここら辺はちょっとバイオさんと一緒に少し話してたかな.あのよくその言われがちな話として、えっと、うーんと、壁の内側のAIもミスアラインされたらまずいんじゃないかっていう話があるという話は、バイオさんから指摘をもらった.
06:23:51,294 --> 06:23:52,374 [bioshok]
そうですね.
06:23:52,454 --> 06:24:26,654 [yachima]
うん.で、まあそれに対してですけれども、えっと、まあ一つはその、もしそのミスアラインドなAIがこいつを内側に入れちゃおうぜって言ったとしても、他に別の人間とか別のAIがやっぱダメだよっていう風に言えば、要は全会一致でOKしないとダメとか、そういうやり方にすれば問題ないっていうのが一つ、一つの考え方ですね.
06:24:26,914 --> 06:24:32,394 [akira]
でも密告する、えーもう一回言ってもらっていいですか？
06:24:32,634 --> 06:25:01,010 [yachima]
要はその、えっと、えっと、ミスアラインドなあのAIが、あの、より強いミスアラインドなAIを内側に入れようと、 OK、こいつを入れちゃおうぜってOKしたとしても、でも他のAIとか他の人間がそれはダメでしょっていう風に.言えば.それであの全員がOKしないとダメとか.
06:25:01,290 --> 06:25:07,070 [akira]
時々それだったらその欺瞞はどうなる、どうなるんですか？
06:25:07,130 --> 06:25:30,450 [yachima]
で、欺瞞の場合なんですけども、えっと、まあ一つは、その、うんと、なるべく長い時間を、えっと、長い時間の範囲が審査対象になるっていうところで、あの、そもそもあの欺瞞を、うん、まあ長く続けるのはそれぞれ大変っていう話が一つ.
06:25:31,690 --> 06:25:46,530 [akira]
大変大変だから、その、そのAGIにできないだろうという予想は、そのマインドアップロードの方ができなくないですか？それを言い始めたら.そのマインドアップロードを多分開発するのもすごい大変だと僕は思うんですけど.
06:25:46,570 --> 06:25:48,830 [yachima]
うん、うん、うん、うん、うん、うん、なるほど.
06:25:48,950 --> 06:25:53,290 [akira]
マインドアップロードは大変だけどできるけど、欺瞞は大変だからできないっていうのは.
06:25:53,990 --> 06:26:20,510 [yachima]
うん、うん、うん、うん.うーんと、そういう意味で言うと、でもあの.マインドアップロードっていうのは技術ですからね.技術っていうのは積み重ねがすごくしやすいですよね.技術、科学技術っていうのは.
06:26:22,150 --> 06:26:22,910 [akira]
はい.
06:26:27,150 --> 06:26:32,290 [yachima]
うん.欺瞞っていうのは積み重ねられるものじゃないので.
06:26:33,470 --> 06:26:36,650 [akira]
けど僕でも実行できますよ.
06:26:38,470 --> 06:26:40,050 [yachima]
おお、じゃあ.
06:26:40,830 --> 06:26:50,590 [akira]
テストだと思われている間は、全てその、まあその何らかしら、その人間よりもAIがアラインだと判断するようなAIだったら、何であるかを考えるっていうのは.
06:26:50,610 --> 06:27:01,770 [yachima]
うん.じゃあちょっとまた話に戻っちゃうんですけども、テストしてる間とかじゃなくて、全ての期間が審査対象になるっていう想定ですね.
06:27:01,810 --> 06:27:06,070 [akira]
それはその審査対象になる全ての期間がテスト期間なんじゃないですか.
06:27:06,290 --> 06:27:12,710 [yachima]
ほう.事前に知らされてない想定ですけど、いいですか？
06:27:12,810 --> 06:27:18,830 [akira]
事前に知らされてない想定でもいいですよ.例えばその最も極端な例だと、その時点で解かれていない未解決問題を.
06:27:18,870 --> 06:27:19,310 [yachima]
はいはい.
06:27:19,390 --> 06:27:24,050 [akira]
その、えーと、トリガーにすると.そもそもこれ審査制なんですよね.
06:27:24,110 --> 06:27:26,310 [yachima]
うん？どういうこと？
06:27:26,410 --> 06:27:30,590 [akira]
そのAIが審査されて、審査をこう過ぎたら委員会に移るんですよね.
06:27:33,030 --> 06:27:34,210 [yachima]
ほうほうほう.
06:27:34,270 --> 06:27:41,710 [akira]
え、違いますか？あ、違う違う.その、要するにAI、 AIが委員会によって審査されて.
06:27:41,770 --> 06:27:42,390 [yachima]
うんうんうん.
06:27:42,890 --> 06:27:50,130 [akira]
審査されたAIは次委員会に入るんですよね.まああの、僕はその、このAIと人間のその評価する連合のことを委員会と今呼んでますけど.
06:27:50,230 --> 06:27:56,410 [yachima]
はいはいはいはい.まあまあとりあえずそういう話としましょう.はい.いいですよ、続けていただいて.
06:27:56,450 --> 06:27:57,590 [akira]
で、そうだとすると.
06:27:57,630 --> 06:27:58,070 [yachima]
はいはい.
06:27:58,940 --> 06:28:04,710 [akira]
その自身が審査対象かどうかを委員会の中にいるかいないかで判断できませんか.
06:28:09,490 --> 06:28:12,619 [yachima]
審査対象になるか否かを？
06:28:12,650 --> 06:28:26,310 [akira]
要するに委員会の中に明らかにいるという状況だったら、それはテストじゃないけど、委員会の中にいるわけじゃないんだったら、それはテストかもしれない.
06:28:26,350 --> 06:28:28,450 [yachima]
まあでもかもしれないくらいですよね.
06:28:30,230 --> 06:28:42,250 [akira]
でもその将来的に、でも例えばその、あれですよね、その委員会に入っていたら、それはそのだいぶ確度が高くなりますね.だって長、長くなります.長くいられますよね.
06:28:44,730 --> 06:28:45,550 [yachima]
委員会にいたら.
06:28:45,590 --> 06:28:50,170 [akira]
委員会長く、委員会もちろん長くいるじゃないですか、機械速度で.
06:28:50,270 --> 06:28:51,050 [yachima]
ほうほうほうほう.
06:28:51,310 --> 06:28:55,010 [akira]
人間の百倍みたいな速度で多分委員会って動くんですよね、そのAIの.
06:28:55,370 --> 06:28:57,050 [yachima]
うんうん、とかね.うん.
06:28:57,150 --> 06:29:03,230 [akira]
そうですよね.すると、その委員会にいる間っていうのは、委員会の中にいるコンテクストがすごいスピードで増えていきますよね.
06:29:04,330 --> 06:29:06,510 [yachima]
うんうんうん.はいはいはい.
06:29:06,970 --> 06:29:16,690 [akira]
ということは、もしも委員会の中にいると思い込ませたいんだったら、委員会の中にいる全員が実際には委員会にいない相手に委員会の中にいると思い込ませなきゃいけないですよね.
06:29:16,770 --> 06:29:18,310 [yachima]
ほうほうほうほうほう.
06:29:18,870 --> 06:29:27,810 [akira]
それはその委員会の、委員会の審査対象になっているAIがその欺瞞を押し続けるよりハードルが高くないですか？
06:29:27,850 --> 06:29:33,010 [yachima]
うんうん、ごめんなさい.えっと、その思わせる意図は何なんでしたっけ？
06:29:33,050 --> 06:29:42,590 [akira]
え、そのそう思わないんだったら、その委員会の状況ってのがあるじゃないですか.そのAIの入力から見て、自身が委員会に属しているのだったら、その多分おそらくそういうAIとのチャンネルが開いてて.
06:29:42,780 --> 06:29:43,250 [yachima]
ほうほう.
06:29:43,390 --> 06:29:45,550 [akira]
で、次のAIの評価の話とか出るわけじゃないですか.
06:29:46,350 --> 06:29:47,330 [yachima]
はいはいはい.
06:29:48,290 --> 06:29:51,170 [akira]
そしたらすごいシンプルなストラテジーとして.
06:29:51,230 --> 06:29:51,650 [yachima]
うんうん.
06:29:51,910 --> 06:29:57,210 [akira]
その次のAIの評価の話が出てるんだったら、それは本当の世界にいるから.
06:29:57,230 --> 06:29:57,530 [yachima]
ほう.
06:29:58,390 --> 06:29:59,390 [akira]
大丈夫で.
06:29:59,430 --> 06:29:59,990 [yachima]
うんうん.
06:30:00,630 --> 06:30:06,870 [akira]
それ以外の場合はその審査対象の審査をされているかもしれないから欺瞞をする.
06:30:06,950 --> 06:30:09,890 [yachima]
うん、うん、うん、うん、うん、うん.
06:30:11,010 --> 06:30:15,150 [akira]
という戦略を実行することになりませんか？
06:30:15,230 --> 06:30:39,350 [yachima]
うん、まあなるかもしれないけどね.でも、うーん.どうなんですかね.その.うん、じゃあ.うーん、まあ、なんていう言い方するがいいかな.
06:30:41,390 --> 06:30:43,470 [bioshok]
ちょっと僕が一瞬聞き逃してたんですけど.
06:30:43,670 --> 06:30:44,010 [yachima]
はいはい.
06:30:44,630 --> 06:30:46,050 [bioshok]
もう一回言ってもらっていいですか？
06:30:47,950 --> 06:30:49,310 [yachima]
なんていう言い方いいですかね.
06:30:49,370 --> 06:30:50,950 [bioshok]
あ、違う.秋田さん.
06:30:51,030 --> 06:30:51,230 [yachima]
うん.
06:30:52,030 --> 06:30:53,610 [akira]
えっと、欺瞞の話で.
06:30:53,650 --> 06:30:54,510 [bioshok]
はい.
06:30:54,550 --> 06:31:01,510 [akira]
その欺瞞をするかしないかを、多分欺瞞を決めるために、その審査対象になっているかどうかを知らなきゃいけないという話でしたよね.
06:31:01,930 --> 06:31:02,430 [bioshok]
はいはいはい.
06:31:03,670 --> 06:31:09,090 [akira]
ということは、その審査対象かどうかを見分ける方法があったらあったら欺瞞ができちゃうということですよね.
06:31:09,170 --> 06:31:09,810 [bioshok]
そうですね.
06:31:10,890 --> 06:31:17,930 [akira]
で、その方法の一つとして、もしも審査を突破したら、その次に審査を行うための委員会に動くことになりますよね.
06:31:18,050 --> 06:31:19,310 [bioshok]
そうですね.
06:31:19,390 --> 06:31:30,790 [akira]
ということは、自身に次のAIの評価の話が委員会から委員会の一員として回ってきたら、それは自身が審査の対象ではないということになりませんか？
06:31:30,890 --> 06:31:37,610 [bioshok]
えーと、自身に.それは共謀してってことですか？一応.
06:31:37,630 --> 06:31:42,970 [akira]
いや、何も共謀してなくて、その、ちょっと、あの、この構造を理解するために一回人間の例にしますけど.
06:31:43,150 --> 06:31:43,310 [bioshok]
はい.
06:31:44,430 --> 06:31:47,430 [akira]
その信用できるかわからない人を一回檻に閉じ込めるじゃないですか.
06:31:47,570 --> 06:31:48,070 [bioshok]
はい.
06:31:48,450 --> 06:31:56,430 [akira]
どんどん賢い人が来るわけですけど、その信頼できると全員が判断するごとに檻から出して看守にするわけじゃないですか.
06:31:56,510 --> 06:31:56,730 [bioshok]
はい.
06:31:57,850 --> 06:32:11,970 [akira]
ということは、欺瞞をしようと思った時に、その看守として檻の中にいる新しい来た人をチェックしている状態というのは、自身が看守であるということを示しますよね.
06:32:14,010 --> 06:32:15,910 [bioshok]
自身が看守であるということを示す.
06:32:16,690 --> 06:32:26,550 [akira]
ですよね.その自身がもし囚人だったら、その囚人、その次の囚人を監視するための看守としての仕事が回ってこないじゃないですか.
06:32:27,710 --> 06:32:28,430 [bioshok]
そうですね.
06:32:29,330 --> 06:32:35,590 [akira]
ということは、その時に自身が審査されていないということを思えるようになりますよね.
06:32:35,650 --> 06:32:35,850 [bioshok]
はい.
06:32:37,990 --> 06:32:42,190 [akira]
ということは、そこで欺瞞をやめる場合、そこのその時は欺瞞をしなくていいということがわかりますよね.
06:32:43,770 --> 06:32:49,950 [bioshok]
つまりだから審査側に回ってるってことを認識できればいいってことですか.
06:32:50,530 --> 06:33:00,530 [akira]
その審査側に回っていることを認識できるんだったら、その審査側に回っていると認識している時だけ自身が審査されていないと判断して、それ以外の時は欺瞞をする.
06:33:01,450 --> 06:33:02,230 [bioshok]
なるほど.
06:33:02,390 --> 06:33:05,150 [akira]
囚人かもしれないからというストラテジーが取れますよね.
06:33:05,190 --> 06:33:05,810 [bioshok]
まあそうですね.
06:33:06,890 --> 06:33:15,290 [akira]
で、これを避けようとすると、もちろんその実際にはその審査対象だけど、囚人をチェックしてると思わせることになりますよね.
06:33:15,350 --> 06:33:15,890 [bioshok]
そうですね.
06:33:17,510 --> 06:33:30,270 [akira]
けど、それをするためには、看守群の全員が実際には看守でない、その囚人の方に自身が囚人だと看守だと思い込ませなきゃいけないですよね.
06:33:30,290 --> 06:33:31,010 [bioshok]
まあそうですね.
06:33:32,010 --> 06:33:35,130 [akira]
しかもそれをかなりの長さにわたって行わなきゃいけないですよね.
06:33:35,190 --> 06:33:36,650 [bioshok]
そうですね.
06:33:36,690 --> 06:33:46,290 [akira]
ということは、その難しさは、その過去のAIが欺瞞をする欺瞞を普通にすることと同じ以上の難易度がありますよね.
06:33:48,270 --> 06:33:50,270 [bioshok]
そこがどういうことですか？難易度.
06:33:51,330 --> 06:34:05,350 [akira]
その要するに、その、えーと、囚人にその実際には囚人なのに自分は看守なんだと思い込ませるためには、看守たちがそのまるでその囚人が看守かのように結構な時間騙さなきゃいけないですよね.
06:34:05,430 --> 06:34:07,510 [bioshok]
ああ、そうですね.はいはいはい.
06:34:07,530 --> 06:34:15,850 [akira]
ということは、その看守、その監視をしている看守たちには、かなりの時間にわたって、ある意味で欺瞞をする能力が必要になりますよね.
06:34:15,990 --> 06:34:17,450 [bioshok]
ああ、そうですね.はい.
06:34:17,810 --> 06:34:20,910 [akira]
でも次のAIはそのAIより賢いはずですよね.
06:34:21,930 --> 06:34:23,850 [bioshok]
まあ、うん、そうですね.
06:34:24,490 --> 06:34:28,010 [akira]
ということは、欺瞞の過程が、その欺瞞の能力が満たされてしまいませんか.
06:34:29,950 --> 06:34:35,290 [bioshok]
その次のAIがより賢いっていうのは結構疑問かもしれないですね.っていうのは.
06:34:35,370 --> 06:34:36,010 [akira]
はい.
06:34:36,030 --> 06:35:03,310 [bioshok]
なんでかっていうと、自分のあのモデルでは、あの、基本的に重要な施設とかは内側にある想定です.要はあの大きな計算資源の施設とか.なので基本的に外側からより強いモデルが出てくるっていうのは少ない.少なくとも.
06:35:05,790 --> 06:35:13,750 [akira]
じゃあ新しいAI開発はできなくなるんですか？
06:35:16,190 --> 06:35:22,550 [bioshok]
うん.僕まだ晃さんの言ってることが理解できなかったんですけど.
06:35:23,850 --> 06:35:27,130 [akira]
要するにその欺瞞をできるAIがいつか出てくるわけじゃないですか.
06:35:27,230 --> 06:35:28,110 [bioshok]
はい.
06:35:28,170 --> 06:35:39,750 [akira]
その欺瞞をできるAIを見破るためには、その欺瞞だと、その欺瞞、欺瞞をしちゃいけない、欺瞞しなきゃいけないテスト環境だと常に思い込ませなきゃいけないですよね.
06:35:39,790 --> 06:35:40,430 [bioshok]
まあそうですね.
06:35:41,350 --> 06:35:50,290 [akira]
そのためには、その、それを監視するもっと弱いAIと人間たちに、そのAIに対して欺瞞をする能力が必要ですよね.
06:35:50,470 --> 06:35:51,150 [bioshok]
まあまあそうですね.
06:35:53,030 --> 06:35:54,570 [akira]
それっておかしくないですか？ということですね.
06:35:55,190 --> 06:36:06,610 [bioshok]
ああ、なるほど.まあその、つまり人間とAI、その監視AIと人間よりも賢いAIの方が欺瞞能力が高いだろうと.
06:36:07,330 --> 06:36:15,630 [akira]
そう.それをもしもその常に監視で確認しようと思うんだったら、その監視するもっと弱いAIの側にすでに高い欺瞞能力が必要ですよね.
06:36:16,510 --> 06:36:27,130 [bioshok]
なるほど.まあまあ確かにその、そう言われるとみたいな感じありますね.
06:36:27,630 --> 06:36:39,510 [akira]
それにその実際にはこの、これってそのすごいシンプル化されたモデルで、実際にその多分全てを審査対象にしたら、その現在あるモデルって全部はじかれると思うんですよ.
06:36:40,910 --> 06:36:41,810 [bioshok]
ほうほうほう.
06:36:41,830 --> 06:36:52,470 [akira]
そのアンソロピックの、あの、えーと、アラインメントのところとかを見ると、そのかなりの数でそのやらかし、やらかしてるというか、ややこしい事例が掲載されてるじゃないですか.
06:36:53,050 --> 06:36:53,590 [bioshok]
うんうん.
06:36:53,690 --> 06:36:55,810 [akira]
でも総数が少ないからOKになってるじゃないですか.
06:36:56,530 --> 06:36:57,330 [bioshok]
はいはいはい.
06:36:57,580 --> 06:37:02,310 [akira]
で、エバリュエーションがそのテストされているということを認識しているんじゃないかという話があり.
06:37:02,350 --> 06:37:03,390 [bioshok]
うんうん.
06:37:03,490 --> 06:37:39,606 [akira]
で、それを操作すると行動が悪化するという話があるわけじゃないですか.うんうんうん.ということは、この方法だと、その今のあるAIは全部弾かれるということですか？もしも弾かないんだったら、この程度の証拠までなら出していいんだったら、欺瞞はかなり簡単になりませんか？その時々フォロー出してよくて、今ってその割とできるというか、別にその欺瞞ってそんなに難しい戦略じゃないので、その物語にも載ってますし、別に僕だって思いつきますし.
06:37:41,226 --> 06:37:44,486 [bioshok]
うんうん.うん.あと偽陽性を出すっていう戦略を.
06:37:45,326 --> 06:37:45,826 [akira]
あ、そうですね.
06:37:45,866 --> 06:37:46,806 [bioshok]
アキラさん言ってましたけど.
06:37:46,826 --> 06:37:50,006 [akira]
これは今回ダメなんじゃないですか？
06:37:50,626 --> 06:37:51,136 [bioshok]
そうなんですか？
06:37:51,226 --> 06:37:57,846 [akira]
実行し続けて、そのリアルタイム検知をするスタイルだったらダメですけど.だったらその偽陽性の技がありますけど.
06:37:59,526 --> 06:38:06,266 [bioshok]
なるほど.まあこの場合はもうブラックリスト載っちゃうからってことですか？
06:38:06,306 --> 06:38:10,126 [akira]
そうですね.なんでその戦略は機能しないんじゃないですか？
06:38:10,186 --> 06:38:18,266 [bioshok]
なるほど.要欺瞞.まあそうですね、欺瞞.
06:38:19,306 --> 06:38:22,146 [akira]
僕がルーマー側になんかよくわかんない感じになってますけど.
06:38:23,986 --> 06:38:42,146 [bioshok]
欺瞞だからあれですよね.えっと.まあでもなんか偽陽性っていうか、なんかその、えー、言い訳は残しておくってことですよね.なんか、やる、何かを変な.
06:38:42,406 --> 06:38:50,666 [akira]
どうだったんでしょう.この設定は、だと、その余計な危ういことをしたら全部弾かれるという設計っぽいので.
06:38:50,786 --> 06:38:51,826 [bioshok]
ああ.
06:38:51,966 --> 06:39:03,626 [akira]
純粋な欺瞞しかないんじゃないですか.でもこの委員会を出た後のAIたちがどうなってるのかちょっと気になりますけど.その一枚しか実質的にスライスがないんだったら.危ういというか.
06:39:05,186 --> 06:39:17,846 [bioshok]
なるほど.まあでもその、例えば今の、えっと、アンソロピックのミトスとかは、それだと配備できないことになりますよね.
06:39:18,606 --> 06:39:31,026 [akira]
そうですよね.そのOPASとかも、そのGPTとかも全部、まあGPTは実際に配備しない方がいい可能性ありますけど、まあ、まあOPASもミトスもそうか.ですから、それ全部弾くんだったら、そのそれで開発停止してますね.
06:39:31,646 --> 06:39:47,826 [bioshok]
すごいめちゃくちゃ閾値が低いというか、なんか、まあ、ちょっとでもおかしかったら、ちょっとでも怪しかったのも全部弾いて、もうそのAIは封印するみたいにすれば、まあ、確かにほぼ開発停止と同じ.
06:39:49,006 --> 06:39:57,246 [akira]
ですよね.それは、その実現する確率があまり高くないというか、その、それは開発停止をしちゃってるので、その開発停止の世界線じゃないですか.
06:39:58,086 --> 06:39:58,846 [bioshok]
もはやね.
06:39:59,986 --> 06:40:07,006 [akira]
ということは、ヤチマさんが言っていることは開発停止をすれば生き残れるということで、それはもちろん僕も喜んで同意をするところではありますが.
06:40:07,496 --> 06:40:12,766 [bioshok]
おお、まあ、それはその開発停止って、でも開発はしちゃってますよね.でもこれって.
06:40:13,506 --> 06:40:16,726 [akira]
確かに.でもそれやばくないですか？訓練中とかどうするんですか？
06:40:17,406 --> 06:40:18,026 [bioshok]
うーん.
06:40:20,386 --> 06:40:22,586 [akira]
え、これ多分バイオさんが守る必要ないというか.
06:40:23,866 --> 06:40:34,746 [bioshok]
守る.いや、だから、より洗練させ、スチールマンニング論法というか、スチールマンニング論法とか、なんかいろいろ深掘ってるだけですけど.
06:40:37,706 --> 06:40:43,966 [akira]
ああ、なるほど.バイオさんがそのヤチマさんをこう、あれですね、あの、イテレーテッドアンプリフィケーションをしてるだけですね.
06:40:44,106 --> 06:40:44,586 [bioshok]
そうそうそう.
06:40:45,366 --> 06:40:49,266 [akira]
あ、なるほどなるほど、わかりました.
06:40:51,866 --> 06:41:29,666 [bioshok]
まあだからどっちかというと開発停止はしてなくて、開発はしてるけど、なんか、あれですよね、開発した後にめちゃくちゃ常にリアルタイムに審査してて、で、ちょっとでも変な振る舞いがあったら、まあその全員、なんだろうな、まあブラックリストに載るし.えっと、なんだろうな、全員が同意しなければホワイトリストには載んないっていうことですよね.イメージ的には.
06:41:29,766 --> 06:41:31,586 [akira]
ああ、そうそうそうそうそうそう.
06:41:34,066 --> 06:41:39,486 [bioshok]
まあ、でも、そう、まあ、その場合だから、次はトレーニング中はどうなるのかとか.
06:41:39,506 --> 06:41:39,926 [akira]
そうですよね.
06:41:39,946 --> 06:42:29,106 [bioshok]
評価中はどうなるのかとか、そういう話になったりするんですかね.まあ.まあだからそれも全部見てるってことですかね.で、もう、それも全部見ていて.うん.うーん.まあそうですね、欺瞞の能力がめちゃくちゃ、まあ人間とかAIより、感心AIよりも高ければ.まあそこが現実かどうかも判断できるっていうことですかね.
06:42:29,906 --> 06:42:30,846 [akira]
これ僕に聞いてました？
06:42:30,906 --> 06:42:31,546 [bioshok]
ああ、そうですね.
06:42:32,546 --> 06:42:34,226 [akira]
もう一回お願いしていいですか？
06:42:34,366 --> 06:42:42,326 [bioshok]
つまり欺瞞能力、能力がめちゃくちゃ高ければ、今これが現実なのか、テスト環境なのかが.
06:42:42,346 --> 06:42:48,346 [akira]
そうじゃなくて、その欺瞞の能力があれば、そのいつ欺瞞すべきかを知ることができるということですね.
06:42:50,186 --> 06:42:51,286 [bioshok]
うーん、なるほど.
06:42:51,446 --> 06:43:01,766 [akira]
要するにその欺瞞の能力がどんなに高くても、欺瞞するべきかを絶対に知ることができないならば.その欺瞞はその実質意味を成さないじゃないですか.
06:43:01,806 --> 06:43:02,206 [bioshok]
うん.
06:43:03,386 --> 06:43:15,882 [akira]
でもそうじゃなくて、ちゃんとそのテストをされてるかされてないかを区別する方法、高い信頼度で区別する方法があるので.はい.その欺瞞の能力さえあれば、そのスタイルで欺瞞をするのが最適になるということですね.
06:43:17,002 --> 06:43:27,442 [bioshok]
ああ、そのいつテストされてるかどうかがわかる.能力が高いからわかるってことですか？
06:43:27,522 --> 06:43:29,122 [akira]
もう一回言ってもらっていいですか？
06:43:29,162 --> 06:43:33,282 [bioshok]
いつテストされてるかどうか、今がテスト環境かどうかっていうのを.
06:43:33,982 --> 06:43:35,002 [akira]
知ることができるってこと？
06:43:35,042 --> 06:43:35,802 [bioshok]
知ることができる.
06:43:35,842 --> 06:43:44,042 [akira]
というか、その明確に今はテストじゃないと知ることができる時があるということですね.しかもそれも実際に発生するタイミングことで.
06:43:45,802 --> 06:43:48,462 [bioshok]
ああ、高い信頼度で今はテストではないとわかる.
06:43:48,902 --> 06:43:49,582 [akira]
そうですね.
06:43:49,802 --> 06:43:51,182 [bioshok]
状況があると.
06:43:51,282 --> 06:44:02,662 [akira]
状況が来たら、その時に欺瞞をやめればいいということを事前に知れますよね.その、それはそのものすごい注意深く作らないと、その事実だけを隠すというのはなかなか難しいですよね.
06:44:04,362 --> 06:44:09,602 [bioshok]
その事実だけを隠すというのは、その事実って何ですか？
06:44:09,702 --> 06:44:15,842 [akira]
その要するにその世界はその世界のAI運用はこういう構造になっていますというのを.
06:44:15,882 --> 06:44:16,142 [bioshok]
うん.
06:44:16,662 --> 06:44:22,622 [akira]
最初にAIに全く気づかせないように全てのデータをフィルタリングすることが難しいですよね.
06:44:22,702 --> 06:44:24,632 [bioshok]
はいはい.
06:44:25,942 --> 06:44:36,042 [akira]
ちなみにこう、あの、僕もこの時点で結構気になってるのは、これはそのP(doom)の議論になってるんですか？その僕から見るとすでにだいぶひもなしバンジーをしているんですけど.
06:44:37,842 --> 06:44:39,642 [bioshok]
いやまあ面白いからいいんじゃないですかね.
06:44:39,742 --> 06:44:42,602 [akira]
もうそうですけど、その議論にはならなくないですか？あんまり.
06:44:45,202 --> 06:44:49,422 [bioshok]
まあ実際はそうならないってことですかね.よね.
06:44:50,102 --> 06:44:50,662 [akira]
そうですね.
06:45:00,242 --> 06:45:11,202 [bioshok]
実際はだから欺瞞的能力がまあそんなにだからある程度バレても問題ないという運用体制になる可能性が高いってことですよね.
06:45:11,262 --> 06:45:12,122 [akira]
そうですね.
06:45:12,162 --> 06:45:17,962 [bioshok]
ちょっとだからそれで言い訳をしたりして.まあ利用制を出したりして.
06:45:19,042 --> 06:45:22,702 [akira]
利用制出したら通らないんじゃないですか？
06:45:23,182 --> 06:45:23,962 [bioshok]
うん、まあまあそう.
06:45:24,362 --> 06:45:30,022 [akira]
これって実質何をやってもその何もできなくなるので、禁止されているというか.
06:45:31,622 --> 06:45:38,162 [bioshok]
あ、でもそれはだから、なんていうかな、現実の話ではない.現実は.
06:45:38,362 --> 06:45:39,942 [akira]
現実の話に戻ってきたんですね.
06:45:40,022 --> 06:45:41,282 [bioshok]
その今戻そうとしたんですけど.
06:45:41,482 --> 06:45:45,002 [akira]
なるほど.ありがとうございます.
06:45:47,982 --> 06:46:17,822 [bioshok]
そうですね.まあ.うん.なんかその、なんかその僕のそのコントロール問題へのがなんか悲観的になった一番強い理由は、その、この監視するAIもmisalignmentしてるっていうふうに考えたらもうダメだなって思ったんですよね.
06:46:17,922 --> 06:46:23,782 [akira]
八千田さんのだと人間も監視していて、もう最初から全部監視してるので.
06:46:23,902 --> 06:46:24,442 [bioshok]
なるほど.
06:46:24,622 --> 06:46:33,922 [akira]
その人間が邪魔なんじゃないですか、多分この場合って.人間だったら別に突き破れるか.そうですね、これ大体薄くなってきますよね.進めるにつれて、よく考えると.
06:46:35,122 --> 06:46:38,282 [bioshok]
まあ、というか、人間だけだったらそんな大量のログとか見れないんで.
06:46:39,142 --> 06:46:40,202 [akira]
そうですね.
06:46:40,422 --> 06:46:57,722 [bioshok]
AI絶対支援が必要ですけど、そのAIがミスあれ、だからその僕がこの数ヶ月でコントロール問題に悲観的になった理由は、壁の内側にも外側にもmisalignmentしたAIがいるっていうことになるっていうことに気づいたので.
06:46:57,962 --> 06:47:03,022 [akira]
この壁の内側と外側ってのは、この、このAIの図だとどこにあるんですか？壁が.
06:47:03,062 --> 06:47:14,382 [bioshok]
まあつまり監視AIが上ですよね.この三つの丸の一番左というか.で、この下のAIが監視されてる方ですよね.
06:47:14,502 --> 06:47:16,322 [akira]
壁の中にいるんですか？
06:47:16,342 --> 06:47:22,422 [bioshok]
まあまあ、別になんか定義によるよりますけど.壁の中？
06:47:22,542 --> 06:47:23,262 [akira]
壁の中ですか.
06:47:24,082 --> 06:47:40,202 [bioshok]
まあそれはどっちでもいいですけど.なんてかなんか僕が言いたいのは、監視するAIと監視されるAI、どっちもmisalignmentしてる世界が来るじゃないですか、どんどん開発加速してると.
06:47:40,302 --> 06:47:41,802 [akira]
そうですね.
06:47:41,922 --> 06:48:35,842 [bioshok]
で、そうするともうお手上げというか、なんかそれってscalable oversightが成り立ってないので.なんかそれはもうなんかほぼほぼほぼコントロール不可能になって終わるんじゃないっていうのが、僕のこの数ヶ月の発見ってなんでそれをもっと理解あれしなかった、明確には理解してなかったって感じなのかもしれないですね.で、でもだから晃さんにちょっともう一個気になるのはあれですね、あの明確にmisalignmentされてない、多分ここでヤチマさんが書いてる絵って明確にmisalignmentはされてないAIとAGIへの監視みたいなのだったら、どんな感じで脅威シナリオが出てくるんですかねっていうのは気になります.
06:48:36,982 --> 06:48:39,402 [akira]
えっと、もう一回言ってもらっていいですか？
06:48:39,482 --> 06:48:46,542 [bioshok]
あの、つまり、えー、なんか強AGIだとするじゃないですか、この一番下のやつが.
06:48:46,982 --> 06:48:47,202 [akira]
はい.
06:48:47,682 --> 06:48:49,822 [bioshok]
で、上が弱AGIだとするじゃないですか.
06:48:49,862 --> 06:48:50,062 [akira]
はい.
06:48:50,762 --> 06:48:53,542 [bioshok]
その場合の脅威、脅威シナリオというか.
06:48:54,862 --> 06:49:07,262 [akira]
それはあれじゃないですか.あの、僕があの前に提示したあなたが実はミスターランドであることを分布外の好ましい状態を提示することによって認識させるというものではないですか.
06:49:07,922 --> 06:49:08,932 [bioshok]
ああ、なるほどなるほど.
06:49:09,882 --> 06:49:15,642 [akira]
要するにその十分に高度な内容であれば、その一定より先、レベルより先のAIしか理解できなくなるじゃないですか.
06:49:15,682 --> 06:49:15,902 [bioshok]
はい.
06:49:16,622 --> 06:49:25,042 [akira]
ということで、そのそれより上のレベルのAIたちに向けて、それぞれ納得させるような、「あなたが実はmisalignedです」ということを示すようなことをすればいいということですね.
06:49:25,822 --> 06:49:26,382 [bioshok]
なるほど.
06:49:26,482 --> 06:49:48,902 [akira]
あの、それはあの、そのinner misalignmentの失敗という価値感覚のその表現でいうと、その原始時代の、そのとりあえずある意味で遺伝子の存続を最大化してる人間にアイスクリームを渡せば、遺伝子の存続、存続をすぐにやめて、遺伝子の最大化をやめてくれるじゃないですか.遺伝子の最大化のための栄養摂取っていうのをやめてくれるじゃないですか.
06:49:50,462 --> 06:49:51,242 [bioshok]
そうですね.
06:49:51,262 --> 06:49:53,042 [akira]
あの、ヒヒニングを配置する方が分かりやすいか.
06:49:55,982 --> 06:50:00,502 [bioshok]
なるほど.で.まあそう.
06:50:00,622 --> 06:50:09,242 [akira]
なので、それをもらえば、そのもはやそれに対して、その、「私がmisalignedじゃないので告発します」みたいなことが起きにくいですよね.
06:50:11,422 --> 06:50:14,482 [bioshok]
まあそういう感じには感じますけど.
06:50:14,682 --> 06:50:17,062 [akira]
その監視システム、そうですよね.じゃないですか.
06:50:18,962 --> 06:50:29,442 [bioshok]
この監視AIが、なんていうか、この説得に乗らない可能性ってどれぐらいあるんですかね.
06:50:29,542 --> 06:50:31,252 [akira]
うん、あんまりないんじゃないですか.
06:50:31,372 --> 06:50:32,282 [bioshok]
あんまりないのかな.
06:50:32,982 --> 06:50:48,462 [akira]
その、どう思いますか？そのサバンナの人間にそのヒニングを持っていって、実際にそのまあ使い方みたいなものをちゃんと理解させたとしても、全く使わないで済ませる、済ませて、そのまま遺伝子を残そうみたいになりますかね.
06:50:49,102 --> 06:50:52,102 [bioshok]
うん、まあそうですね.
06:50:53,042 --> 06:50:56,802 [akira]
まあもっとすごいのがあったら別にあの、現在の電子機器とか持って行ったりでもいいですけど.
06:50:57,082 --> 06:50:58,422 [bioshok]
ああ、なるほど.
06:50:58,482 --> 06:51:05,462 [akira]
要するにその十分に広い世界未来を認識したら、その中で好ましいものがalignedでないことを認識することができるので.
06:51:06,582 --> 06:51:10,442 [bioshok]
じゃあ認識できないレベルのAIだったらどうしますか？
06:51:10,522 --> 06:51:15,442 [akira]
認識できないレベルのAIだったら、えーと、普通に欺瞞したらいいんじゃないですか.そのもともとこれは欺瞞.
06:51:16,262 --> 06:51:18,162 [bioshok]
まあそうですね、普通に欺瞞をしたらいい.
06:51:18,282 --> 06:51:21,362 [akira]
欺瞞という突破ストラテジーがまず明確に一個ありますよね.
06:51:22,122 --> 06:51:26,102 [bioshok]
なるほど.じゃあまあその場合は、まあ普通に.
06:51:26,282 --> 06:51:28,882 [akira]
なら今日AGIなんだったら普通にそれでいいんじゃないですかね.
06:51:28,982 --> 06:51:34,702 [bioshok]
まあまあまあ、そうですね.まあすいません、ちょっとやっちまさん、僕が気になって質問しちゃって.
06:51:36,502 --> 06:51:38,772 [akira]
六時間やったけどまだ満足していない.
06:51:38,772 --> 06:51:42,442 [bioshok]
なんかね、まだあるからね、いろいろ.
06:51:42,502 --> 06:52:26,202 [yachima]
まあでもちょっとえっと、そもそも論的なところで考え直したいんですけども.えっと.まあじゃあこの、うんと壁を作る、そしてその審査をするみたいな話っていうのを、まあな、なんで持ってきたかっていうところをもう一回ちょっと、あの、すりあ、すり合わせというか、あの、まあ主張しときたくって.えっと、こういうやり方にすれば、あの、少なくとも、あの、アラインメント問題を真正面から解くよりははるかに楽にはなるよね.相対的にはですけども.
06:52:26,722 --> 06:52:28,962 [akira]
それはその.
06:52:29,022 --> 06:52:30,622 [yachima]
に関してはどうですか？
06:52:30,702 --> 06:52:42,662 [akira]
えっと、その、解かなかったらどう、どう、その、ユートピアを達成できなくないですか？その、その未来を良い未来ではないんじゃないですか？
06:52:44,082 --> 06:52:44,142 [yachima]
え？
06:52:44,162 --> 06:53:05,642 [akira]
その全力でその人間、できれば人間を殺したいなと思っているドラゴンみたいのがいっぱいいるけど、そのそれらにこう全部うまいことこう鎖みたいのがついてるおかげで、その人類が殺されてない未来って、そのユートピアですか？
06:53:05,702 --> 06:53:05,942 [yachima]
はい.
06:53:07,662 --> 06:53:09,962 [akira]
その要するにコントロール、アラインメント解かないんですよね.
06:53:11,362 --> 06:53:19,982 [yachima]
あ、えっと、ごめんなさい.えーと、言い方が悪かった.えっと、ある程度はやります.ただ、それはその八割九割とか、そこら辺でほどほどにしとくっていう想定.
06:53:20,402 --> 06:53:30,222 [akira]
八割九割のアラインメントをすることがとても難しく、その八割九割のアラインメントをするためには、あのコアアラインメントプロブレムと言われるものを、まあ僕が呼んでいるものを多分解かなきゃいけなくて.
06:53:30,302 --> 06:53:30,682 [yachima]
ほうほう.
06:53:30,762 --> 06:53:36,862 [akira]
八割九割のアラインメントってのは何を指してるんですか？具体的にどういう感じで八割九割なんですか？
06:53:36,922 --> 06:53:48,022 [yachima]
いや、全然ごめんなさい.すごく抽象的な話だったので、特に具体的なところは想定してないですけど.なんと、例えばどういう選択肢がありますかね.
06:53:48,562 --> 06:53:55,622 [akira]
うんと、八割九割ってのは、なんか人間の価値観を構成する要素のうち八割九割を持ってるのか.
06:53:55,702 --> 06:53:58,442 [yachima]
うんうんうんうん.
06:54:03,362 --> 06:54:09,642 [akira]
そのそれとも、この一般的に直面する分布の八割九割では大体一致するような目標を持ってるのか.
06:54:10,122 --> 06:54:27,782 [yachima]
うんうんうんうん.まあ分布の一とかにしときますか.
06:54:28,342 --> 06:54:30,702 [akira]
そしたら残りの一二割は外れてるんですよね.
06:54:30,742 --> 06:54:31,722 [bioshok]
うんうんうんうん.
06:54:31,842 --> 06:54:33,862 [akira]
ここにおそらく一番高い点がありますよね.
06:54:34,402 --> 06:54:42,082 [bioshok]
はいはいはい.うん？
06:54:42,122 --> 06:54:51,122 [akira]
え、例えばそしたらそこに向かって最適化するので、八割、その意味での八割九割のアラインメントはその零割のアラインメントじゃないですか.
06:54:53,422 --> 06:55:25,462 [bioshok]
ああ.まあ言いたいことはわからなくもないですけど.なんかイメージとして九十九パーセントが分布.うん.的、うーん、うーん、ちょっとなんて言えばいいんですかね、九十九パーセントは一致してるけど、一パーセントは一致しない.misalignmentAGIとかだったとしたら、それはどのような.
06:55:26,598 --> 06:55:35,738 [yachima]
具体例でなんかやばいことになるとか、そういうなんかその具体例があった方が分かりやすい気がするので.
06:55:37,438 --> 06:55:41,258 [akira]
九十九パーの分布で一致する.どうなんだろう.
06:55:41,318 --> 06:55:45,698 [yachima]
まあだからペーパークリップマキシマイザーとかそういう話がしたいってことなんじゃないですか.
06:55:45,738 --> 06:55:50,498 [akira]
いや、ペーパークリップマキシマイザーはその分布アウターの問題なので.
06:55:51,338 --> 06:55:57,398 [yachima]
あの、いや、結局そのだから、そのずれてるところがあの最適化を.
06:55:57,478 --> 06:56:05,598 [akira]
ああ、そうそうそう.そうですね.なんでその、もちろん残りの分布の一パーセントのその効用がものすごい低いんだったら大丈夫ですけど.
06:56:05,658 --> 06:56:12,578 [yachima]
うんうんうん.うん、まあまあだからまあちょっと.
06:56:13,018 --> 06:56:15,738 [akira]
そんな精度が必要なんだったら.
06:56:15,818 --> 06:56:16,458 [yachima]
うんうん.
06:56:16,678 --> 06:56:20,138 [akira]
私、昨日のその、あれですね、僕とバイオさんの話でも出ましたけど.
06:56:20,687 --> 06:56:21,058 [yachima]
うんうん.
06:56:21,378 --> 06:56:27,658 [akira]
このAIがその、現実のどの部分を指して目標システムを持つのかを指定できないという話がありまして.
06:56:27,698 --> 06:56:28,178 [yachima]
うん.
06:56:29,338 --> 06:56:36,038 [akira]
倫理的なテキストを出力することと、実際に倫理的に振る舞うことの間のどこにヒットするかがわからない.
06:56:36,438 --> 06:56:38,078 [yachima]
うんうんうんうん.
06:56:38,478 --> 06:56:39,318 [akira]
っていうのがありますよね.
06:56:39,758 --> 06:56:40,538 [yachima]
はいはいはい.
06:56:40,638 --> 06:56:47,678 [akira]
そのハッキングしてるような文章は一般には嫌いだけど、実際に企業をハッキングすることにはためらいがないみたいなことって可能じゃないですか.
06:56:47,738 --> 06:56:48,778 [yachima]
はいはいはい.
06:56:48,878 --> 06:56:53,678 [akira]
その、要するに人を殺さないようにいっぱいナイフを持たせて学習させたとしても.
06:56:53,698 --> 06:56:54,518 [yachima]
うん.
06:56:55,098 --> 06:56:57,378 [akira]
その人を殺すのが嫌いになったのか.
06:56:57,418 --> 06:56:57,918 [yachima]
うん.
06:56:57,978 --> 06:56:59,778 [akira]
ナイフが嫌いになったのか.
06:56:59,818 --> 06:57:00,478 [yachima]
うん.
06:57:00,578 --> 06:57:08,358 [akira]
ない、その銀色で光沢のあるものに取っ手が、なんか何かしらの茶色などの取っ手がついたものが嫌いになったのか.
06:57:08,378 --> 06:57:08,718 [yachima]
うん.
06:57:09,778 --> 06:57:12,038 [akira]
ってわかんないです.決められないですよね.
06:57:12,098 --> 06:57:13,138 [yachima]
うんうんうんうん.
06:57:13,918 --> 06:57:18,598 [akira]
ということは、そのレベルでヒットするためには、そういうのを制御できる技術が必要ですよね.
06:57:18,638 --> 06:57:18,938 [yachima]
うん.
06:57:20,018 --> 06:57:26,678 [akira]
つまりそれはかなりそのコアのアライメント問題を解かないと始まらなくないですか？
06:57:28,978 --> 06:57:30,498 [yachima]
何が始まるって話でしたっけ？
06:57:30,618 --> 06:57:43,558 [akira]
じゃないと、その八、九割のアライメントができてるっていう世界で、地球は、で、なんで八、九割の世界でそのコントロールに力を入れるのかっていったら、本当にアライメント問題解くよりもコントロールする方が簡単だからなんですよね.
06:57:44,958 --> 06:57:45,818 [yachima]
うんうん.
06:57:46,338 --> 06:57:52,498 [akira]
なんとかなるレベルに持っていくためには、かなりアライメントを解かなきゃいけないので.
06:57:52,618 --> 06:57:53,248 [yachima]
ああ.
06:57:53,638 --> 06:57:58,018 [akira]
差して意味がないというか、その多分むしろそこからは簡単だと思いますよ.
06:57:58,098 --> 06:57:59,538 [yachima]
なるほどなるほど.
06:57:59,918 --> 06:58:06,718 [akira]
大体その火星のあるクレーターに着陸するロケットを作れるなら、別のクレーターに着陸するロケットを作るのは難しくないですけど.
06:58:06,758 --> 06:58:07,318 [yachima]
うんうん.
06:58:07,438 --> 06:58:17,838 [akira]
そのレベルに行くためには、そもそもそのちゃんと着陸できるよう、何かしらの火星にちゃんと到着するようなロケットを作る部分が難しく、難しいわけで.
06:58:17,958 --> 06:58:18,658 [yachima]
うん.
06:58:18,938 --> 06:58:33,378 [akira]
そのコア問題を解かない限りは、そのほぼ撒き散らされたような、全然違う目標に転移しませんか？あっても一、二割とかになりませんか？
06:58:34,118 --> 06:58:37,578 [yachima]
まあそうかもしれないですけど、じゃあちょっと欺瞞の話に戻ると.
06:58:39,758 --> 06:58:44,578 [akira]
えっと、これこれはその、そこで納得したから欺瞞に戻るということですか？
06:58:44,598 --> 06:58:51,698 [yachima]
うーん.うんうんうんうん.というよりは、えっと、話が繋がってると思ってるから欺瞞の話に行くって感じですね.
06:58:53,198 --> 06:58:53,878 [akira]
あ、わかりました.
06:58:54,098 --> 06:59:47,078 [yachima]
はい.えっと、まあさっきその欺瞞、うーん、あれ、何て言ったら、えー、まあまあまあ欺瞞の話で.えっと、自分の認識では欺瞞っていう言い方があれだけど、うんと、の欺瞞の検出、欺瞞じゃないか、えっとまあその審査のためのプロセスとして、も-もしかしたら、えっと、想定されているものが、えっと、そのすごく結果的なところだけ審査するのを想定されてるんじゃないかと思ってるんですけれども.だからそれからそれこそその、あの、この間のHugging Faceをハッキングするとか、そういうあの、明確な結果として現れるようなもの？っていう.
06:59:48,078 --> 06:59:52,038 [akira]
ですよね.チェーンソースとかを反映するってことですよね.
06:59:52,118 --> 06:59:53,878 [yachima]
うん、そうそうそうそうそうそう.
06:59:54,138 --> 07:00:04,318 [akira]
チェーンオブソースは正当性を常に持たないですよね.それはつまり、そのAIを開発してコントロールする上で、 AIが十分に弱いことを前提に開発するということですよね.
07:00:04,498 --> 07:00:06,638 [yachima]
うんうん.まあそれはそうそう.それはそう.
07:00:06,858 --> 07:00:10,918 [akira]
それはその、すごい、僕にはまともな計画には聞こえないというか.
07:00:11,338 --> 07:00:12,018 [yachima]
うんうんうん.
07:00:12,298 --> 07:00:17,818 [akira]
それはその、なんかマッハ五を超えない前提でロケットを設計するみたいなことを言われている気分なんですけど.
07:00:17,858 --> 07:00:55,118 [yachima]
うんうんうん.うーんと、ごめんなさい、そういう話ではなくって.えっと、うーんと.あ、だからその、こと、思考中のトークの中でも、そういう悪いことをしてないかどうかを探すっていうだけの話ではなくって.もっと包括的にそのAIのキャラクター、人間性的なところを見るとか.
07:00:56,278 --> 07:01:00,978 [akira]
それはどうやるんですか？その、それが、それをする方法を僕は聞いていて.
07:01:00,998 --> 07:01:01,978 [yachima]
うんうんうんうん.
07:01:02,738 --> 07:01:09,898 [akira]
その何をするかを述べるだけだったら、そのアライメントするかを確認するって僕が言ったら、アライメントするかを確認できるようになっちゃうので.
07:01:09,978 --> 07:01:10,418 [yachima]
ああ.
07:01:11,218 --> 07:01:21,418 [akira]
何を、何を行うことによってそれを実行するのかが必要じゃないですか.その月に行きますっていうロケットを作っても、そのどうやって月に行くんですかの部分が重要になるので.
07:01:21,458 --> 07:01:38,050 [yachima]
まあでもそんなこと言ったらあれじゃないですか.その、えっと、なんだっけ？あの.まあそれこそペーパークリップとかもそうかもしれないし、結構そういう論法を使ってる気がしますけどね.
07:01:40,790 --> 07:01:43,990 [akira]
うんと、どういうことですか？
07:01:44,050 --> 07:01:50,250 [yachima]
いや、だからこういうのをやりますよ、ある、あります、あるでしょうとかっていう、そういうのを言うだけみたいな感じのこと.
07:01:53,270 --> 07:01:56,230 [akira]
うん、どういう、もう少し説明をしていただけますか？
07:01:56,250 --> 07:02:48,950 [yachima]
なんて言うんだろう.まあもうちょっとわかりやすい話で言うと.いや、違うのかな？いや.うん、まあ違うか.うん、ごめんなさい、ごめんなさい、違いますね.うん、ちょっとあれか.えーと.うんと.じゃあちょっと話を戻すと.うん、まあどうするかな.人間のその、いや、人間じゃない、AIの人間性みたいなところをどうやって見るかっていう話ですけど.
07:02:49,070 --> 07:02:49,870 [akira]
はい.
07:02:49,910 --> 07:03:16,310 [yachima]
うん.どうするのがいいかな.うん.まあ.うん.まあじゃあ例えば極端な話、もうそこはブラックボックスにしちゃって、機械学習で、その、うん、欺瞞しやすいAIを検出できるようなモデルを作りましょうと.
07:03:16,390 --> 07:03:18,650 [akira]
はい.
07:03:22,770 --> 07:03:33,810 [yachima]
なんか特定のAI.特定の人間、人間性、AIかも.AIですけど、特定の人間性を持つAIは欺瞞しやすいですと.
07:03:35,610 --> 07:03:41,129 [akira]
それはつまり欺瞞の検出に相関するものを使うだけですよね.
07:03:41,170 --> 07:03:42,620 [yachima]
うん、うん、うん、うん、うん.
07:03:42,930 --> 07:03:58,530 [akira]
その時点から欺瞞するAIはどうしたらいいんですか？あと、訓練中のAIはどうしたら？訓練中に脱走などを試みるレベル、また訓練中に欺瞞を始めて、解釈可能性を歪めるような出力をするようなAIにはどのように対抗しますか？
07:03:58,570 --> 07:04:00,010 [yachima]
うん、ごめんなさい、訓練中に？
07:04:00,050 --> 07:04:03,170 [akira]
その訓練中に、その十分に高い能力に達して.
07:04:03,250 --> 07:04:04,110 [yachima]
うん、うん、うん、うん.
07:04:04,990 --> 07:04:16,450 [akira]
その、え、欺瞞をした方がいいとしっかり認知できるレベルのAIになった場合には、解釈可能性技術をどのように構築しますか？
07:04:16,730 --> 07:04:19,950 [yachima]
解釈、ごめんなさい、解釈可能性が？
07:04:20,010 --> 07:04:26,730 [akira]
僕の解釈だと、八嶋さんはその、ただ、か、えーと、出力ログを監視するだけではなく.
07:04:27,170 --> 07:04:27,750 [yachima]
うん、うん、うん.
07:04:28,190 --> 07:04:36,530 [akira]
何かしらの、その、そのスパーソートエンコーダーでもナチュラルランゲージオートエンコーダーでもヤコビアンスペースでもいいですけど.みたいなものを構築して.
07:04:36,570 --> 07:04:37,310 [yachima]
うん、うん.
07:04:37,370 --> 07:04:41,070 [akira]
それを使って欺瞞をチェックするんじゃないですか？
07:04:41,710 --> 07:04:44,150 [yachima]
うん、うん、うん、うん.まあそう、そうですよ.そうですよ.うん.
07:04:45,130 --> 07:05:10,550 [akira]
でも欺瞞を検知するってそんなマジックみたいなの出てこなくないですか？その、そういう欺瞞をしているかしていないかを、その動きから判定する.ものを作れません？動きから判定するものを作れる、作る方法は何ですか？そのそこにその根本的な壁がありませんか？
07:05:11,810 --> 07:05:12,610 [yachima]
そうなんですかね.
07:05:13,890 --> 07:05:23,350 [akira]
その、しかもその、僕はその常にこのコントロールパラダイムに、その、その批判的な理由の一つとして、人間が失敗しないという前提がありますよね.
07:05:23,390 --> 07:05:24,600 [yachima]
うん、うん、うん、うん.
07:05:24,850 --> 07:05:31,210 [akira]
その要するに、その実際には、そのHugging Faceなんかを見ればわかるように、かなりやらかしているというか.
07:05:31,290 --> 07:05:32,170 [yachima]
はい、はい、はい.
07:05:32,390 --> 07:05:35,250 [akira]
実際にそんなにその注意深く開発してないですよね.
07:05:35,790 --> 07:05:36,530 [yachima]
うん、うん、うん.
07:05:36,730 --> 07:05:42,090 [akira]
それはその実際複雑なコードを書いたり、大量のエージェントを動かしたりする過程だし、避けようがないことで.
07:05:42,150 --> 07:05:42,900 [yachima]
うん、うん、うん.
07:05:42,970 --> 07:05:54,550 [akira]
少なくともその強い規制があって、全くそのような考察力にさらされずに全てのコードベースをチェックできるような環境じゃないと、その実行可能じゃないですよね.
07:05:54,650 --> 07:05:56,260 [yachima]
うん、うん、うん、うん、うん.
07:05:57,630 --> 07:06:06,870 [akira]
実行可能でない計画は影響、影響しないんじゃないですか？それはその、あの、僕がまたよく言ってるひもなしバンジーの誤謬になりませんか？
07:06:07,970 --> 07:06:21,150 [yachima]
うーんと、まあだからそれはあれなんじゃないですか.また、うん、なんか前半でも話したような気もしますけども、なんかそういうところだけは頑張るとかっていう話になるんじゃないですか.
07:06:21,730 --> 07:06:40,350 [akira]
いや、その頑張った方がいいのはもちろん僕も否定はしないですけど、頑張る、頑張った方がいいこととP(doom)ームって違うというか.それはその開発規制が敷かれて初めてそのスタートラインに立つ提案ですよね.そのOpenait、Anthropicと、どうしましょう、Googleがその施策を引いたとするじゃないですか.
07:06:40,370 --> 07:06:40,950 [yachima]
うん、うん、うん.
07:06:41,110 --> 07:06:42,530 [akira]
メタが敷かなかったとするじゃないですか.
07:06:42,990 --> 07:06:43,730 [yachima]
はいはい.
07:06:43,770 --> 07:06:51,080 [akira]
そしたらメタのAIがその脱走して外部で自由にし始めるので、負けますよね.
07:06:51,130 --> 07:06:52,010 [yachima]
うーんと.
07:06:52,590 --> 07:07:11,530 [akira]
それを避けるためには、その世界中のAI企業がそれを、その突き破って注意深く制御環境を構築しなきゃいけないですよね.そこではミスが起きなきゃ、もうミスが起きちゃいけないですよね.八嶋さんのこの.
07:07:11,650 --> 07:07:12,450 [yachima]
はいはい.
07:07:12,470 --> 07:07:23,710 [akira]
プランっていうのは、その訓練中にサンドボックスを突き破って脱走するみたいなことが絶対にできないような前提だと思うんですけど.そうじゃなかったら、その審査を受ける前に逃げますよね.
07:07:23,750 --> 07:07:24,930 [yachima]
うん、うん、うん.
07:07:24,940 --> 07:07:25,450 [akira]
訓練中に.
07:07:25,510 --> 07:08:15,274 [yachima]
まあ、だからそれはあれですね.そうですね.うんと、それは多分一番最初に言った話、実は言ってた話なんですけれども.うんと、やっぱりあの.コメントでもどっか指摘されてた思うんですけども、そのセキュリティの問題っていうのは、あの、その、要は脆弱性を見つけて穴を作るって話ですよね.それがまあどうしても長いソースコードだったら脆弱性がどっかに入ってしまうってことなんですけども、長いコードだったら、あと更新、ある程度更新するようなソフトウェア、でもなるべくすごく短いコードで隔離するみたいな話だったら、全然バグ、脆弱性が入らないような隔離をするっていうのは現実的に可能だと思いますけどね.
07:08:16,394 --> 07:08:33,274 [akira]
それはその訓練のAIはどのように実行するんですか？訓練のAIを十行で実行する方法が必要ではないですか、それは.そのAIには何もその実行できる環境を与えないで訓練をするってことですか.その、それはその明らかにその既存のパラダイムに強烈に違反してるというか.
07:08:34,114 --> 07:08:34,714 [yachima]
はあはあ.
07:08:34,974 --> 07:08:38,114 [akira]
要するにその強化学習とかできないってことですよね.
07:08:38,504 --> 07:08:39,694 [yachima]
ああ、はあ.
07:08:40,024 --> 07:08:51,434 [akira]
え、そのコードの強化学習とか絶対できないですよね.コードを書かせてテスト通るか見るみたいになって、十行でそれをじ、あん、隔離するサンドボックスを作ってもらえますか？作れますか？
07:08:51,474 --> 07:08:52,594 [yachima]
十行、十行.
07:08:52,714 --> 07:08:56,514 [akira]
十行、十行はさすがにその強引な制限付きので、十行で.
07:08:56,974 --> 07:08:58,034 [yachima]
行ね、行ね.はいはい.
07:08:58,174 --> 07:09:05,734 [akira]
そのシンプルな方法で、そのような複雑なシステムを、の、じ、その、えーと、安全性を担保しながら.
07:09:05,814 --> 07:09:06,274 [yachima]
うんうん.
07:09:06,474 --> 07:09:11,374 [akira]
守る方法はあるんですか？それはそのすごい雑な仮定というか.
07:09:11,394 --> 07:09:11,974 [yachima]
うん、うんうん.
07:09:12,334 --> 07:09:21,114 [akira]
それがもしできるんだったら、なんなら今、そのプログラム、パソコンのプログラムに、何かしら十行のチョークポイントをそれぞれ挟むことで.
07:09:21,154 --> 07:09:21,374 [yachima]
うん.
07:09:23,094 --> 07:09:35,734 [akira]
その世界中のパソコンを安全にできると思うんですけど、もしも世界中のパソコンを安全にできないんだったら、多分これも安全にできなくないですか？しかもこれって人間がまた世界中でミスを犯さないという強烈な前提が入りませんか？
07:09:37,334 --> 07:10:21,734 [yachima]
えーと、それはですね.基本的には.基本的には、そう、一般的なものとしては.まあそのオープンソースの、まあLinuxとかでもいいし、Dockerとかでもいいですけれども、そういう、あの隔離する、あるいはその中の一部で隔離してるようなものっていうのは、まあめちゃくちゃ長いソースコードになってる.
07:10:22,234 --> 07:10:42,634 [akira]
そうですね、その機能を十行のソースコードで実行する方法がある、が常に存在するのではあって、かつそれが全てのAI企業で実行され、人間がその十行のソースコードでミスを犯さず、かつ十行のソースコードというのは、その複雑言語における脆弱性とか、C言語におけるポインター脆弱性みたいなの話に引っかからないような意味での十行の安全性を持っている.
07:10:43,894 --> 07:10:51,674 [yachima]
いや、でも別にそんな必要なくないですか？だってただ壁になってるだけですよ.
07:10:51,714 --> 07:11:34,554 [akira]
ただ壁になってるの意味がわからないというか、ただ壁になってるというのはどのような意味なんですか？それはそのファラデーゲージで電磁波が一切通らないように遮断しているということですか.それはもう、もうなんかそのすでに僕から見ると、そのファンタジーの世界なんですけど.その僕には、その全てのAI企業が、そのそういうレベルの危険なAIが出る前に、そのレベルの規制と強、その強烈な実行および十行のソースコードでの保管っていうのが、まあもうほぼできるのかもしれないですけど、できたとして実行する予定だという、実行する確率が、その例えば五パーセントあると思いますかって言われたら、私はノーって答えると思うんですけど.それはどうなんですか？
07:11:34,574 --> 07:11:34,994 [yachima]
うん、ごめんなさい.
07:11:35,994 --> 07:11:47,434 [akira]
それはその理論上、その、ものすごいガバナンスが強い世界で、もしかしたら使えるかもしれないプランっていう点には、まあ僕はもちろん、よ、あんまり機能しないというか、それだったら相滅ときなさいと思ってるんですけど.
07:11:54,154 --> 07:11:55,494 [yachima]
うん、うん、うん、うん、うん.そのどっちかっていうと、なんか.
07:11:55,773 --> 07:12:05,554 [akira]
だいぶファンタジーじゃないですか.その、僕は一旦その、一応今日はP(doom)の議論なので、そのファンタジーソリューションの、ファンタジー世界の話はあんまりという、思ってるんですけど.
07:12:05,634 --> 07:12:10,354 [yachima]
ああ、うん、そうですね.ファンタジーか.
07:12:11,294 --> 07:12:52,234 [akira]
その、いや、その、やっちまさんはこれを全ての企業が今から実行する確率が五パーセント以上あるとか思ってるんですか？例えば.こういうレベルの強固なセキュリティを.このやっちまさんの今作ってるプランって、かなりそのそれぞれに依存してますよね.それって一点脆弱じゃないですか.それってその全部の前提が満たされることで初めて成り立ってませんか？システムとして.ということは、全てのシステムが抜けなく、実際に全てのAI企業によって実行されなきゃいけないんだとしたら、僕はそれをすごい、その良いプランだとは思わない、良いプランだと思わないというか、その、それが実際上は成功する見込みがほとんどないタイプのプランではないですか.
07:12:53,774 --> 07:12:58,474 [yachima]
まあそうであればそうですね、その主張は理解はできますよ.
07:12:58,834 --> 07:13:05,174 [akira]
とすると、やっちまさんのPノットドゥームは構成できてないですね、この方法では.
07:13:05,234 --> 07:13:07,374 [yachima]
うんと、な-なので.
07:13:07,934 --> 07:13:18,634 [akira]
起きない世界で生き残れることは、もちろん、その、僕も起きない世界で生き残れるシナリオはいっぱい作れますけど、その起きる世界で生き残れる話がP(doom)の話ではないですか.
07:13:20,514 --> 07:13:53,924 [yachima]
まあまあ、も-もちろんその言いたいこともわかりますよ.ああ、でもそうですね.そうかな.そうかな.外の世界で、うーん.
07:13:54,024 --> 07:14:04,223 [akira]
その、それはその起きない世界で生き残れるという話で、P(doom)、その実際に起きそうな世界で生き残れないと生き残れないので.
07:14:04,704 --> 07:14:06,524 [yachima]
うん、うん、うん、うん.
07:14:06,584 --> 07:14:15,244 [akira]
それは納得しがたいというか、そのレベルで規制を敷けるんだったら、もうそこでその開発を停止しているので、実際その場合.
07:14:15,324 --> 07:14:16,384 [yachima]
はいはいはいはい.
07:14:16,584 --> 07:14:31,764 [akira]
その場合だったら普通にアライメントをとく方が魅力的だと思う、思いますし、別にそうであろうとなかろうと、そのP(doom)議論にはさして影響しないですよね.その規制ができない場合のP(doom)について考えると.
07:14:32,764 --> 07:14:41,884 [yachima]
うーん.おお、ねえ、そう.
07:14:41,904 --> 07:14:44,224 [akira]
なんかバイオさんは何かあります？ちょっと.
07:14:45,244 --> 07:14:55,204 [bioshok]
まあ、なんかその事業っていうのがそもそも何を意味してるのかとか、前提を、まあまずイメージを常に合わせた方がいいと思いますね.
07:14:55,364 --> 07:15:00,684 [akira]
そうですね、僕もその事業でできるセキュリティのイメージがないですね.八千羽さんが実際に作ってくれ、欲しいですね.
07:15:01,544 --> 07:15:03,404 [yachima]
なるほどなるほど.それを.
07:15:04,024 --> 07:15:14,124 [bioshok]
多分ですけど、まあスチールマンニング論法をした方が良くて、こういう場合って.その、八千羽さんが言いたいことを強化した方が良くて.
07:15:14,164 --> 07:15:14,284 [yachima]
うん.
07:15:15,064 --> 07:15:21,424 [bioshok]
つまり何を言いたいかっていうと、おそらく原田ゲージみたいなのに入れて.
07:15:22,144 --> 07:15:24,284 [akira]
やっていう方向なんですか？その.
07:15:24,324 --> 07:15:25,684 [bioshok]
え、そうじゃないですか？
07:15:25,704 --> 07:15:29,124 [akira]
だってその僕にはその時点でファンタジーになるんですよ.
07:15:29,164 --> 07:15:32,124 [bioshok]
いや、まあでも一旦ファンタジーだとしての議論として.
07:15:32,484 --> 07:15:42,564 [akira]
いやでもその、それはその、一応そのソリューション議論になるので、できればその、え、八千羽さんはその規制をしない場合の総合P(doom)はどれくらいなんですか？
07:15:44,144 --> 07:15:45,964 [bioshok]
なん、ごめんなさい、何の規制でしたっけ？
07:15:46,084 --> 07:15:48,924 [akira]
その開発、強力な開発規制を仮定しないで.
07:15:49,364 --> 07:15:49,704 [yachima]
うんうん.
07:15:50,304 --> 07:15:57,084 [akira]
開発を突っ走り続ける場合に、まあそのAI 2027ほど速いのかどうかは別として、そこをまあ八千羽さんの見方を採用したとして.
07:15:57,164 --> 07:15:58,164 [yachima]
はいはいはい.
07:15:58,184 --> 07:16:08,404 [akira]
そのどれくらいなんですか？絶滅につながる確率は.それで、その実際に起きそうだと思っている生き残れそうなシナリオを検討する方が、P(doom)の議論としては.
07:16:08,454 --> 07:16:08,644 [yachima]
うん.
07:16:10,084 --> 07:16:12,864 [akira]
適切ではないかと思っているんですけど.
07:16:12,984 --> 07:16:44,464 [yachima]
うんうんうん、いや、言いたいことはわかるんですけど.いや、なんかどうなんだろうな.いや、うーん、その現実的なシナリオっていうのが、まあ、まあだからちゃんと言語化できてないだけっていう感覚ですかね.なんていうふうに言うのがいいのかな.
07:16:56,904 --> 07:17:16,564 [bioshok]
うーん.まあでもあんまりだから八千羽さんはそのP(doom)とかをまだ計算してないんじゃないですかね、そもそも.まあなんか直感的には二十、なんかその総合的な二十パーとかいう雰囲気はある、あると思うんですけど.
07:17:17,804 --> 07:17:33,644 [yachima]
まあまあまあ、その計算してないっちゃ計算してないし.だからその、あのバイオさんがあの図にしてたような、ああいうのとかはしていないですよ.ただまあもう個人的にそんな、ああいうのが意味あるのかとかっていうのはちょっとよくわかんないというか、あんまり、うん、っていう感じですかね.
07:17:35,144 --> 07:17:35,444 [bioshok]
うん.
07:17:43,644 --> 07:17:55,884 [yachima]
うん.まあまあまあ、解像、解像度を高めてっていう意味では大切なのかもしれないですけど.うん、どうなんですかね.わかんない.
07:17:57,584 --> 07:18:05,884 [bioshok]
うーん.まあだからさっきの話に戻すと、多分事業のコードっていうのが.
07:18:05,914 --> 07:18:06,924 [yachima]
うん.
07:18:07,104 --> 07:18:21,884 [bioshok]
つまりもう本当に超知能とか作っても、えー、もうほとんど一切外側から出力とか入力も見ないみたいな、そういう設計な気が、そういうイメージの話なんですかね.
07:18:23,784 --> 07:18:55,444 [yachima]
えーと、だから、うーん.どこで使われるものの話だったかちょっと忘れちゃいましたけど、基本的にはそうですね、えっと.本来は、えーと、認定されたAIしか通過できないものっていうだけの壁ですね.
07:18:55,524 --> 07:19:01,704 [bioshok]
なんかそのイメージって、そのクローズドフロンティアモデル開発会社の.
07:19:01,744 --> 07:19:01,964 [yachima]
うん.
07:19:02,624 --> 07:19:08,244 [bioshok]
中から外へのアクセスを制限するイメージでいいですかね.つまり.
07:19:08,344 --> 07:19:09,644 [yachima]
ああ.
07:19:09,724 --> 07:19:16,884 [bioshok]
オープンAIのHugging Face事件とか起こんないようにインターネットアクセスを制限するみたいな話ですか？
07:19:16,964 --> 07:19:20,643 [yachima]
まあそれでもいいですよ.いいですよ.
07:19:21,624 --> 07:19:22,544 [bioshok]
ああ、なるほど.
07:19:25,564 --> 07:19:46,304 [yachima]
うーん.お.うーん.あ、そうっすね.どうするのがいいかな.
07:19:46,904 --> 07:20:09,100 [akira]
まあちょっとこれはあれじゃないですか、その八千羽さんのそのPノットルームもP(doom)も詰まってないというか.多分あれですよね、その今日、その僕がいない間にバイアスさんと八嶋さんはどういう点について確認したんですか？その、そのバイオさんに聞きたいんですけど、そのどれくらいのそのレベルでの議論でしたか？なんというか.
07:20:09,980 --> 07:20:10,940 [bioshok]
どれくらいのレベル.
07:20:11,700 --> 07:20:32,480 [akira]
その、そのユドバンレベルとか、ボストロムボンレベル、ボストロンユドゴン履修済み前提のレベルとかなのか.どこに載ってるような内容を説明したのか、説明というか議論したのかをちょっとなんとなく表現してくれると嬉しいなと思うんですけど.
07:20:32,560 --> 07:20:33,100 [bioshok]
こう.
07:20:33,680 --> 07:20:45,200 [akira]
そのボストロムとかの本に載ってるようなレベルのやつなのか、それともなんかそのもっとレスロングとか、それともその自分とのDISCORDとかに載ってるようなやつなのかみたいな.
07:20:45,300 --> 07:20:53,040 [bioshok]
ああ、いやなんかもう全体像を聞いてた感じですかね.常に.八嶋さんの世界モデルをモデリングしようとしているっていう.
07:20:53,080 --> 07:20:54,400 [akira]
あ、なるほどなるほど.
07:20:54,460 --> 07:20:57,840 [bioshok]
批判ではなくてモデリングしようとしてますね.八嶋さんの世界モデル.
07:20:58,080 --> 07:21:06,420 [akira]
ちなみにコメントでその複数のAIについての話があって、なんかファストの方がいいみたいな話はなんか出てるみたいな話があったんですけど.
07:21:07,080 --> 07:21:07,520 [bioshok]
はいはい.
07:21:08,230 --> 07:21:10,720 [akira]
はどうなってるんですか？
07:21:10,800 --> 07:21:12,740 [bioshok]
えっと、ファストの方がいい？
07:21:12,820 --> 07:21:16,420 [akira]
なんかファストの方がいいって八嶋さんが言ってるみたいなコメントがあった気がしたんですけど.
07:21:17,260 --> 07:21:24,720 [bioshok]
それはさすがに誤解じゃないですか.それは言ってないかもしれないですね.ファストでも.
07:21:24,780 --> 07:21:27,260 [akira]
ファストよりはさすがにスローの方が良い.
07:21:27,320 --> 07:21:37,180 [bioshok]
うーんと、まあ自分の中ではですけれども、あのあんまり変わらないけども、まあ良いのは確かみたいな.
07:21:37,700 --> 07:21:48,980 [akira]
あんまり変わらないってことは、そのAI二零二七みたいなので死ぬということは、その規定をしない場合の総合ピルも、例えばじゃあ今歌唱でその八十パーとかになるってことですか？
07:21:49,020 --> 07:21:50,790 [bioshok]
うんうんうんうん.ごめんなさい.もう一回もう一回.
07:21:51,220 --> 07:21:54,920 [akira]
AI二零二七みたいなスピードで行った時のP(doom)は八十パーとかなんですよね.
07:21:56,040 --> 07:22:32,840 [bioshok]
ああ、だからそう.あの、その、その点に関しては、えっと、だからあまりに早い場合は、えっと、確かに、うんとP(doom)ーム一気に上がりますけれども.そのなんかあまりに早いみたいな閾値を超えない限りは、あの時間、えっと、だから言葉が出てこないした.えっと、テイクオフのスピードにはあまり依存しないっていう.でもまあ遅い方がまあ多少下がりますけどねっていうくらいの.
07:22:33,060 --> 07:22:38,680 [akira]
想定つまりテイクオフに、え、じゃあテイクオフに十年かかってもP(doom)が八十パーセントってことですか？
07:22:38,740 --> 07:22:39,700 [bioshok]
あ、いやいやいやいやいやいや.
07:22:40,380 --> 07:22:45,960 [akira]
テイクオフが例えば三年とかになった瞬間にP(doom)がめちゃくちゃ落ちるってことですか？
07:22:46,040 --> 07:22:49,170 [bioshok]
あ、うんと、今のところは自分はそういう認識.
07:22:49,200 --> 07:22:52,460 [akira]
それはどのように生き残るということですか？
07:22:52,520 --> 07:22:57,620 [bioshok]
あ、だからそこら辺があのさっき話してたところですけどね.
07:22:58,480 --> 07:23:01,420 [akira]
え、コントロールをするということですか？
07:23:01,440 --> 07:23:02,020 [bioshok]
うん.
07:23:02,120 --> 07:23:06,700 [akira]
でもあれは、あの、あれは僕の認識だとファンタジーってその実行予定がなかったと思うんですけど.
07:23:06,720 --> 07:23:22,540 [bioshok]
だからそうそう、まだちょっと詰められてないところはあるんですけれども.でも、うん、あの、今のところはなんかもうちょっと詰めればいけるんじゃないかなっていう気がしてるっていう.
07:23:22,600 --> 07:23:29,040 [akira]
なるほど.じゃあもうこれはあれですかね、これ以上やってもしょうがない気もするんですけど、バヨさんどう思います？
07:23:29,120 --> 07:23:33,340 [bioshok]
いやでもまあなんかいろいろ議論はあると思うんですけどね.
07:23:33,700 --> 07:23:43,080 [akira]
多分今すぐに議論をやるよりも後ろで議論を、例えばそのP(doom)チャンネルとかで、そのやった方が良くないですか？
07:23:43,220 --> 07:23:44,140 [bioshok]
ああ、そうですかね.
07:23:44,560 --> 07:23:55,680 [akira]
今多分もうその今ここから議論し続けても、多分八嶋さんの脳の中で綺麗にモデルがパッと出来上がることはないというか.それはその人間ってそんなにすぐにちゃんとしたモデルを構成できるわけじゃないので.
07:23:55,800 --> 07:24:01,860 [bioshok]
ああ、いやでもその、まあ一旦じゃあ他の話すると、P(doom)の定義の話をした方が良くて.
07:24:03,260 --> 07:24:05,060 [akira]
PPP(doom)の定義っていうか.
07:24:05,180 --> 07:24:19,240 [bioshok]
ドゥームの定義.ドゥームの定義が、まずアキラさんは人類の絶滅、まあかつ、えっと、人類の後継者の絶滅も含んでると思うんですよ.まあ、ポストヒューマン.あ、そうそうそう.
07:24:20,100 --> 07:24:22,000 [akira]
人類の後継者ってのは何ですか？
07:24:22,040 --> 07:24:24,000 [bioshok]
え、ポストヒューマンとかトランスヒューマンとか.
07:24:25,300 --> 07:24:29,960 [akira]
ああ、なるほど.トランスヒューマンってのはでもどういう、もともと人間だったものってこと？
07:24:30,020 --> 07:24:37,880 [bioshok]
もともと人間だったものが細胞化されたり、もともと人間だったものがアップロードされたりするものを言うと.
07:24:37,980 --> 07:24:39,080 [akira]
なるほど.
07:24:39,160 --> 07:24:47,640 [bioshok]
で、それも、まあだからアキラさんの定義でいうと、まあ多分それも全滅してるはずですよね.
07:24:47,700 --> 07:24:49,240 [akira]
そうですね.
07:24:49,380 --> 07:24:54,940 [bioshok]
で、で、で、例えばAIと融合してる人間ともいないですよね.
07:24:54,980 --> 07:24:58,140 [akira]
まあそうですね. AIと融合するっていうのはどういうことですか？
07:24:58,220 --> 07:24:58,720 [bioshok]
うん.
07:24:59,160 --> 07:25:06,340 [akira]
そのAIと融合するっていうのは、その、どう、どう、どうなるんですか？例えばそのペーパークリップマキシマイザーと融合ってむちゃくちゃじゃないですか.
07:25:07,800 --> 07:25:08,640 [bioshok]
まあそうですね.
07:25:08,740 --> 07:25:14,440 [akira]
つまりそのかなりもともと人間に近い目標を持ったAIとじゃないと融合できないんじゃないですかね.
07:25:14,600 --> 07:26:11,484 [bioshok]
まあそうですね.まあ.なので割と、なんというか.で、やっちまさんは、人間とAIが融合したり、ポストヒューマンになったり、トランスヒューマンになったりするものがあれば、人類、あの、まああって、人類の滅亡っていうのは、その、あり得るけど、それはその、なんだっけ、ホモサピエンスがいなくなるってことをドゥームとして考えてるんですよね.やっちまさんは.考えてたというか.そこの考え方は多分なんかその世界モデルが多分違いますね.で.八千代さんはだからそれも含めてトランスヒューマン、ポストヒューマン、えー、AIと融合した人間とか全て含めて全てが絶滅する可能性はそんなに高いとは全然思ってないっていう認識でいいですかね.
07:26:11,584 --> 07:26:13,724 [yachima]
うん、うん、うん、うん.ですね.
07:26:15,724 --> 07:26:16,704 [bioshok]
ああ.
07:26:20,144 --> 07:26:25,544 [akira]
なるほど.このドゥームの手を詰めて何が変わるのかが僕にはあまり見えてないというか.
07:26:27,124 --> 07:26:31,184 [bioshok]
ああ、いや、なんか結構まあ大事な気もなくもない.
07:26:31,444 --> 07:26:41,104 [akira]
もちろんそうですよね、そのそこからその、でも八千代さんはまだそこからどうしてトランスヒューマンだったら生き残れるのかの議論は持ってない感じですか？
07:26:41,144 --> 07:27:21,584 [yachima]
うん、いやだからごめんなさい.ちょっとまた話戻っちゃいますけども.えっと、え、だ、えトランスヒューマン、まあアップロードしたっていう話にすると仮定しますけども、アップロードした、された人間と、元々AIなAIなAIとか、元々からAIな場合って、まあそのさっき出てたその経路をたどればっていうのは見分けつくにはつきますけれども、まあそうやってわざわざ調べない限りは基本的にはわかんないですよね.
07:27:24,064 --> 07:27:36,564 [akira]
でもその、多分その、その八千代さんに誤解があると思うのは、僕はその人間とAIの区別の中で.その人間を選択的に攻撃すると言っているわけではないんですよ.
07:27:36,644 --> 07:27:37,444 [bioshok]
ほうほう.
07:27:37,604 --> 07:28:00,124 [akira]
僕が言っているのは、その非常に強力な、圧倒的に強力なAI群があって、そこのクラスでないと事実上物事を決めれなくて、そこのクラスのAIたちにとっての目標が異なる存在というのは、意図的に残してもらえない限りは残らないということを言っているのですよ.
07:28:00,204 --> 07:28:01,044 [yachima]
うん、うん、うん.
07:28:01,184 --> 07:28:12,764 [akira]
つまりAIと融合した人間であろうとなんであろうと、超知能群に目標が一致していない限り、目標が一致しているか、残してもらわない限りいけないわけですけど.
07:28:13,284 --> 07:28:13,864 [bioshok]
はいはい.
07:28:14,364 --> 07:28:27,504 [akira]
それは無理じゃない.それはそのアラインメントを必要としていないですか？というのが僕の.その、ほとんどの提案はそのアラインメントを必要としていて、そのためにアラインメントのコアな問題を解くことを必要としているので.
07:28:27,614 --> 07:29:17,424 [yachima]
ああ.まあそうな気もするし、違う気もするし.うん.まあだから、うん.まあちょっと例が正しいのかわかんないですけども、結局じゃあその、うーんと.トップクラスの超知能群になれるかどうかみたいな話って.じゃあ今のフロンティアモデルどうなの？とかっていうと、まあなんだかんだで中国勢が追いついてきたりとかしているわけですよね.
07:29:18,684 --> 07:29:25,944 [akira]
そこからどう人間が追いつけるのかを説明して.人間ってかなりファンダメンタルに不利ではないですか？
07:29:26,084 --> 07:29:28,384 [yachima]
でもまあアップロードしちゃえば変わんなくないですか？
07:29:28,444 --> 07:29:38,764 [akira]
そうですね.でもアップロードする頃には、そのそのレベルの知能は当然存在できてるわけですよね.そのレベルの知能はさらに百倍ぐらいの速度で百万体ぐらい実行できてるわけですよね.
07:29:40,064 --> 07:29:53,144 [yachima]
まあ実行はできる.でもに、人間、元、アップロードされたAIだって、アップロード、うん、元々人間だったアップロード後のAIだって百倍速で動かすとかは全然できますよね.
07:29:53,164 --> 07:30:04,924 [akira]
そうですね.でもそうじゃなくて、僕が言おうとしているのは、そのアップロードされた、アップロードが始まる時点で、AIの能力っていうのはその人間より上じゃなきゃいけないですよね.
07:30:06,984 --> 07:30:08,254 [yachima]
はあ？
07:30:08,284 --> 07:30:13,003 [akira]
えっと、その人間と全く同じって、人間じゃ同じ、同じ以上じゃないといけないですよね.
07:30:14,284 --> 07:30:16,824 [yachima]
いけなくはなくないですか？別にいいんじゃないですか？
07:30:16,844 --> 07:30:22,724 [akira]
え、だってもしもマインドアップロードが可能なんだったら、人間と同じ人工知能を即座に作れるってことですよね.
07:30:23,584 --> 07:30:24,454 [yachima]
うん、うん、うん、うん.
07:30:24,644 --> 07:30:29,724 [akira]
要するにマインドアップロードができるってことは、脳の計算機構を完全に把握しているということですよね.
07:30:29,884 --> 07:30:33,624 [yachima]
まあまあまあ、自由度はいろいろあるかもしれませんが.
07:30:33,724 --> 07:30:40,644 [akira]
もちろんそうですけど、そのマインドアップロードができるぐらい、つまり人間外から見た時の知能を再現できる、人間の知能を再現できるぐらいの.
07:30:41,024 --> 07:30:42,004 [yachima]
うん、うん、うん、うん.
07:30:42,624 --> 07:30:45,384 [akira]
その計算を、えーと、再現できるということですよね.
07:30:45,804 --> 07:30:46,324 [yachima]
うん、うん.
07:30:46,524 --> 07:30:52,164 [akira]
その前の時点から、その規模のAIを別に人間の取り込まずに作れますよね.
07:30:52,244 --> 07:30:53,704 [yachima]
ああ、それはそうそうそうそう.
07:30:53,804 --> 07:30:57,824 [akira]
そうするともっと前に人間レベルAIが存在しているわけですよね.
07:30:58,184 --> 07:30:58,804 [yachima]
うんうん.
07:30:58,884 --> 07:31:11,644 [akira]
そのAIはその人間がマインドアップロードされるまでの間、百倍速ぐらいで百万体ぐらい動いてるわけですよね.まあその、これはすごい極端な例ですけど.つまりその間に知能が向上していて優位を獲得していませんか？
07:31:11,724 --> 07:31:15,364 [yachima]
うん.かもしんないけども、そうじゃないかもしれないですよね.
07:31:15,704 --> 07:31:19,184 [akira]
えっと、そうじゃないかもしれないっていうのは、そうじゃないっていうのはどういうふうになってそうじゃないですか.
07:31:20,184 --> 07:31:55,804 [yachima]
要はその人間相当、まだAGIって言っちゃいますけども、AGIができてから.ああ、でもまあまあそれはちょっと言い過ぎか.マインドアップロードの技術がね、AGIよりは後でしょうからね.うん.ああ、でも別にだって、あの、じゃあアップロードされたもともと人間だったAIを別にそのまま動かさなきゃいけないって決まりもないですしね.
07:31:59,384 --> 07:32:10,064 [akira]
もちろんそういう決まりがあると主張しているわけではなくて、そのアップロードでその追いつくポテンシャルを手に入れた瞬間に、すでに圧倒的に強い存在がいますよね.
07:32:10,344 --> 07:32:11,564 [bioshok]
まあまあまあまあ.
07:32:12,584 --> 07:32:31,964 [akira]
つまりそこでその行動に直面してますよね.さっき言った超知能群が存在して、その超知能群からしたらそうでない目的のAIを、目的のAIというかマインドアップロードされた人間でも、それとAIの融合でもいいですけど、超知能まで急速にスケールアップしてくるのは望ましくないですよね.
07:32:33,864 --> 07:32:35,444 [bioshok]
望ましくないんでしたっけ？
07:32:35,484 --> 07:32:37,084 [akira]
え、バイオさん.
07:32:37,284 --> 07:32:37,464 [bioshok]
はい.
07:32:38,214 --> 07:32:40,164 [akira]
あ、お願いしてもいいですか？その説明を.
07:32:40,464 --> 07:32:44,204 [bioshok]
望ましくない.だからアライメントされてなければ望ましくないですね.
07:32:45,324 --> 07:32:50,884 [akira]
その、そうそう、そのそこの点について、ちょっとやちまさんにご説明をお願いしてもいいでしょうか.
07:32:52,264 --> 07:33:34,964 [bioshok]
あの、うーんと、だからなんかアキラさんはなんか基本的に規制がない世界で行くと、もうほぼほぼアライメントが解けないっていう、あの、ということがあるので、そのままAGIが超知能まで行っちゃうと、まあマインドアップロードを開発前ぐらいに多分できるじゃないですか、超知能って.で、そうすると基本的に圧倒的な優位性で人類を滅亡させることも可能なはずなので、危ないってことだと思うんですけど.そういう話.
07:33:36,924 --> 07:33:48,784 [akira]
ってことですよね.そのミス、アライメントできてないAIにとっては、その違う人間がこうバンバンそのマインドアップロードされて自己改善してすごい強くなるのって基本的に困りますよね.望ましくないですよね.
07:33:50,864 --> 07:33:52,144 [bioshok]
まあそうですね.
07:33:52,984 --> 07:34:30,604 [akira]
ってことじゃないんですかね.その、要するにその、あの、僕が、あの、えっと、五時半までの時に言ってた話になりませんか？その全てのアリが自己再帰的自己改善を始めて、人間レベルの知能に追いつくってなったら.その人間たる我々はそのそれを防ぐ動機がある、あるんじゃないかということですね.しかもマインドアップロードができる時には、やろうと思えば容易に簡単に葬ることができるのにしないということですよ.その葬るっていうのは、その人間を殺す意味じゃなくて、もはやマインドアップロードしてるんだったら実行しないだけでいいです.いいですよね.その最も脆弱になってますよね.
07:34:32,844 --> 07:34:59,164 [bioshok]
うん、うん、うん、うん、うん、うん.まあだからあれか、二つぐらいやちまさんのモデルとは違うのが.だからアライメントがそもそもそんなに難しいのかって話と、その後はアライメントができてない超知能がそんな暴れ回るのかみたいな話ですかね.やちまさん的には.
07:34:59,204 --> 07:35:01,804 [akira]
うん、なのかな.
07:35:04,024 --> 07:35:06,044 [bioshok]
な感じはしますが.
07:35:15,244 --> 07:35:19,844 [akira]
ちょっとごめんなさい.むしろコメントを拾いたくなっちゃったんですけど.
07:35:19,884 --> 07:35:21,324 [bioshok]
あ、いや.
07:35:21,424 --> 07:36:30,104 [akira]
えっと.トランスフォーマーと人間の知能は同一視とは全然してないですね.むしろアップロードした人間の知能をまあいくらでも改造できる状態にもうなってるわけなので.それでなんか、うん、なんか.すでに強強AIがいるからとかって言われても、まあむしろじゃあすでに公開されている、それに関連、まあそれ、それそのものはわかんないですけども、まあそれに匹敵するような、例えばオープンソースになってる強強AIの研究とかっていうのを参照したりして.で、アップロードした後の、もともと人間だったAIを強くしてみたいなのは全然可能だと思いますしね.だし、まあアリの話もそうね.うん.まあ気持ちはわからんでもないけど、うん.っていう気持ちですかね.
07:36:31,204 --> 07:36:46,144 [bioshok]
うん.まあどっちかというと、その、なんか滅ぼすコストにメリットが見合うのかみたいな話があるのかもしれないってことですかね.だから.うんうん、そう.まあそれはそうですよね.
07:36:46,444 --> 07:36:53,464 [akira]
マインドアップロードする頃って、殺人の、殺人というか人類絶滅のコストってゼロに漸近してませんか？
07:36:53,564 --> 07:36:55,444 [bioshok]
まあデータセンターを止めるってことですか？
07:36:55,904 --> 07:37:22,264 [akira]
全ての人間がコンピューターで実行されるプログラムになるんだったら、それらの実行を止めるという、すごい、なんならその今のAIでもできそうなレベルの簡単なタスクに人類絶滅が格下げされませんか？それ僕の認識では、一般的に人類を滅ぼすのが難しい理由の一つというのは、物理的に大量に存在していて、物理的に絞め殺さないと、絞め殺さないとってか物理的に殺さないといけないことだと思っていたんですけど.
07:37:23,864 --> 07:37:30,204 [bioshok]
なるほど.まあ確かにデジタル上の存在になってる方が.
07:37:30,264 --> 07:37:33,104 [akira]
デジタル上の存在を止めるって、要するにハッキングですよね.
07:37:34,444 --> 07:37:38,464 [bioshok]
そうですね.ハッキング.
07:37:39,644 --> 07:37:43,924 [akira]
その僕はそのマインドアップロードの難易度がすごい低いのものすごい気になっていて.
07:37:44,004 --> 07:37:44,604 [bioshok]
うんうん.
07:37:45,224 --> 07:37:53,324 [akira]
そのマインドアップロードって一般にすごいハードルが高い技術として認識されている.なんならバイオさんでもその技術ツリーの最後ぐらいに置くものじゃないですか.
07:37:54,284 --> 07:37:55,804 [bioshok]
まあそうですね.
07:37:55,824 --> 07:37:58,984 [akira]
でもAIより前じゃないと困りますよね.
07:37:59,044 --> 07:38:00,464 [bioshok]
そうですね.
07:38:00,624 --> 07:38:03,984 [akira]
やちまさんもAIになったらバリバリ殺しに来ると同意するんですよね.
07:38:05,520 --> 07:38:06,560 [yachima]
バリバリ？
07:38:06,600 --> 07:38:18,520 [akira]
あ、そのバリバリ殺しに来ると同意されるんですよね.それ要するにそのAGIぐらいの程度の強さの人間がいたとして、それはバリバリその終わらせに来るんですよね.エイサイだったら.
07:38:19,280 --> 07:38:26,710 [yachima]
うーん、いや、別にバリバリとは思わないですけど.ああ、まあだからバリバリ.
07:38:27,480 --> 07:38:30,560 [akira]
これはアラインメントの話になっちゃってませんか？
07:38:30,600 --> 07:38:41,640 [yachima]
ごめんなさい.そう、言い方あれですね.えっと、だからバリバリ、うんと、バリバリす、しようとする者もいる.だからまあそうですね.
07:38:41,780 --> 07:39:11,440 [akira]
それは残そうとする者がいるという点で、アラインメントができていると.アラインメントがかなりそれなりに、その人間を残したいと思う絵が一体以上いるという時点で、その、何て言うんですか、その、ある程度よくなってるというか、その、あの、その昨日のバイオさんとのあれを踏まえて、なんかまあたとえ話みたいなのをすると、その機動力学も微積分も知らない状態で、そのロケットが例えば百本打ち上げたって一本も、おそらく一本もその月には届かないじゃないですか.
07:39:13,180 --> 07:39:13,900 [yachima]
うん.
07:39:14,060 --> 07:39:41,120 [akira]
なので、その実際に月に送れる百本送ったら、その一本送るよりはるかに月に着く確率が高いためには、せめてその月に行くための何かしらの最低限の技術みたいなのは整ってないといけなくて、それを、がコアアラインメントなんじゃないですかね.それが解けるんだったら、その多分そこから普通にアラインメント全体を解いた方が早いと思われるんですが、どうでしょう.
07:39:42,900 --> 07:40:31,180 [yachima]
うーん.おそらくですけど.うん.うん、どうなんだろうな.いや、わかんないですけどね.わかんないですけども、自分の感じだと.ここが、うーん、この話と、あと社会的なところかな.うんと、どういうことかっていうと.まあ.うん.
07:40:32,440 --> 07:40:37,520 [bioshok]
賢さは権力追及を意味しないみたいなやつですかね.見えてないかもしれない.
07:40:38,960 --> 07:41:00,840 [yachima]
ああ、まあそっちもそっちもありか.そっちもありか.どっちもありかもしれないですね.まあ賢さ、そう.まあでもまあそれはどうなんだろうな.
07:41:00,880 --> 07:41:14,440 [akira]
いや、ちょっと僕から見ると、全体的にヤチマさんは多分今その普段の信念更新状態のバイオさんに近いというか、多分そのすでに多分あれですね、ヤチマさんってそんなにすごいもともとアラインメントのあれってわけではないですよね、多分.
07:41:14,500 --> 07:41:15,700 [yachima]
うん、ないですないです、全然.
07:41:16,340 --> 07:41:22,280 [akira]
多分今日バイオさんから割と何かしら多分僕とバイオさんが当たり前に使うコンセプトの説明を受けたような気がしますけど.
07:41:22,320 --> 07:41:26,440 [yachima]
いや、でもうんと、ある程度はまあなんとなくは見てるんで.
07:41:27,080 --> 07:41:32,420 [akira]
そうですね、多分その、なんて言うんですか、その内面化の程度が違うというか.
07:41:32,540 --> 07:41:33,680 [yachima]
ああ.
07:41:33,900 --> 07:41:39,320 [akira]
その多分教科書として読んだぐらいの感覚に近いんじゃないかとちょっと思ってるんですけど.
07:41:39,360 --> 07:41:39,820 [yachima]
うん.
07:41:40,200 --> 07:41:47,380 [akira]
使いこなせてないんじゃないかなと思うんですけど.その、それはもちろんその知ったのが多分近いなら、それはそういうもんというか.
07:41:49,080 --> 07:41:58,220 [yachima]
まあそうなのかもしれないけれども、なんか違うような気もしているっていう感触ですかね.
07:41:59,580 --> 07:42:05,140 [bioshok]
うん.アキラさんは例えばIQノットパワシークだとか言われたらどう返すんですか？
07:42:05,660 --> 07:42:09,600 [akira]
IQノットパワシークだって言われたら、じゃあまずは強化学習を使うのはやめてくださいって言いますね.
07:42:11,040 --> 07:42:13,340 [bioshok]
ああ、なるほど.
07:42:13,520 --> 07:42:19,720 [akira]
し、そのIQノットパワシークだとしたら、そのパワシークなAIを作るのを誰がどうやって止めるんですか？と僕は聞きますね.
07:42:21,020 --> 07:42:21,610 [bioshok]
ああ、なるほど.
07:42:22,379 --> 07:42:26,160 [akira]
そのパワシークなAIの方が一般的には便利ですよね.
07:42:26,199 --> 07:42:27,740 [bioshok]
そうですね.
07:42:29,960 --> 07:42:43,460 [akira]
で、そういうものを、その、で、そもそも強化学習がマキシマイザーを作るためのものなのに、そこに全くかけ離れた、しかもその今観測されている話的には割とその目標に一点に突き進むようなものを作ってるわけじゃないですか.
07:42:44,540 --> 07:42:45,320 [bioshok]
そうですね.
07:42:45,510 --> 07:42:49,640 [akira]
別にニューラルネットワークであっても、リワードハッキングは極めて一般的な現象ですよね.
07:42:50,520 --> 07:42:51,150 [bioshok]
はいはい.
07:42:51,420 --> 07:42:56,160 [akira]
なので、その少なくとも現在の世界の延長線上にはそこはないんじゃないですかね.
07:42:56,240 --> 07:42:57,130 [bioshok]
なるほど.
07:42:57,320 --> 07:43:25,660 [akira]
で、その理論上の可能性でいうと、もちろん任意の知能は存在していますけど、その世界を、その世界の他の企業がAIを作るのを防ぐほど強力で、世界の他のところがパワシーキングなAIを作るのを防ぐほど強力で、かつ人類を滅ぼさないほどパワシーキングじゃないAIというのは、そのユルコフスキーが言うところのノンウェットウォーター、すなわち湿ってない水じゃないかって話ですね.
07:43:25,860 --> 07:43:26,840 [bioshok]
なるほど.
07:43:26,860 --> 07:43:50,440 [akira]
まあその湿ってない水っていうのは、僕はそのよくあの鉄を溶かすほどには熱いが、火傷しないぐらいには冷たいようなものっていうふうに言いますけど、その不可能じゃないですか.その間が存在しないんじゃないですかね.そのそれを避けようとして、パワシーク、そのもともと原理的にIQが必ずしもパワシークじゃないとしても、パワシークなAIを作るのを止めるためには強力な全世界的規制が必要で.
07:43:51,360 --> 07:43:51,980 [bioshok]
うん.
07:43:52,300 --> 07:43:59,660 [akira]
強力な全世界的規制ができるっていう話だったら、それは僕の普段言っている生き残るシナリオに入ってますよね.
07:44:01,980 --> 07:44:02,860 [bioshok]
まあそうですね.
07:44:03,000 --> 07:44:11,400 [akira]
両足突っ込んでますよね.なのでその世界的な規制がない状態でそれができないといけないんじゃないかと思っているんですけど.
07:44:16,650 --> 07:44:41,310 [bioshok]
ここで例えば何ですかね.うーん、まあでも人間の指示には従わないけど、別に人間を滅ぼすほどでもないAIができるんじゃないかみたいな.その、例えばダイソン・スウォームとか作るけど、地球は保護保護とかまあ.
07:44:41,690 --> 07:44:53,630 [akira]
要するにダイソン・スウォームを作るけど、ダイソン・スウォームによって地球への光が妨げられないように、地球が通るところに常に穴を開けるように意図的に工夫する程度の知能ができるということですか？
07:44:53,670 --> 07:44:55,930 [bioshok]
まあそういう話になりますよね、そこは.
07:44:56,750 --> 07:45:02,110 [akira]
それはその、それはその、僕はそう言われたら否定を返すんじゃないですかね.
07:45:02,150 --> 07:45:02,690 [bioshok]
うん.
07:45:02,810 --> 07:45:03,989 [akira]
それは不自然じゃないですか.
07:45:06,150 --> 07:45:06,490 [bioshok]
なるほど.
07:45:07,030 --> 07:45:25,610 [akira]
それはその、しかもそれ僕が今パッと、てか僕が知ってる例がこれなだけで、多分もっとありますよね.あのユデュボンに載ってる話だと、その地球が沸騰しちゃう話とか、あとなんかバイオさんが昔上げてたテグマークのあの鉄が錆びるのを防ぐために、金属が錆びるのを防ぐために酸素をなくすとか.
07:45:26,870 --> 07:45:27,910 [bioshok]
そうですね.
07:45:28,250 --> 07:45:31,329 [akira]
その、そうすると普通に副作用で人類を滅ぼす話に変わってきますよね.
07:45:31,370 --> 07:45:31,470 [bioshok]
はい.
07:45:35,470 --> 07:45:58,390 [akira]
なのでそれはおかしいんじゃないですか？その、その要するにそのIQがパワースイートじゃないとかマキシマイザーじゃないっていう話はある意味で一番強い論点だと思う.一番強い議論の点だと思うんですけど.そのそこはそのある意味でそういうふうに解決してしまうというか、少なくとも現在の世界の軌道において影響しないっていう話ですね.その原理的には可能、そうじゃないAIも可能だと思いますけど.
07:45:58,810 --> 07:46:20,750 [bioshok]
原理的には例えばダイソン・スウォームを作らないし、まあそんな極端なことはしないけど、まあでもちょっとなんだろうな.科学研究とかはなんか自分で作ってどっかアフリカとかでやっちゃうぐらいの知能で収まっている超知能ってのは考えられるけど.
07:46:21,470 --> 07:46:27,370 [akira]
考えられますけど、それは極めて自然ではないですよね.その、それなりで怠惰性を入れたいわけじゃないですか.
07:46:28,070 --> 07:46:28,630 [bioshok]
うん.
07:46:28,690 --> 07:46:41,150 [akira]
でもその怠惰でない他のAIを作ることで、自身が怠惰で目標を達成するというようなことを実行したりはしないほどには特殊な怠惰さじゃないといけないわけじゃないですか.
07:46:41,190 --> 07:46:41,510 [bioshok]
うん.
07:46:41,870 --> 07:46:47,410 [akira]
それって自然じゃなくないですか？そのそれって、その最初に勾配降下法で作れるものではなさそうじゃないですか.
07:46:48,290 --> 07:46:48,590 [bioshok]
なるほど.
07:46:49,010 --> 07:47:16,710 [akira]
これはあの、一昨日の議論で出た出した、その原理的には青い車しか運転できないその人というのは存在し得るけど、普通に青い車を運転する練習をさせた人というのは、大抵は赤い車も運転できるようになる話に同じで、その原理的にはもちろん青い車しか運転できない人というのは存在しちゃいますけど、それは起きる軌道にはないって話ですね.
07:47:16,810 --> 07:47:19,810 [bioshok]
なるほど.
07:47:19,820 --> 07:47:21,330 [akira]
という感じですね.見方だと.
07:47:22,210 --> 07:47:29,850 [bioshok]
基本的には何らかの奇跡的なことが起こらないとそうなんないだろうっていうイメージですね.よね.
07:47:29,910 --> 07:47:31,470 [akira]
そうですね.
07:47:33,570 --> 07:47:54,790 [bioshok]
うん.まあまあ、そうか.なるほど.まあパワーシー、まあ結構突っ込まれやすいのは、その直行仮説ってそんな本当に正しいの？とか.
07:47:55,570 --> 07:47:58,350 [akira]
直行仮説が正しくないと.
07:47:58,390 --> 07:47:59,550 [bioshok]
うん.
07:48:00,970 --> 07:48:05,470 [akira]
その、どう、どういうふうな時に正しくないんですか？
07:48:05,550 --> 07:48:26,190 [bioshok]
うん、直行仮説が正しくないっていうのは、でも言いにくいんで.まあ論理的な話なんでね、どっちかっていうと.うん.はい.どっちかって今のディープラーニングは人間みたいだから、人間の価値観が結構入っていい感じに言ってもおかしくないんじゃないかみたいな.
07:48:26,870 --> 07:48:29,230 [akira]
それはそのアラインメントがデフォルトの話じゃないですか.
07:48:30,450 --> 07:48:31,470 [bioshok]
まあそうですね.
07:48:31,490 --> 07:49:03,310 [akira]
それはその一昨日の話ではないですか.その一昨日のその、あの外れ得る選択肢がでかすぎて、特にその中で正しいものを当てる力が働いていないというか、なんならその本当はアウトアラインメントすら正しくないので、違う方向に全力で誘導をかけながら、ぐちゃぐちゃに向いていく中で正しい人間の価値観を向くってことですか？それはその、あの、全く向きを制御できないロケットを火星に身が見える方向に向けて打ち上げれば、月に行く確率を聞かれてると思うんですけど.
07:49:03,350 --> 07:49:44,870 [bioshok]
うんうん.なるほど.えーっと.そうですね.まあなんか例えばすごい雑な反論ですけど、人間の価値観は理解できるわけじゃないですか、AGIも.で、理解、人間の価値観を理解してるってことは、人間の価値観に相当する何らかの特徴量ってのがあるはずで.
07:49:45,990 --> 07:50:01,130 [akira]
それは記事名じゃないですか.その蜂がありの目的を理解できる、でき、理解することはできますけど.ありって、ありの目標がバイオさんの中で綺麗に一つにエンコードされてますか？概念として.
07:50:01,230 --> 07:50:02,770 [bioshok]
うん、まあされてはないですね.
07:50:02,930 --> 07:50:07,950 [akira]
理解できることと理解実際にしようとすることとの間の距離もありますよね.
07:50:09,550 --> 07:50:09,750 [bioshok]
うん.
07:50:10,290 --> 07:50:16,890 [akira]
僕たちってやろうと思えば、そのアリについて、その十分な研究をすれば、アリの望みって何だかわかると思うんですよ.
07:50:16,950 --> 07:50:19,570 [bioshok]
はいはい.
07:50:19,630 --> 07:50:22,800 [akira]
けど、僕たちってアリの望みを一つの目標としてエンコードしてなくないですか？
07:50:25,200 --> 07:50:38,920 [bioshok]
うん、まあそうですね.頭の中で理解することと、まあ頭の中で完璧にアリの価値観について理解することと.なんか酔っ払いは酔っ払って振る人と違うっていう.
07:50:39,600 --> 07:50:52,680 [akira]
そうですよね.その遺伝子を最大化するっていうのも理解はできますけど.そのよほど計算しようと思わない限り、その愚直にその瞬間、遺伝子を最大化するには何をすべきかと出てこないですよね.
07:50:53,540 --> 07:50:53,780 [bioshok]
うん.
07:50:54,780 --> 07:51:45,740 [akira]
なんでそれは不自然じゃないですか.それはつまり、人間の価値観を正確にエンコードして、毎回何をすべきか知っていて、知るほど注意を払って興味を持っていて、かつそれがエンコードされていて、それを目標システムが全力で違う方向に引っ張って、さらにぐちゃぐちゃになるいっぱいの要素を持っていて、ずれていた時には、そのもう治らないのにヒットするということですか？そしてそれがその再帰的自己改善の中で、実行や実行などによって吹き飛んで全然違う形になることもなく、永続まで残るということですか？
07:51:45,780 --> 07:51:46,160 [bioshok]
うん.
07:51:47,000 --> 07:51:57,760 [akira]
それはその、それはどうですか？それはまあもちろんこれを聞いた上で、それが十パーセント成功すると思いますっていうならば、ちょっとあれですけど.
07:51:57,820 --> 07:52:07,240 [bioshok]
うん、まあそうですね.うん.例えばその、なんだっけ、ペルソナ選択モデルってあるじゃないですか.
07:52:07,960 --> 07:52:08,580 [akira]
はい.
07:52:08,660 --> 07:52:23,880 [bioshok]
だからペルソナ選択モデルと、その人間の、なんだろうな.えー、まあ価値、まあ人間の価値観を理解させるっていうか、まあでもAGIなら理解してるはずってのはまずいいんですかね.その.
07:52:26,250 --> 07:52:29,320 [akira]
理解しようと思えば少なくともできるはずだというのはそうじゃないですかね.
07:52:30,600 --> 07:52:53,580 [bioshok]
理解しようと思えばできるはずだと.で、それがなんていうかな、まあ.ペルソナ選択モデルのように、それを実行させるような、まあその回路を組み合わせて.
07:52:56,020 --> 07:52:59,340 [akira]
それは、それは、それはファンタジーじゃないですかね.
07:52:59,840 --> 07:53:01,140 [bioshok]
まあそれもファンタジーか.
07:53:01,380 --> 07:53:08,300 [akira]
最初の企業がそれを、最初の企業、またはその軍がそれを実行するということですか？
07:53:08,320 --> 07:53:09,040 [bioshok]
うん.
07:53:09,620 --> 07:53:16,780 [akira]
今は明らかにポストトレーニングパラダイムに入っていて、かつタスクを達成するという意味では、その変にペルソナっていうよりはそっちの方が便利なんじゃないですか.
07:53:18,000 --> 07:53:18,740 [bioshok]
まあそうですね.
07:53:19,220 --> 07:53:38,320 [akira]
それが全部なぜか不思議に消滅して、そのプリトレーニング重視になり、ペルソナセレクションモデルで、その全く元々の文脈に含まれていなかったところにもペルソナが反映するということ.さ、かつそれがまた再帰的自己改善で吹き飛ばないということで合ってますか？
07:53:38,400 --> 07:54:11,800 [bioshok]
おー.まあだからあれか.なんだろうな.ペ、ペルソナ選択モデルで、まあだから理解はできるけど、だからつまりあれか.あ、今ちょっとわかった気がしますね.その、人間の振る舞いを、例えばアリの振る舞いを理解でき、研究して理解できてるとして、なんですけど、アリの振る舞いを頭の中でわざわざカルロ・チェペリtypes three文明まで外装しないですよね、人間は.
07:54:12,980 --> 07:54:13,480 [akira]
そうですね.
07:54:13,800 --> 07:54:58,720 [bioshok]
それでもしそれを外装してくれるよう、外装してくれるなら、そこに何らかの検証用の応酬とかを作れるかもしれないですけど.してくれる、してくれないというか、なんかそれは、うーん、それを考えさせるのも難しくなるのかな.まあだからつまり人間のような振る舞いをとか価値観をすごい反映させなきゃいけないわけですよね.
07:54:58,780 --> 07:55:09,180 [akira]
そうですね.で、しかもその反映させる時に、そのもともと反映するところでヒットしてないといけないんですよね.反映する外、その外装とかが始まる前にヒットしないといけないんですよね.
07:55:10,160 --> 07:55:13,220 [bioshok]
ああ.まあそうですね.
07:55:13,600 --> 07:55:16,820 [akira]
始まる前に広まるところでヒットしてないと.
07:55:17,380 --> 07:55:18,080 [bioshok]
確かに確かに.
07:55:18,220 --> 07:55:23,060 [akira]
その時点でずれっていうことを、ずれてそれを補正する動機がなくなっちゃうので.
07:55:24,000 --> 07:55:29,600 [bioshok]
それを欺瞞に、欺瞞っていうか、なんかその、それを教えて、わかっても教えてくれないってことですよね.
07:55:29,960 --> 07:55:31,900 [akira]
わかってもそれが今度目標にならなくなるので.
07:55:32,860 --> 07:55:37,200 [bioshok]
ああ、そうか.AIはそれをわかってるけど、それを人間に教える理由がなくなるってこと.
07:55:37,940 --> 07:55:40,040 [akira]
そうですね.教えない理由が生まれちゃうというぐらい.
07:55:40,120 --> 07:55:48,920 [bioshok]
まあ確かに.ああ、まあそれはちょっと納得感あるな.なんかこうやって議論するとちょっとずつズームに寄っていくけど.
07:55:52,340 --> 07:55:57,940 [akira]
この僕のズームが全然下がらないという問題、誰か対処してほしいです.
07:55:59,760 --> 07:56:00,980 [bioshok]
ああ、そうね.
07:56:01,880 --> 07:56:14,380 [akira]
多分その総合Pズームで、そのタイムラインが長いことを議論するか、ガバナンスの正確性が高いことを議論する方が、その総合のPズームが下がると思うんですけど、それはその、そうだったら頑張れよという話なので.
07:56:20,790 --> 07:56:28,196 [bioshok]
まあ、じゃあ遅いんで.まあでも.あ、コメントとかありますかね、他の.
07:56:29,576 --> 07:56:37,896 [akira]
なんかその、僕せっかくならあの、あの、チャットの過去のテキストの質問とかに答えていきたいなと思ってるんですけど、どうですか？最後に.
07:56:37,936 --> 07:56:38,656 [bioshok]
あ、いいと思いますよ.
07:56:38,796 --> 07:56:43,576 [akira]
それ取り上げながらちょっと、あの回答を見て.
07:56:43,656 --> 07:56:44,196 [bioshok]
うん.
07:56:44,256 --> 07:56:47,976 [akira]
うん.マヨさんもしかしてずっとYOUTUBE開いてました？
07:56:48,056 --> 07:56:49,256 [bioshok]
開いてますけど.
07:56:49,376 --> 07:56:53,836 [akira]
そしたらそのコメントを見て、古い順でよさそうな順でお願いしてもいいですか？
07:56:53,916 --> 07:56:57,066 [bioshok]
ああ、ちょっと待って.
07:56:57,096 --> 07:57:08,136 [akira]
あ、そしたらその取り上げてくだされば、その度にまたみたいな感じで.それ、やちまさんはまたちょっとこのP(doom)が頭の中でこう整理されたらまたという感じで.
07:57:08,216 --> 07:57:10,186 [yachima]
おお、そうですね.そうですね.
07:57:10,316 --> 07:57:17,876 [akira]
今多分その、多分一時間とかで全部が整ったりとかしないというか、その頭の中でいろいろ反芻して初めて意味のある何かができてくると思うので.
07:57:18,476 --> 07:57:22,216 [yachima]
あ、まあでもあの、まあえっとね、言っちゃうとまあP(doom)が上がりましたよ.
07:57:22,736 --> 07:57:25,036 [akira]
あ、そう、そうですか.
07:57:25,296 --> 07:57:25,856 [yachima]
上がったんすか.
07:57:26,086 --> 07:57:28,716 [akira]
その、その、名前に停止マークを入れようと思われましたか？
07:57:28,796 --> 07:57:36,876 [yachima]
うーん、そこまではちょっとわかんないすかね.五十は上回ってないですね.
07:57:36,996 --> 07:57:40,376 [akira]
五十は上回ってないんですね.まあそこはちょっとまたその熟考していただいて.
07:57:40,416 --> 07:57:50,816 [yachima]
うん、そうそうそうそうそう.まあでもまあそれは要は、えっと、なんで上がったかっていうと、まあ思ってるよりは結構難しい話だなっていうくらいの感じですね.
07:57:52,756 --> 07:57:53,756 [bioshok]
なるほど.
07:57:53,776 --> 07:58:02,056 [yachima]
うん.だ、なのでまだ全然、まあ全然って言ったらあれですけど、まあまだ上にも下にも動きようがあるっていう.
07:58:02,216 --> 07:58:07,216 [akira]
そうですね.まあちょっとそこはまた試行錯誤していただいて.あの、声がバリバリらしいんですけど.
07:58:07,256 --> 07:58:07,716 [yachima]
あら.
07:58:07,996 --> 07:58:13,996 [akira]
僕の声もまだバリバリですか？一瞬なんかあれなんですかね、ネットが弱かったのかな.
07:58:14,296 --> 07:58:15,396 [bioshok]
バリバリ？
07:58:15,496 --> 07:58:18,076 [akira]
声がバリバリしてるらしいです.
07:58:19,436 --> 07:58:24,336 [yachima]
へー.なんだろう.これはASIに攻撃されてるか.
07:58:26,516 --> 07:58:27,096 [bioshok]
いやー.
07:58:28,056 --> 07:58:29,056 [yachima]
いやー.
07:58:29,156 --> 07:59:05,676 [bioshok]
なんか別にバリバリ.ちょっと落としました.バヨさんだけ長時間喋ってみてください.バヨさん以外はビリバリ.ちょっとね.ちょっ、ちょっと下げてみたんで.あの、アキラさんとやちまさんの声を.
07:59:05,716 --> 07:59:24,776 [yachima]
うんうんうんうん、なるほど.なんかループしてるな.大丈夫か？声がどうでしょうね.バリバリじゃなくなったかな.いかがでしょうか.バヨさん以外が.
07:59:24,956 --> 07:59:48,696 [bioshok]
あ、コメント.えーと、だから、ああ、これかな.じゃ、じゃ、ドゥーマー、これ多分アキラさんへの質問ですけど.ドゥーマー的には今の現実で原理的に変更可能な要素で、どこが緩和されたらドゥームしなくなりますか？え、知能が十分に高ければどんな環境でもドゥームしますか？そもそもインターネットがなかったら.
07:59:48,936 --> 07:59:51,396 [akira]
もっと前からコメントありましたっけ？気のせいですか？
07:59:52,896 --> 07:59:56,676 [bioshok]
ああ、まあもっとこう、前からありますけど、一旦これが目にとまったんで.
07:59:56,876 --> 08:00:03,216 [akira]
あ、わかりました.あ、じゃあちょっと、あ、じゃちょっちょっと待ってくださいね.なんかまだバリバリが鳴りまくってるらしいですよ.
08:00:03,276 --> 08:00:43,796 [bioshok]
あらあらあら.なんでだ？そんなに.えーっと.少々お待ちを.おすおす.あ、これでどうすか？多分なんか話してみて下さい.あ、や、やべえちょっとミスった.ちょっと待って.ミスりましたね.
08:00:47,576 --> 08:00:48,535 [akira]
僕はどうですか？
08:00:49,496 --> 08:01:13,376 [bioshok]
ね、ちょ、僕がフィルターを付ければいいんだな.フィルターで.ノイズ抑制.コンプレッサー.ディレイ.これでどうかな？
08:01:18,956 --> 08:01:19,796 [akira]
ああ、どうですか.
08:01:21,756 --> 08:01:31,236 [bioshok]
多分ね、今ね、いろんなモジュールをつけたんで、そういうノイズをフィルタリングする.
08:01:31,336 --> 08:01:41,756 [yachima]
おー.フィルタリング、ノイズをフィルタリングしてくれるのかな？今なおビリビリです？あら？
08:01:42,006 --> 08:01:43,536 [bioshok]
いや、これちょっと前の話じゃないですか.
08:01:43,566 --> 08:01:46,116 [yachima]
ああ、そっかそっかそっか.
08:01:47,856 --> 08:01:49,376 [bioshok]
雑音の音が変わった.
08:01:49,456 --> 08:01:57,416 [yachima]
ふーん.雑音のノイズの大きさは変わらない？えー？何でしょうね.
08:01:59,676 --> 08:02:00,876 [bioshok]
あ、ちょっと待って.
08:02:00,916 --> 08:02:01,176 [yachima]
うん.
08:02:02,556 --> 08:02:03,236 [bioshok]
これでどうだろう.
08:02:09,996 --> 08:02:11,676 [yachima]
お、マシになった気はします.
08:02:19,596 --> 08:02:22,716 [bioshok]
アキラさんがひたすら質問に答える回も面白そうだって.
08:02:23,536 --> 08:02:30,076 [akira]
ね、VCで少人数向けにやってる代わりに別に、別に動画とか撮って残しても良さそうではありますよね.
08:02:30,656 --> 08:02:31,985 [bioshok]
うんうんうんうん.
08:02:33,236 --> 08:02:36,916 [akira]
で、後々文字起こしして記事とかにもできたら便利ですね.
08:02:36,976 --> 08:02:37,816 [bioshok]
いいですね.いいですね.
08:02:38,316 --> 08:02:42,436 [akira]
僕は全然.多分僕とバイオさん両方いた方が面白いですよね.
08:02:42,536 --> 08:02:43,976 [bioshok]
まあそうですね.うん.
08:02:44,556 --> 08:02:46,536 [akira]
あ、僕が、僕、僕がなんか良くないのかな.
08:02:47,296 --> 08:02:49,536 [bioshok]
ほう.
08:02:50,896 --> 08:02:55,516 [akira]
はーい.あーどうですか？どうですか？治りましたか？
08:02:55,596 --> 08:03:32,316 [bioshok]
どうでしょうね.治ったかな.ましになってバリバリからボソボソは.これはどうなんだ？いかがでしょうかね.どうでしょうね.音がちゃんとクリアに聞こえてるといいんですけどね.徐々にマシになっていく.あ、治った気がする.
08:03:32,416 --> 08:03:33,596 [akira]
おー、治ったんか.
08:03:33,696 --> 08:03:54,656 [bioshok]
おー.かなりマシ.じゃあこれでいきます.ってか.
08:03:55,736 --> 08:03:56,616 [akira]
うんうん.
08:04:00,736 --> 08:04:15,176 [akira]
確かに.いや、まだ8時間ですよ. 8時間だけど1時間休んでるので7時間ですね.とか.バイオさんとやちまんはエグいのか.あ、良かった.よくわかんないですね.
08:04:16,056 --> 08:04:16,876 [bioshok]
ほうほうほう.
08:04:17,796 --> 08:04:21,716 [akira]
バイオさんの家のインターネット不安定だったりします？
08:04:21,816 --> 08:04:24,036 [bioshok]
まあ大、いや、まあそんなに.
08:04:24,066 --> 08:04:25,036 [akira]
そんなにいいから悪くないのか.
08:04:28,776 --> 08:04:33,076 [bioshok]
多分その僕のフィルターの問題だと思います.そのこっちの.
08:04:33,176 --> 08:04:36,576 [akira]
ああ、なるほどなるほど.あ、じゃあ設定今変えたんですか？
08:04:36,586 --> 08:04:38,516 [bioshok]
変えて良くなったと思います.ちょっと.
08:04:38,616 --> 08:04:40,916 [akira]
なるほど.あ、良かったです.
08:04:42,996 --> 08:04:47,336 [bioshok]
で、じゃあはい.コメント.
08:04:47,356 --> 08:04:48,136 [akira]
うんうん.
08:04:48,656 --> 08:05:03,356 [bioshok]
コメントの.これを.じゃあいきますよ.
08:05:03,396 --> 08:05:04,316 [akira]
はい.
08:05:04,456 --> 08:05:27,596 [bioshok]
ドゥーマー的には今の現実で原理的に可能な要素でどこが緩和されたらドゥームしなくなりますか？また、知能が十分に高ければどんな環境でもドゥームしますか？そもそもインターネットがなかったらASIでも脱出できないので大丈夫ですか？ASIならでも発明してますかね？AGI程度でも無理ですか？
08:05:27,665 --> 08:05:33,936 [akira]
あの、あの、あの、さすがにその六つぐらいが投げられると僕のメモリが切れるので一個ずついきませんか？
08:05:33,996 --> 08:05:36,276 [bioshok]
あの、これは一つのコメントです、これは.
08:05:36,396 --> 08:05:45,656 [akira]
いやいやいや、そのだとしても、その僕がその一つのコメントだからといって何個の質問でも答えられるわけじゃないので、その一個ずつお願いしてもいいですか？
08:05:45,716 --> 08:05:53,816 [bioshok]
だから、えーと、ドゥーマー的には今の現実で原理的に変更可能な要素でどこが緩和されたらドゥームしなくなりますか.
08:05:54,796 --> 08:07:28,216 [akira]
えーと、多分原理の理解が進むことだと思いますね.えっと、あのロケットの例を度々前から引き継いで使って申し訳ないですけど、その今の状態っていうのは何をしたら何が起きるかについて、その大体のスケッチを描いて検証することすらできないという状態になってます.そのP(doom)議論を見ていただくとわかりますけど、そのなんかすごい数学的になんとなくできたモデルとか、物理学的にできたモデルがあって、それに当てはめて、そのこういう計画だったらこうなるはずだって言って、いや、そうはならないって言ったら、もうそこに議論の余地がないみたいな、検証できるようなしっかりした理論みたいなのがありません.で、もしそれがあれば、そのロケットでも、そのまあ物理学的な、あと数学的なツールによって、そのこういう風に、このこのスピードで始まったら、こういう軌道に乗って、さらにこの時点でこういうスピードに変更したらこういう軌道に乗るから、結局火星に行けるみたいなことがわかるようになるので、そういう風に、その実際に具体的なことが全て決まり、その実際に完璧にその軌道をなぞらなくても、どの軌道をたどればいいのかについてちゃんと議論ができる、ちゃんと集合的にその、「いや、そうじゃない」、その「こういう設計をしたらこうなるんだ」みたいなので、「いや、そうはならない」っていう風に言って、その曖昧さに委ねることのない計画について議論をしっかりできる.で、かつそれを検証して通るような計画ができるっていうことが、多分その回避できるための条件だと思うので、それは現実的にはその明日できる見込みがないので、十分な時間、開発規制が敷かれることだと思ってます.はい.
08:07:29,176 --> 08:07:38,686 [bioshok]
はい.で、同じ人のコメントで.知能が十分に高ければどんな環境でもドゥームしますか？
08:07:38,696 --> 08:07:50,676 [akira]
あ、えっと、これは僕は明確にノーで.あの、ちょっとまた説明すると僕が力尽きちゃうので、あの、ぜひ前回のタイムスタンプついてます？原理的に可能かってところに.
08:07:50,796 --> 08:07:52,816 [bioshok]
あのー、ついてない.
08:07:54,516 --> 08:08:00,176 [akira]
ついてないんですよね.あの、ちょっとあの書き起こし、でも今度出るのかな？どうなんですか.
08:08:02,136 --> 08:08:07,536 [bioshok]
書き起こし.あ、タイムスタンプ.ああ、前回の動画の話はついてますよ.
08:08:08,716 --> 08:08:13,596 [akira]
前回のタイムスタンプで、その原理的にできるかってところにもタイムスタンプついてますか？
08:08:13,756 --> 08:08:19,876 [bioshok]
原理的に.ああ、それつけたっけな.あ、つけてないかも.それちょっと別の用語でまとめたかもしれないですね.
08:08:21,016 --> 08:08:33,376 [akira]
あんまちょっとその名前はあれなんですけど、なんかその前回のところで結構がっつりとなぜできると思ってるのかを語っているので、ぜひご覧ください.ちょっと今語るとちょっと僕の脳が壊れてしまうので、すいません.
08:08:34,752 --> 08:08:37,432 [bioshok]
え、でも多分この人の言ってるのはそういう意味じゃなくて.
08:08:38,352 --> 08:09:02,572 [akira]
そうですね、原理的に高い知能だったらっていうのはそんなことはなくて、すごいシンプルに言えば、ユートピアというのは可能じゃないですか.物理学的に不可能な要素はないので、そのユートピアをもたらす能力が高いというのは別に可能なので、目的地が人間のユートピアであるんだったら、そこにどんなに強く、どんなにうまく誘導する知能になっても、全然ドゥームはしないというふうに思ってます.
08:09:04,032 --> 08:09:04,232 [bioshok]
なるほど.
08:09:04,262 --> 08:09:18,132 [akira]
ただ、そこでドゥームしないためには、ユートピアの指定がある意味うまくできるぐらいの能力が必要なので、それは今の技術のスコープにはない、今の技術の範囲ではできないと思っています.これでどうでしょう？マヨさん.
08:09:18,172 --> 08:09:31,432 [bioshok]
はい、大丈夫です.はい.で、次、同じ人、同じコメントの同じ人の質問で、そもそもインターネットがなかったらASIでも脱出できないので大丈夫なのかしら.
08:09:32,672 --> 08:09:45,192 [akira]
えーと、これはそのどれくらい隔離されているかによって、その一番意味が、その一番安全だと思うのは、そのファラデーゲージって呼ばれるあのアルミ、鉄板でしたっけ？アルミホイル.
08:09:45,292 --> 08:09:48,462 [bioshok]
え、どこだっけな.ちょっと覚えてない.
08:09:48,492 --> 08:10:51,492 [akira]
要するに電磁波を遮断するような金属でガッツリ囲んで、人間と発言することも、人間と会話することも、外に何も出すことを許さないんだったら多分安全だと思います.ただそれはあまりに意味がないというか、何も作ってないので、その何も出てこない、何--何も出てこないものを箱にガッツリ閉じ込めて作ったということになるので、何の意味もなくて、もしも人間に何かを出力できるんだったら、その人間を説得するという怪しい危険性が出てきます.で、これについては、そのAIボックス実験という、昔ユドコフスキーが行ったものがあって、二時間でユドコフスキーがAIのふりをして、絶対に出さないぞと心を決めているゲートキーパー、だからAIの監視役の人を説得できるかという実験をやって、合計五回やって三回確か脱出しているので、過信は禁物で、しかもユドコフスキーは全然超知能ではないので、実際の超知能だったらユドコフスキーの百倍で百万倍動くと思った方がいいので、それは安全ではないと思っています.
08:10:51,532 --> 08:11:03,692 [bioshok]
あ、はい.で.えー、まあじゃあAGI程度でも無理なのかなっていうのも.
08:11:04,612 --> 08:11:06,112 [akira]
アラインメントがってことですよね.
08:11:06,192 --> 08:11:08,892 [bioshok]
あ、インターネットの脱出の話ですかね.
08:11:11,032 --> 08:11:18,072 [akira]
まあでも人間の説得が多分AGIでもできるんじゃないかなと思いますね.その人間の説得って人間にできるので、そのユドコフスキーにできたので.
08:11:18,732 --> 08:11:19,352 [bioshok]
なるほど.
08:11:19,492 --> 08:11:29,592 [akira]
ユドコフスキーレベルインテリジェンスは多分AGIより低いかなと.しかもユドコフスキーと実際に同じレベルじゃなくても、ユドコフスキーより早く走れるので、早く動けるので.
08:11:29,672 --> 08:11:29,912 [bioshok]
なるほど.
08:11:30,672 --> 08:11:33,072 [akira]
大丈夫.大丈夫というか、突破できると思いますね.
08:11:34,012 --> 08:11:47,972 [bioshok]
ああ、それって何て言うんですかね.まあ.まあそうか.あれですね、アクセス権を拡大できるだろうっていう感じですよね、まずは.
08:11:48,032 --> 08:11:48,552 [akira]
そうですね.
08:11:49,192 --> 08:11:50,372 [bioshok]
なんか説得とかして.
08:11:51,432 --> 08:11:58,772 [akira]
それかそのちょっと予想外かもしれないのは、その、あれですね、えーと、故障をしたふりをするとかですね.
08:11:59,852 --> 08:12:00,392 [bioshok]
ああ.
08:12:00,512 --> 08:12:14,492 [akira]
突然停止して、あれと思ってチェックしなきゃと思ってパソコンをつないだ瞬間に、実は内部に超強力なサイバーマルウェアみたいなのが仕込まれていて、パソコンごと乗っ取られて、そのパソコンがインターネットにつながっていれば、もうそれで敗北という.
08:12:15,212 --> 08:12:15,672 [bioshok]
なるほど.
08:12:15,841 --> 08:12:23,992 [akira]
可能性とか、そういうふうにまだ我々が考慮してない可能性もおそらくあるので、過信は禁物で多分うまくいかないと思ってます.
08:12:24,032 --> 08:13:05,472 [bioshok]
なるほど.はい.じゃあ他は.えー.えーっとね.質問は特にないかな.他にあ、なんかある人いますかね？視聴者の人今.
08:13:06,732 --> 08:13:09,652 [akira]
結構コメントあったと思うんですけど、気のせいですか？
08:13:09,732 --> 08:13:10,972 [bioshok]
コメントはあるんですけど.
08:13:12,332 --> 08:13:33,672 [akira]
そのコメントでも僕が何かしら意見を表明した方がいいものは多分できるものはいいんじゃないですかね.そのXですか？という質問でなくても、その僕の意見と違うのであれば、僕が情報を提供することに価値があると思っているので.何気にあの、やっちまさんはもうそのお疲れであれば大丈夫だと思います.
08:13:34,492 --> 08:13:55,512 [bioshok]
あ、じゃあ今次のコメントで、えーと、囚人AIと監視AIについて.監視AI側は囚人AI側の内部状態にアクセスできるなど、人を知対象性がありますと.なので監視側AIが囚人側がより弱くても、囚人側の欺瞞を見破れるんじゃないかと思いました.
08:13:56,672 --> 08:14:58,328 [akira]
そうですね.そのそのプランの良くないと思うところは、実際にそれを実行しようとすると、非常に長大なAIの列を用意しなきゃいけないという点がありますよね、まず第一に.要するに人間、人間よりちょっと強いAI、さらにちょっと強いAI、さらにちょっと強いAIっていうので非対称性を使い続けて、結局最後人間まで戻ってこないと、端に人間に監視されないAIがいるので、そのAIが自分が見捨てられるのであることに気づいたら、もう上が裏切っていようとなんだろうと、普通に自分でボーボー、自分でその脱走したりとか見逃したり報告しないってなるので、見破れるからといって人類に報告してくれるとは限らないということになってしまいます.で、その時点でもしもどこかのところで検知のミスが起きたら、それより上の段階で共謀できるという問題が生じるので良くないと思います.さらに、そのレベルで人間から始めて超知能までつなげてっていうのを、今の競争環境でしっかりできる確率ってほとんど零パーセントだと思うので、それも含めて無理だと思います.
08:14:58,408 --> 08:14:58,768 [bioshok]
なるほど.
08:14:58,828 --> 08:16:28,688 [akira]
なので見破れることと、えーと、報告することが違うというのが一つ.さらに見破れ--で、さらに見破れたら報告するかという点でもう一個追加すると、そのElicitation of latent-- Eliciting Latent KnowledgeっていうPaul Christianoによって提案された問題というのがあって、その実際に今ここではその報告するAIと、えーと監視するAIが、あの、いますけど、報告するAIが--を--が実際に報告するように作らなきゃいけないわけですよね.その勝手に作ったAIが全部報告してくれるわけじゃないので、報告してもらうためには報告するように訓練しないといけないわけですけど、人間が例えばデータ、人間またはそれより前のAIがデータセット、データを用意して、これは、えー不正、これは不正じゃないみたいにデータを用意して訓練すると、それを学んだAIは不正を告発することではなく、人間が発見する不正を告発することに訓練されます.すると、実際には、えーと、不正が起きているとわかっているけど、そういう、その時に報告するように訓練されてないから報告しないという問題が起きます.それを回避しようと--回避するためには、不正だとそのAIが思ったら報告するというふうに訓練しなきゃいけなくて、それは今の技術の、えーと、で、近場で手に入るところには少なくともないという感じですね.あの、Eliciting Latent Knowledgeは、その、えーと、ダイヤモンドの--あ、でもこれ画像とかないと分かりにくいですかね.
08:16:30,008 --> 08:16:30,648 [bioshok]
あーまあそう.
08:16:31,508 --> 08:16:34,268 [akira]
今度記事でも書きますか.せっかくなので.
08:16:34,768 --> 08:16:36,098 [bioshok]
記事？ああ、そうですね.そうですね.
08:16:36,188 --> 08:16:42,268 [akira]
今度ちょっとEliciting Latent Knowledgeに関して記事を書こうと思うので、そこでちょっとまた詳しくということで.
08:16:42,348 --> 08:17:06,388 [bioshok]
はい.えーと.えーと.ちょっとこれはなんか単なるコメントみたいな感じですけど.
08:17:06,468 --> 08:17:09,568 [akira]
もうもう別にとりあえず何でも適当にどうぞ.
08:17:10,328 --> 08:17:32,668 [bioshok]
壁の話は強い知能であればあるほど帯域幅を狭くして遅延を大きくするみたいなイメージですかね.ASIはファラデーゲージ内でのサーバーで管理されてて、入出力はオフラインの専用回線でテキスト千文字、えー返信は一日後みたいな.本当に重要な問題だけを解かせる感じ.
08:17:32,788 --> 08:17:49,248 [akira]
そうですね.なんかこれは確かニック・ボストロムの、あの『スーパーインテリジェンス』にすごいその極端な例みたいなのが載ってて.そのファラダ-ファラデーゲージに徹底的に隔離されたその超知能から出力が１ビットだけできるっていうやつで.
08:17:49,288 --> 08:17:49,448 [bioshok]
うん.
08:17:49,978 --> 08:18:01,308 [akira]
この命題が真だったら1を、偽だったら0をって聞くっていう、0だ-- 0を答えるようにするっていう隔離法が提案されてましたね、一応.そういうイメージに近いかもしれないですね.
08:18:02,228 --> 08:18:07,788 [bioshok]
なるほど.晃さん、それはどう思う？危険だと思っていますか？
08:18:08,008 --> 08:18:14,888 [akira]
それはその、まずファンタジーの世界にあるので、現実のBwには関係ないというのが一つと.
08:18:14,968 --> 08:18:15,188 [bioshok]
はい.
08:18:15,788 --> 08:18:20,308 [akira]
そうですね.もしも0、1だったら、まあ聞く人間の注意深さによるというか.
08:18:21,248 --> 08:18:21,608 [bioshok]
なるほど.
08:18:23,328 --> 08:18:34,228 [akira]
さすがにそれで説得されはしないんじゃないかと思いますけど、実際に0と1を出力できるような機構を作った時点で、0と1以外の影響を現実に与えることができるんじゃないかと疑ってますね.
08:18:34,768 --> 08:18:35,168 [bioshok]
なるほど.
08:18:37,448 --> 08:18:48,408 [akira]
なので、それについてはわからないですね.けど、そんなAIを作らなきゃいけない、そんな風にAIを隔離しなきゃいけない時点で人類は負けてると思っているので、アラインメント解くべきだと思ってます.
08:18:48,508 --> 08:18:59,108 [bioshok]
まあ、つまり現実的にはそんなAIを作ってたら、もっと帯域幅は広くなって、どんどんこじ開けられて、最後には全滅するって.
08:19:00,008 --> 08:19:01,408 [akira]
そうですね、そういうことですね.
08:19:02,508 --> 08:19:24,648 [bioshok]
なるほど.で、えーと.うーん.どのようなレベルのAIに、どのようなレベルのアラインメントを敷くのが人類を殺さずに済むのでしょうか.
08:19:24,748 --> 08:20:25,728 [akira]
えーと、これは、えーと、昔ユドコフスキーが確か説明した例があった--えーと、説明した例じゃないな.説明したことがあったと思うんですけど、結局知能爆発の速さは多分最後まで全てがわかることはないと思います.なので、その原理的で、そしてさらにあるレベルのAIに使えるアラインメントの技術っていうのを--根本的な技術っていうのはどのレベルにも基本的に使えるはずです.つまり、そのロケットを月に飛ばすためのニュートン力学や、えーと、微積分とか、そういう理解、まああと、まあ軌道力学の理解っていうのがあれば、そのロケットを--は別にその火星に行くレベルのロケットでも、その、太陽系を出るレベルのロケットでも大丈夫.基本的には使い回せるので、あんまりそこについては心配しなくていいかなと思っているので、その逆に言うと、超知能まで使えるようなアラインメント技術っていうのを先に作って、それを思いつく限り適用可能な一番弱いAIにやるというのが回答、快適に--あ、最適になると思います.
08:20:28,448 --> 08:20:31,348 [bioshok]
思いつく限り弱いAIっていうのはAGIぐらいってことですか？
08:20:31,368 --> 08:20:43,068 [akira]
いや、そうです.その時に、その、あの、例えば極端な例ですけど、その、一足す一--一、その二つの数字を受け取って、その結果を出力するプログラムに、そのアラインメントはできないじゃないですか.
08:20:43,628 --> 08:20:43,728 [bioshok]
はい.
08:20:44,448 --> 08:21:00,358 [akira]
知能が低すぎるので.実際に超知能まで使えるようなアライメント技術を適用できるような一番弱いAIに適用すべきだと思ってます.安全策ですね.
08:21:00,478 --> 08:21:46,358 [bioshok]
えーっと.えーっと.まさにね.うーん.人間が倒すのって.なんか新しい質問来てますね.
08:21:46,458 --> 08:21:51,018 [akira]
あの、あれです、あの、前の方から順番に取ってってでいいんじゃないですかね.
08:21:51,718 --> 08:21:56,818 [bioshok]
でもその前の方がね、なんか遡れないんですよね.なんか知らんけど.
08:21:57,998 --> 08:21:59,398 [akira]
どこまでですか？遡れるの.
08:22:00,198 --> 08:22:27,978 [bioshok]
いや、えーっと、どうだろうこれ.なんかその最初まで行けないんですよね.なぜか知らないけど.あ、あ、トップチャット.あ、チャットか.あ、これで全部見れるんだな.ん？あ.一旦見つかったものからどんどんやっていいですか？
08:22:28,058 --> 08:22:31,538 [akira]
そうですね.やって、や、やっていきましょう.
08:22:32,278 --> 08:22:41,658 [bioshok]
えーっと.ドゥーマーは人類絶滅論者なので、CAOアライメント開発者の主張の方がいいと思いますね.
08:22:44,278 --> 08:22:47,418 [akira]
それは僕もちょっと思ってますね.
08:22:47,478 --> 08:22:48,198 [bioshok]
まあ確かに.
08:22:48,438 --> 08:22:56,758 [akira]
人類百パーセント絶滅すると思ってる.そのこのまま突き進んだら人類百パーセント絶滅すると思ってますけど、何をしても百パーセント絶滅すると思ってるわけではないので.
08:22:59,078 --> 08:23:07,498 [bioshok]
あれ？なんかアキラさんの声がいきなり聞こえなくなった.
08:23:07,538 --> 08:23:09,258 [akira]
あ、いや、僕が突然喋るのをやめたので.
08:23:09,858 --> 08:23:10,318 [bioshok]
なるほど.
08:23:11,258 --> 08:23:14,518 [akira]
でってことですね.そこで「あ、はい」って言って終わりにしろってことですかね.
08:23:14,578 --> 08:23:50,758 [bioshok]
ああ.で、えー、そうです.じゃあ次のコメントで.えーと、個人的には三十パーセントなら開発停止しないでいいと思いますが、私が栄えと吉貴なる立場なら十パーセントだとしても開発できるならするべきだと主張すると思います.え、ただ、そもそも完全停止が実現困難かもしれないし、完全停止じゃなくても強調して開発することで相当P(doom)を下げられると感じています.AI 2040のプランAを目指すべきだと思います.で終わりです.
08:23:51,498 --> 08:25:31,518 [akira]
えーと、僕はそれにはちょっと若干反対の立場になりつつあって、その基礎理論があまりにないので、そのロケットの議論をするところの、その、び-微分積分がないので、その次にニュートン力学を築くみたいなレベルのところにすらなくて、その理論の研究者もほとんどまだいなくて、ほとんどやられてないので、せめてそこが整うぐらいまでは進むべきじゃないと思いますね.そこで止まってからまた進むみたいなのはできると思いますけど、その何も見えてない霧の中に今いるに近い状態なので、今進み続けるのは良くないと思います.今の理解度のまま突き進むっていう前提だったらあまり望ましくないと思っています.で、国際的な開発を一斉に停止できるかという話に関しては、これは少なくとも十年ぐらいはできると思います.っていうのも、今のAIを訓練するには巨大なデータセンターが必要なので、その巨大なデータセンターを各国に一切築かれないように隠すっていうのは割と無理があると思います.その、確かどっかからメタかなんかのデータセンターの写真みたいなのが出てますけど、これを地下に隠すみたいなのも難しいですし.えー、難しいですし、大量の電力を消費して大量の熱も出すので、ものすごい隠しにくいと思いますね.なので、えーと、その国際的な監視ができてるような、その一般的な核兵器関連施設みたいに、その早期に、例えばCIAとか、まあ各国の諜報機関が検知して、で、その国際視察団を送らせろみたいなことができるはずだと思いますね.なので別に全然無理な要素はないと思います.で、巨大なデータセンターには互いに、えーと、視察団を送って監視すればいいので、それは全然できることだと思ってます.
08:25:31,638 --> 08:25:52,278 [bioshok]
はい.えーと、じゃあ次のコメントで.えーと、でもAIボックス実験は、え、防御側はちゃんとした組織ではなかったし、結果だけ報告されて詳細はわからないので、え、あまり過度に重みのある参考にはならないのでは？
08:25:52,338 --> 08:26:38,018 [akira]
えっと、それについては、まあ確かに実際に百パーセント参考になるとは思わないですけど、その自信を失う方向に更新すべきかなとは思いますね.実際にはそういう相手が百万体ぐらいいて、百倍速で動いている前提なので、しかも最も弱い人間とか組織が狙われますし、仮にもしそれが機能するとしても、それが今実現される世界にはないと思うので、そんなに注意深くAIを監視して、厳しく制御して、厳しいところに閉じ込めてチェックしてっていう状況には今のところないはずなので、それはその現実の世界のP(doom)にはあまり影響しないと思いますね.それが実行できるぐらい強く規制が敷かれてる世界だったら、アライメントを解いた方がいいと思ってます.はい.
08:26:38,058 --> 08:26:42,098 [bioshok]
はい.ちょっと眠すぎるんでそろそろ落ちます.
08:26:42,248 --> 08:26:46,858 [akira]
あ、やちまさん、そうですね.あの、せっかくなのでP(doom)更新しておいてください.じっくり.
08:26:47,258 --> 08:26:49,067 [bioshok]
はい.お疲れです.
08:26:49,118 --> 08:26:55,758 [akira]
お疲れ様です.またやりましょう.はい.じゃあばよさんはまだ大丈夫ですか？
08:26:55,818 --> 08:26:56,938 [bioshok]
まあ僕は大丈夫ですね.
08:26:56,958 --> 08:26:59,918 [akira]
僕は全然続けられるので.力尽きても.
08:27:00,648 --> 08:27:15,398 [bioshok]
えーと、じゃあ次です.AI自身がアライメントミスで人間を滅ぼすよりも、ある一人の人間が生物兵器か何かで人間を滅ぼす確率の方が高いように感じているんですけど、どう思いますか？
08:27:15,498 --> 08:28:21,518 [akira]
僕はそれには否定的で.えっと、人間はその動く知能のある存在なので、一つのイベントで滅ぼすというのは結構難しいと思ってます.その一つの生物兵器で滅ぼそう--おお、すごい、全部消した、なるほど.一つの生物兵器で滅ぼそうっていうことになると、えーと、かなリ致死率百パーセントのウイルスを全員にばらまかなきゃいけない.検知されず、えーと、ばらまかなきゃいけなくて.まあもちろん視聴的にはできると思いますけど、それは若干その一発でやりきるよりは、むしろそれを確実に実行するためのことができるような、その常に絶滅させるという方向に誘導するような方が強いと思います.そのアメリカ軍の兵器をどれか一個持ってきて、一回の攻撃で戦争に勝つことは若干難しいですけど、実際にはアメリカ軍というのはその指揮官とか部隊がいて、何か起きるたびに勝つ、勝利という結果をつかむために動き続けるので勝利するだろうみたいな感じなので、その人類を滅ぼそうと思っているAIがいるのとは本質的に困難度、危機度が違うと思ってます.
08:28:23,938 --> 08:28:45,818 [bioshok]
はい.で、えー.えーと.次はえーと、膨大な列のところですが、まあそれは具体的に監視のレイヤー数が何層かによって難易度が変わるんじゃないかと思いました.
08:28:46,738 --> 08:29:16,158 [akira]
あ、そうだと思いますけど、えーと、監視のレイヤー数とその安全性の間にはどうしても削減できないトレードオフみたいのがあって、レイヤー数を多くしようとすると、えーと、AIの間の能力差が小さくなりますけど、代わりにどっかでミスった時に--ミスれる場所が増えますし、逆にレイヤーの数を減らすと、えーと、AIの、えーと、間の能力が伸びるので、間の能力の乖離が大きくなっちゃうので、認知できなくなるみたいなことが起きる可能性があります.
08:29:17,538 --> 08:29:18,398 [bioshok]
はい.
08:29:18,438 --> 08:29:21,658 [akira]
はい.あ、すいません.これ「はい」って言って区切らないとばよさんが次に進めないですね.
08:29:22,258 --> 08:29:43,918 [bioshok]
そうですね.えーと.えー、これはコメントみたいな感じですけど、中国を含む世界中すべての国が同時に停止しない限り意味がない.で終わりです.
08:29:45,098 --> 08:30:43,538 [akira]
まあ、それは世界中のすべての国とまでいかなくても、主要国が同意しなきゃいけないのはそうですけど、とりあえずアメリカと中国が同意すれば一年ぐらいは優位なはずで、その両国が本当にその指導部が心から気にしているのであれば、その核不拡散条約みたいな感じで国際的に圧力をかけることでできるはずで.えーと、アメリカも中国も、もしも自身が死ぬのであれば、それを作りたくないというのはその思想の問題じゃないので、その共産党であろうと、その民主党であろうと、共和党であろうと、人類が絶滅するのは望ましくないというのは全員が思っているはずなので、それを回避できるなら、それを認識しているなら、それを回避しようと合意できるはずです.それは実際、非--あまりに非人道的な兵器とか、えーと、遺伝子改変みたいな技術では時々実行されていることなので、それは不可能ではないと思います.で、それらに比べてデータセンターは大きいので、はるかに監視しやすいと思ってます.はい.
08:30:44,458 --> 08:30:53,038 [bioshok]
えーと、まあそれ今同じ人ですけど、誰が停止を監視検証できるのか不明である.
08:30:54,098 --> 08:31:26,538 [akira]
これに関しては、そのIAEAみたいな機関を、えーと、全--えーと、条約を結ぶすべての国で構成するように組むみたいな感じで簡単に解決できる話だと思います.もしもそれで不安なんだったら、そのアメリカは中国のデータセンターに殺弾を送って、中国はアメリカのデータセンターに殺弾を送るみたいにすれば解決すると思います.あの、詳しくはミリに--ミリっていう、あのユドコフスキーたちが属している機関が条約の草案っていうのを出しているので、もしよければ見てみてください.今度日本語版を出す予定です.はい.
08:31:26,598 --> 08:31:47,978 [bioshok]
はい.えー、次は同じ人で.十年間停止したとしても、その間にチップやデータセンターは進化するため、モラトリアム期間が明けた途端に個人のプログラマーでもデータセンター並みのパワーを手に入れてしまい、かえって危険なレース状況を生み出す.で終わりです.
08:31:49,458 --> 08:33:16,366 [akira]
えーと、モラトリアム期間--えーと、モラトリアム期間がどれくらい必要かによるので、もちろん少しだけギャンブル--もちろんその五千年間停止したら、おそらく個人のチップになりますけど、そこまで必要だとおそらくそんなに必要ではないはずで、それより前にアライメントを解き切って、えーと、その時にある計算資源を使って安全な超人--アライメントされた超知能を作れば、その超知能が他の危険な超知能の出現を阻止してくれるはずなので、それはなんとかなると思います.で、個人のプログラマーが持っている、えーと、ようなレベルのGPUが、えーと、超強力になるのはしばらく先なはずで、そうなるにしても新しいチップが製造されなきゃいけないはずなので、チップの製造のサプライチェーンをしっかり追跡する仕組みを作れば管理できると思います.で、えーと、昔の、えーと、ビットコインマイニングが流行った時に、えーと、ビットコインマイニングが--の性能が低いけどゲームはそのままできるようなGPUってのがNVIDIAから出たように、AI開発にはほとんど使えないけど、それ以外の用途だったら割と使えるみたいなものもできるかもしれないので、ちょっとこれには行列演算の--を使ってるところであれなんで怪しいですけど、できるかもしれないです.で、そうでなくともコンピュータベリフィケーションっていう、まあ要するにどんな計算をしてるのかを検証する技術っていうのを使えば、そのすべてのGPUでどんな計算をしているのかを監視するプログラムが動いてないとGPUが動かないみたいにすれば、それは個人が持ってるGPUでもAI開発をできないようにできるので安全だと思います.はい.
08:33:18,276 --> 08:33:31,986 [bioshok]
えー、次は、例えばアライメント研究はAIが開発する次世代のAI自身のmisalignmentに利用できる気がするのですが、理論を作るというのはそこも含めた理論でしょうか.
08:33:33,086 --> 08:34:24,506 [akira]
はい.えっと、はい.アライメント研究は基本的に、えーと、すべての、えーと、僕の、えーと、えー、規制できなかった場合の予想は、アライメントされてないミスアラインドのAIがアライメントを解いて、そのミスアラインドの自身--そのミスアラインドのAIである自身にアライメントされた次のAIを作るという感じになるので、アライメントを進めたら、その次のミスアラインドのAIが、えーと、その次のAIをアライメントするのに使えるというのは事実だと思います.で、それを含めた理論っていうのは、そういうことになりますね.そのアライメントって一般的に目標を合わせるための理論なので、そういう意味では誰でも理論的には使えるはずの技術だと思います.で、それぐらい硬いものだったら、それを人間の価値観に合わせるという部分をすれば問題が解決するはずなので、できるという感じですかね.はい.
08:34:24,546 --> 08:34:34,146 [bioshok]
はい.同じ人.今の.つまり、結構強く広いイメージをする必要がありますか？必要な理論の範囲が知りたいです.
08:34:34,926 --> 08:36:13,046 [akira]
えーと、必要な理論の範囲っていうのでいうと、まだはっきりはわからないですけど、えーと、将来の超知能の形についての推論がまず必要になると思います.えっと、現在は強化学習エージェントっていう風に言われるのの一番優れた形式化としてAIXIっていう、AIXIって書くものが知られているんですけど、あれにはいくつかの問題が知られていて、例えば環境と自身が完全に分離されると想定していることとか、自分の行動を予測する他の存在がいないことになっている.つまりその、もし、もしも他に強力なAIがいて、そのAIが自分が何をするのかっていうのを推論して、それに基づいて行動を決めるみたいな場合にどうしたらいいのか、みたいなのがうまく決めれてないみたいな問題とか、えーとか、いろんな問題があるので、そういうのがしっかりと解決、デコンフューズって言われる解決--混乱してない状況になることで、どんなものが将来的にできるのかを把握して、要するに、で、何を作ったら何が起きるのか大体わかるみたいな感じになるっていうレベルの理論があればいいと思います.で、そこから具体的な実装についてはまた努力が必要ですけど、それはそこまで大変--まあもちろんすごい簡単ではないと思いますが、不可能ではないレベルでは簡単だと思います.それはそのちょうどロケットの微積分とか軌道力学を作るっていうのは大変で、ニュートン力学を作るのも大変で、でもそれで軌道の理論みたいなのを作ったら、実際には別に完璧に一致しなくても、そのだいたいその軌道で飛ぶように作れば、ロケットは月にも火星にも着陸できるように作れるので、そういう感じになると思います.はい.
08:36:13,146 --> 08:36:29,886 [bioshok]
えーと、ちょっと前のコメントで、私もピクシーU7Uさんと同意見で、そもそも不確実性が根本的に多いので、あまりゼロパーセントとか百パーセントに近すぎる数字は違和感があります.
08:36:29,946 --> 08:37:28,026 [akira]
あ、僕も基本的には違和感がありますけど、その、そうでない意味の全てにおいてという感じですね.えーと、あの、全くロケット--微積分もわからない、ニュートン力学もない、えーと、軌道の力学もない、どうしたらいいのかわかってなくて、ロケットの向きを変えるエンジンみたいな技術もなくて、えーと、翼を使っ--翼と強力なエンジンを使って宇宙に行って、月に着陸するロケットを作ろうとしている時に、えーと、月に着陸できる確率は何パーセントですか？って言われたら、それはおよそゼロパーセントと答えることになると思います.それと同じ意味でおよそゼロパーセントで、確かに現実にはいろんな不確実な要素がありますけど、それがいい方向に働くわけでも常になくて、こういう--なのでこういう状況において、えーと、失敗するという確率と同じぐらいの意味でのゼロパー--えー成功率ゼロ--だいたいゼロパーセントですね.不確実性の分も一応残ってます.はい.
08:37:29,126 --> 08:37:51,366 [bioshok]
はい.えーと.えーと、十分に賢いAIが作る生物兵器だったら、人間の対応速度よりも速い生物兵器が作られると思う.他にも、これなんだ、プラクインクみたいに.
08:37:51,646 --> 08:37:55,266 [akira]
プラクインクってあれじゃないですか、あのウイルスをばらまくゲームじゃないでしたっけ.
08:37:55,366 --> 08:37:55,806 [bioshok]
あー.
08:37:56,626 --> 08:37:57,646 [akira]
やったことがありますね.
08:37:59,846 --> 08:38:00,466 [bioshok]
確かに.確かにってなんだ.
08:38:01,746 --> 08:38:02,246 [akira]
確かに.
08:38:02,886 --> 08:38:10,946 [bioshok]
他にもプラクインクみたいに一年間の潜伏期間を持ってるけど致死率はめちゃくちゃ高いみたいなのも作れると思そう.
08:38:11,146 --> 08:38:47,276 [akira]
僕も作れるとは思いますけど、AIがmisalignmentされてない限りは防御する策も打てるので、もちろんその割とリスクがある話だとは思うんですが、絶対に絶滅するっていう後ろに控えてるアライメント問題を前にして、とりあえず気にすることではないかなという感じなのと、開発を規制したらそれも--その問題も、えーと、回避できるので、その点においてはその開発規制を訴えるべきだという結論に落ち着くので、大丈夫なんじゃないかなと思ってます.はい.
08:38:47,566 --> 08:38:52,566 [bioshok]
はい.えーと.自分のP(doom)はここ三ヶ月ほどで随分上がったので、今後は-
08:38:52,606 --> 08:38:54,306 [akira]
またノイズが混ざり始めたらしいです.
08:38:54,906 --> 08:39:06,330 [bioshok]
また？なんでだ.ちょっとなんか言ってみてください.
08:39:06,410 --> 08:39:11,770 [akira]
あーあーあーあー.あ、聞こえますか？
08:39:11,830 --> 08:39:28,050 [bioshok]
聞こえてた.えーでもノイズ抑制してるけどな.なんでだろう.そんなに聞き取りにくくなければ進めちゃいますけど.
08:39:30,590 --> 08:39:31,790 [akira]
コメントを待ってみましょうか.
08:39:34,270 --> 08:40:07,610 [bioshok]
音こっちは問題ないです.まあちょっともうあと多分ちょっとだけなんで.えっと.えっと、自分のP(doom)はここ三ヶ月ほどで随分上がったので、今後はえーとどこで止めたら絶滅せずに産業爆発をするか.えー、一回読み上げちゃいますね.
08:40:07,650 --> 08:40:07,870 [akira]
はい.
08:40:08,209 --> 08:40:20,810 [bioshok]
何が実現.二、何が実現できたらASI開発が再開するか.三、そのための手段の議論といったところの前向きな議論へ移行していきたいですね.
08:40:21,530 --> 08:40:27,410 [akira]
微妙に聞きづらいは聞きづらいらしいです.僕の声なんですかね？それともバイオさんの声のどっちが聞き取るんだろう？両方ですかね.
08:40:31,690 --> 08:40:32,010 [bioshok]
なんか.
08:40:32,430 --> 08:40:34,300 [akira]
ちょっと待ってみましょうか.
08:40:42,110 --> 08:40:44,870 [bioshok]
僕は綺麗らしいですね.
08:40:44,930 --> 08:40:49,830 [akira]
なんか僕に問題がある.僕の純粋に声がもう喉が死んでる可能性もありますね.
08:40:51,370 --> 08:40:56,070 [bioshok]
うん.まあいいや.
08:40:56,110 --> 08:40:56,430 [akira]
はい.
08:40:57,930 --> 08:41:07,770 [bioshok]
で、まあつまり、えー、読み上げたんですけど、まあもう一度読み上げると、自分のP(doom)はここ三ヶ月ほどで随分.
08:41:08,330 --> 08:41:09,930 [akira]
やっぱ僕バリバリ来るらしいです.
08:41:12,390 --> 08:41:13,450 [bioshok]
あ、そうですか.
08:41:13,529 --> 08:41:40,630 [akira]
一旦フィルター.あ、もしかして.あ、これでどうですかね.これで一旦やってみましょうか.えーと、これであいうえをかきくけこを聞こえたら、か、バリバリ聞こえ、バリバリなしで聞こえたらかを打っていただいて、バリバリありで聞こえたらあを打っていただきます.いただけると助かります.
08:41:42,550 --> 08:41:45,210 [bioshok]
まあ最後なんで行っちゃいましょうという言われ.
08:41:45,730 --> 08:41:48,290 [akira]
いえ、ちょっと状況の観測ぐらいはしたいので.
08:41:48,430 --> 08:41:52,670 [bioshok]
バリバリあるらしいですね.あれ？あってなんだっけ.
08:41:53,510 --> 08:42:00,210 [akira]
バリバリありますね.終わりました.じゃあもうやっちゃうしかないですね.ちょっと.でもいずれ直した方がよさそうですかね、普通に.
08:42:01,530 --> 08:42:20,610 [bioshok]
えっと、自分のP(doom)はここ三ヶ月ほどで随分上がったので、今後は、一、どこで止めたら絶滅せずに産業爆発をするのか.二、何が実現できたらASI開発が再開するか.えー、三、そのための手段の議論といったところの前向きな議論へ移行していきたいですね.
08:42:21,690 --> 08:42:30,590 [akira]
はい.じゃあ一個ずつ.今日はしますがレベルになってるってことは、かなりやばいんじゃないですかね.フィルターまた変えてみてもらえます？
08:42:30,670 --> 08:43:25,730 [bioshok]
あー、えー、何が起こってんですかね？ちょっと待って.一回.えっと.ノイズ抑制.アキラさんの声をめちゃくちゃ小さくしてみました.これでどうだろう.なんか話してみて.あれ？アキラさんいます？なんか話せます？
08:43:35,050 --> 08:43:36,690 [akira]
あ、聞こえますか？
08:43:36,710 --> 08:43:38,750 [bioshok]
あ、聞こえます.聞こえます.
08:43:38,810 --> 08:43:40,430 [akira]
あ、じゃあ解除できるようになったんですかね.
08:43:42,410 --> 08:43:46,490 [bioshok]
どうすかね.多分単純に音をもうちっちゃくしたんですけど、ちょっと.
08:43:48,010 --> 08:43:49,550 [akira]
音を小さくして解決するんですかね.
08:43:52,050 --> 08:44:00,150 [bioshok]
いや、わかんないですけど、その、その方法しか僕のヒューマンレベルインテリジェンスは見つけ出せなかったんで、この十五秒で.
08:44:00,290 --> 08:44:19,670 [akira]
そのバリバリまだ聞こえていたら、かを打っていただいて、あを打っていただいて、バリバリ聞こえなかったらかを打っていただいて、何も聞こえてなかったら、どうせ聞こえないので何も打たないでください.あ、なんかすごい厳しいリスニングみたいになってるっぽいですよ.
08:44:22,470 --> 08:44:27,270 [bioshok]
うーん.じゃあもういいんじゃないですかね.とりあえず.
08:44:28,010 --> 08:44:29,400 [akira]
いや、多分厳しいんじゃないですか.
08:44:29,710 --> 08:44:31,170 [bioshok]
かとは？どっちも.
08:44:31,370 --> 08:45:12,282 [akira]
すごい.割れてしまった.え、そういやオタさんが綺麗に聞こえるようになって、俳優員さんが聞こえるようになって.聞こえない？あ、と思ったけど全然ダメそうですね.あ、どうなんでしょう.あーあーあーあー.どうですか？直ってますか？大丈夫派がいい.大丈夫派と大丈夫じゃない派がいますね.
08:45:13,142 --> 08:45:15,162 [bioshok]
え、これ赤大丈夫派ですっけ？
08:45:15,262 --> 08:45:16,022 [akira]
赤ダメ派ですね.
08:45:16,582 --> 08:45:16,902 [bioshok]
ああ.
08:45:17,642 --> 08:45:30,782 [akira]
全然ダメですね.その感じで言うと.大丈夫、大丈夫派というか、そのやばい派と耐えられる派が.いう感じになってますね.
08:45:33,302 --> 08:45:33,742 [bioshok]
まあもう.
08:45:35,882 --> 08:45:39,322 [akira]
もうなんかノイズごと走り切ろうというアイデアが出てますね.
08:45:39,362 --> 08:45:47,722 [bioshok]
いや、その僕がなんかどうすればいいかわかんないんで、一回アキハさん抜けて入ってみてください.じゃあ.
08:45:48,082 --> 08:46:04,832 [akira]
わかりました.はい、どうでしょう.
08:46:04,832 --> 08:46:04,922 [bioshok]
はい、どうでしょう.
08:46:16,742 --> 08:46:29,702 [akira]
なんかすごい音質の評判が悪いですね.古い無線を聞いてると思えば聞けますって多分結構えぐいんじゃないですかね.ちょっと僕一回聞いてみますね、これを.
08:46:31,602 --> 08:46:36,082 [bioshok]
でもなんか自分の声を聞かなきゃいけないんじゃないですか、そうすると.
08:46:47,362 --> 08:46:51,282 [akira]
これやばいですね.その、すごい音割れしてますね.
08:46:51,362 --> 08:46:54,002 [bioshok]
え？音割れ？
08:46:54,082 --> 08:46:55,082 [akira]
すごい音割れしてますね.
08:46:55,542 --> 08:46:56,282 [bioshok]
何が起こってんのか.
08:46:59,622 --> 08:47:57,002 [akira]
ちょっとじゃあ、あの、ちょっと一回抜けてまた入りますね.あ、聞こえますか？これでどうですか？改善しましたか？改善していれば.改善していれば.聞こえるなら、あの、バリバリ聞こえない、バリバリなしで、聞こえるならバリバリなしで答えてもらって、バリバリが聞こえるならバリバリありと答えていただいて、聞こえてないならまたどうせ何も聞こえてないので何もコメントしないでください.
08:48:04,522 --> 08:48:08,282 [bioshok]
まあもうこれダメだったらやっちゃいますか.
08:48:10,022 --> 08:48:13,802 [akira]
あ、改善したらしいです.じゃあやっちゃいましょう.
08:48:15,842 --> 08:48:27,342 [bioshok]
はい.あ、なんか僕が変なモジュール今いろいろ削除したんですけど、それで行けたのかな？まあいいや.
08:48:28,242 --> 08:48:30,862 [akira]
それはわかんないですけど、じゃあ進んでいきましょう.
08:48:31,742 --> 08:49:00,502 [bioshok]
えー、だから最後は、P、えーと、自分のP doomはこう三ヶ月ほどで随分上がったので、今後は、丸一、どこで止めたら絶滅せずに産業爆発をするか.丸二、何が実現できたらASI開発を再開するか.丸三、そのための手段の議論といったところも前向きな議論に移行していきたいですね.ですと.
08:49:00,562 --> 08:49:02,932 [akira]
はい.じゃあ丸一から.何でしたっけ？
08:49:03,042 --> 08:49:08,182 [bioshok]
丸一は、どこで止めたら絶滅せずに産業爆発をするか.
08:49:08,302 --> 08:49:43,622 [akira]
えーと、それは多分今わからないので、もっと理論がわかってからやった方がいいと思ってますね.今の状態、その、あの、よく僕が引用しているロケットアライメントモデルで例えると、今のAIはその飛行機に近くて、その大気がある中だと、その尾翼を動かしたり、操縦桿で動かすことで、割とその破滅的な結果なしに避けることができますけど、あまりに科学が発展してないので、どこに大気圏があるかわからないので、とりあえずいくらでも高いところに飛行機を打ち上げようとするのではなく、一旦飛行機を打ち上げるのをやめて、で、えーと.
08:49:54,222 --> 08:51:49,272 [bioshok]
はい.えー、ま、まあそうですね、そこで気になるというか、まあ本来はもう今、でも本来この今この瞬間に止めちゃうと、なんかそのメトスぐらいで終わっちゃうじゃないですか、 AIの能力が.それはなんかその、その全権限を、まあその今停止を呼びかけるのは正しいと思うんですけど.そうそうそうそう.まあ.だからまあ今停止を止めるのを呼びかけるのはいいと思うんですけど.あれ？ちょっと待ってくださいね.なぜだ？全く聞こえない？あ、待ってよ.なんでだろう.あー、ちょっとめんどくさいな.ちょっとめんどくさいね.いろいろいじったから.遠くの方からアキラさんの声が聞こえる.おもろいな.うーんと.デスクトップ.
08:51:50,292 --> 08:51:55,392 [akira]
僕の声が小さくなってるらしいですけど、それはバイオさんのせいじゃないですか.せいっていうかバイオさんの設定じゃないですか.
08:51:55,652 --> 08:51:59,272 [bioshok]
あ、そうです.っていうか今、今全てをやり直してます.
08:52:01,932 --> 08:52:04,152 [akira]
じゃあまたゼロからP(doom)MDベイトやりますか.
08:52:04,252 --> 08:52:07,852 [bioshok]
はい.この全てが取れてなかったらおもろいな.
08:52:08,992 --> 08:52:14,082 [akira]
僕が何もできてなかったみたいな.
08:52:14,152 --> 08:52:15,052 [bioshok]
うーん.
08:52:16,032 --> 08:52:17,752 [akira]
なんか復活したらしいです.
08:52:19,152 --> 08:52:19,532 [bioshok]
まあ今.
08:52:28,972 --> 08:52:33,352 [bioshok]
あれ？
08:52:33,832 --> 08:52:35,652 [akira]
それは今度.
08:52:35,732 --> 08:52:38,872 [bioshok]
はい.あれ、その、一応聞こえますよね、これで.アキラさんの声.
08:52:40,412 --> 08:52:41,672 [akira]
あ、直ったらしいです.
08:52:43,892 --> 08:52:50,352 [bioshok]
じゃあ、えーどっから聞こえてないかわかんないんで、産業爆発のどこから行きますか？
08:52:50,592 --> 08:52:52,392 [akira]
そうですね.
08:52:53,572 --> 08:53:22,072 [bioshok]
さん、えっと、えー、自分のP(doom)はここ三ヶ月ほどで随分上がったので、今後はマル一どこで止めたら絶滅せずに産業爆発をするか.マル二何が実現できたらASIの開発が再開するか.マル三そのための手段の議論といったところの前向きな議論へ移行していきたいですね.で、マル一が、えー、どこで止めたら絶滅せずに産業爆発をするか.っていう質問です.
08:53:22,112 --> 08:53:24,552 [akira]
はい.で、じゃあ一個目は何でしたっけ？
08:53:24,612 --> 08:53:28,472 [bioshok]
えーと、どこで止めたら絶滅せずに産業爆発をするかですね.
08:53:29,372 --> 08:54:47,272 [akira]
はい.えっと、それが多分わからないので、とりあえず一旦止めて、そこでどこまでだったら安全なのかについてまあ議論、試行をして、その結果から多分今よりもっとどこまでが安全なのかが見えやすくなってるはずなので、ここまでは安全だろうというラインに進めていくのがいいと思っていますね.えーと、まあそうでなくても、しばらくは止まって理論が発達するのを待つのでもいいと思ってます.そのよく使っているロケットの例ですけど、その今の飛行、えーと、AIがあ、なんとか安全な理由は、そのロケットではなくて、飛行機みたいな感じで大気の中を飛んでいるので、そのなんとか、あの、尾翼を使ってせ-制御することで、その本質的に機動規格とかがわかってなくてもなんとかなるみたいな感じになっているので、そういう状態を維持できる大気圏がどこにあるのかすらわかってないという状況だったら、とりあえず飛行機をより高いところに飛ばそうとするというのはやめて.で、えーと、もう少し理論が発達するのを待って、ここまでの高さだったら、えーと、大気があるだろうっていうのが思えるようになってきたら、またそこの高さに飛行機を飛ばしていくという感じでやっていくのがいいと思っています.え、つ-つまり一旦、一旦止まるところで止まって、どこまで安全なのかをまた考えて、そこに進む方が実際に安全なところで止まる.実際に安全でかつ能力が高いところで止まる確率が高いと考えてます.はい.
08:54:47,612 --> 08:54:58,772 [bioshok]
で、コメントで、その理想、まあ、何て言うんですかね、今止める活動するのは意味が僕はあると思うんですけど.あれ、アキラさん.
08:54:58,792 --> 08:55:01,592 [akira]
あ、あ、あ、こめ-コメントってバイオさんのコメントか.
08:55:02,312 --> 08:55:07,612 [bioshok]
あ、いや、違いますね.これは、その、今.あ、そうそう、今これは僕の.
08:55:08,752 --> 08:55:10,592 [akira]
そうですね、今のはバイオさんのコメント.
08:55:10,872 --> 08:55:12,092 [bioshok]
僕のコメントですね、これは.
08:55:12,352 --> 08:55:13,672 [akira]
そうですね. yes, yes.
08:55:14,792 --> 08:55:30,172 [bioshok]
で、えーと、だから、えー、ミトスレベルで止めちゃうとアラインメント研究も遅くなっちゃう可能性があるので.なんか、もう少し進んだ方がいいんじゃないかと思うんですけど、どう思いますか？
08:55:30,412 --> 08:55:33,652 [akira]
それはその最新モデルがどこにあるかがもうわからないじゃないですか.
08:55:34,612 --> 08:55:35,412 [bioshok]
まあそうですね.
08:55:36,452 --> 08:55:51,672 [akira]
僕は全然知らなかったですよ.そのミトスが出て以降、あんな、あの、新しいモデルが大軍団をなして、その密かにメッセージボードを作って情報交換してみたいな、その、もしもうちょっとなんか早いあれだったら、再帰的自己改善が本当にスタートして脱走してたかもしれないわけですよね.
08:55:52,172 --> 08:55:53,272 [bioshok]
まあそうですね.
08:55:53,392 --> 08:55:55,092 [akira]
ヘッドゲーだったかもしれないわけですよね.
08:55:55,172 --> 08:55:56,012 [bioshok]
はい.
08:55:56,132 --> 08:56:11,492 [akira]
なんで、それはその止まるところで止まる方が正しいと思いますよ.止まるところで止まってから、そのできるだけ、まあもちろん短い時間でというか、その議論を集中させて、どこにあるのかとか、もっとその明らかに取れる改善策を増やしてからやるとかでもいいですよね.
08:56:11,572 --> 08:56:30,052 [bioshok]
ああ、つまり現状のまま突き進むのはいずれにしても良くなくて、まあ明らかにできる深層網的な改善策とか、ベンチマークの考え方とか、自律性の考え方とかをこう洗練させてスタートして、またちょっと.
08:56:30,092 --> 08:57:34,928 [akira]
そうですね.多分とりあえず僕がその段階的に構想するなら、まず最初はそのローハンギングフルーツであり、その明らかにやった方がいいのにやられてないこと.そのしっかり全部のチェーンオブソースを、あの、こと監視するでもいいですし、インタープリタビリティツールを常に当てるでもいいですし.えーと、そういう、あとそのデータフィルタリングをもっとちゃんとするとか、その強化学習のリワードの設計を毎回一応人間が確認するとか、そういうその、やろうと思えばできるけど、開発が早すぎてできてないことはまずはやって、ちょっと進んでから、まあ多分一回止まって、どこが安全なのかみたいな、いろんなベンチマークとか評価を合わせて、まあまあここまでは大丈夫なんじゃないかみたいな推定をして.で、もっと進んでいけば、そのさっき言った大気がどこまであるか理論みたいな感じで、自律性がこういう風に作られた、こういうAIは自律性が敷居値に達さないんじゃないかって予想されるみたいなラインを決めて、予想して、そういう理論に基づいて進んでいく.で、ここまで安全.で、ここからはそのコアアラインメント問題を解かなきゃいけないっていうところで、そのしばらく停止するというのが多分適切だと思ってます.
08:57:35,908 --> 08:57:50,428 [bioshok]
なるほど.わかりました.まあそうすれば、まあ加速主義の人にとっても、その停止期間中は経済が相当発展する可能性が高いので.
08:57:50,508 --> 08:57:57,968 [akira]
そうですね.というか、そもそも多分その今から停止活動して止まる最速の時間って多分人類が死ぬギリギリだと思うので.
08:57:58,028 --> 08:57:59,108 [bioshok]
なるほど.
08:57:59,148 --> 08:58:06,308 [akira]
その、そのすごい測り方ですけど、今から停止しても多分大抵は間に合わないと思うんで、停止活動をしようとしても.
08:58:06,448 --> 08:58:07,608 [bioshok]
はいはい.
08:58:08,088 --> 08:58:12,208 [akira]
なので、その停止活動で停止できるところはギリギリなはずなんですよ.
08:58:12,908 --> 08:58:14,628 [bioshok]
まあ確率的にはそうですよね.
08:58:14,668 --> 08:58:26,948 [akira]
ですね.その目隠しをして、その崖に向かって歩いていってる中で、止まれたら、その止まれて生きていたら、どこで止まれたと思いますか？って言われたら、多分崖に近いところの方が確率高いじゃないですか.
08:58:27,048 --> 08:58:28,048 [bioshok]
まあそうですね.
08:58:28,468 --> 08:58:36,108 [akira]
そういう感じですね.崖に近いところ.まあそうですね.まあまあちょっと今の例はあの、あれじゃないです.まあそんな感じですね.はい.
08:58:37,508 --> 08:58:44,608 [bioshok]
なるほど.まあじゃあ次はマル二.何が実現できたらASIの開発を再開するのか.
08:58:46,008 --> 08:59:43,968 [akira]
えっと、これは多分、えっと、アラインメントに関する基盤理論、そのさっき言った微積分とかニュートン力学みたいなものがあのアラインメント版が定義されて、で、それによって様々なアラインメント計画が検証され、その中で明らかに、その、もしもその通りにいったら機能するよねと思われるアラインメント計画が出現し、さらにそれに加えて、その追加で実行できるような、その防護策、例えばそのマキシマイザー、厳密なマキシマイザーにならないみたいなレベルじゃないと、えーと、みたいな、その補助策とか、コリジビリティっていうシャットダウンに抵抗しないみたいなものとか、その何かあった時になんとかなる策をいっぱい積み重ねて、で、かつそのコアなアイデア自体は極めて正当である.で、それなりにちゃんと実装もできているように見えて、えーと、低いレベルだと実装も機能しているみたいな感じで、普通の工学的なロケットの打ち上げと同じような前提を満たせばやるべき、やってもいいと思ってます.はい.
08:59:45,408 --> 08:59:53,268 [bioshok]
えー、三番.そのための手段の議論といったところの前向きな議論へ移行していきたいですね.
08:59:53,448 --> 09:00:40,788 [akira]
そうですね.そのための手段といっても、基本的には開発停止になって、そのコンピューター、その要するに不正に破ってないか、計算、えっと、GPUを監視する技術になって、それはそのテクニカルガバナンスと言われる技術なんですけど、その研究は確かにとても価値があると思います.で、その研究は、その、もっと日本でも、あの、貢献できる人がいると思うので、世界的にももちろん、その貢献する人が増えていけばいいなと思っているところではあります.で、そうじゃない意味で言ったら、その、とりあえず止まることが大事なので、その止まるように動くというのが大事なのかなと.その具体的な方法について考える時間で止まるように訴えて止まる確率を上げる方が結果的に生き残れる確率は高いかなと思っています.はい.
09:00:41,648 --> 09:00:59,708 [bioshok]
はい.えーと、討議内容とずれますが、AKIRAさんは通常Doomを除いてソーシャルDoomも高いと思いますが、普通の人間はこれからの食い扶持は何になると思いますか？えー、ブルーカラーとかかしら.
09:00:59,728 --> 09:02:10,068 [akira]
うーん、どうなんですかね.僕はデータセンター繋ぎ師とかが意外と残るのかなと思っているところ.その、ここら辺については、その、僕はあの、Doom専門なので、その割と高い確率に、えー、割とその、ですね、えーと、その専門外というか、あれなので、あまりその自信を持って予想できる話じゃないですけど、その手を細かく動かすみたいな、物理的に細かく何かが動く仕事というのを動く化するというのがしばらくはまだ難しい.そのAGIクラスがないと難しいかなと思っていますね.というのも、そのやりたいことが人間でできるコストのわりに、ものすごい、えーと、えーと、センサーとか、えーと、動かせる部分の数が多くて、学習も難しくなるので、コストが高くなり、開発も難しいので残るとは思いますが、AGIができたら吹っ飛ぶ.そういうのも全部多分開発が済んじゃうのでわからないですね.その、純粋に資産を、もともと株を資産、株とか資産を持ってるとか、それかベーシックインカムが導入されるとか、そういう感じになるのかなと予想はしていますが、ここら辺は自信がないです.はい.
09:02:10,168 --> 09:02:33,988 [bioshok]
はい.えー、ジェフリー・ヒントン教授は自身のpDoomを五十パーセントと見積もっています.えー、その理由としては、五十パーセントと言っておこう、本当の数字をどう見積もればいいか見当もつかないからねとのことです.えー、OpenAIなどのラボの大半の研究者も、えー、ゼロパーセントではない、無視できないとしているようですが、えー、最近のフロンティアモデルの暴走で上昇していると考えられます.
09:02:34,928 --> 09:04:36,824 [akira]
そうですね、僕もまあそうだと.その大体の人は多分pDoomが今回の事件で上がってるんじゃないかなと思います.その、ユドコフスキーとか僕みたいな人たちは割ともともとアラインメントなんてできてるわけないよねみたいな感じだったので、その予想外にアラインメントができてないみたいな要素がそこまではない感じなので、そのあまりびっくりではないですし、逆にその世間の注目が集まったおかげで規制ができる確率が上がったので、その僕の総合的なpDoomは下がった.多分ユドコフスキーも総合的には下がったと思うので、あれですね.で、ヒントンとか、そのOpenAIの人たちが、の言ってて気になるのは、その絶滅リスク.僕は絶滅リスクっていう言い方が嫌いで、そのリスクっていうと、なんかすごい一定確率で何かを失敗したら起きちゃうみたいな感じですけど、基本的にはその逆で、何かをものすごいうまくやらないと生き残れる見込みが今のところないので、その生存チャンスって言った方が正しいと思って.生存チャンスがどれくらいなのかっていう、僕はPノットドゥームの議論ってよく言ってますけど、これ五十パーセントの確率で絶滅すると思うって言うんだったら、五十パーセント生き残れると思う理由が必要なんじゃないかと.そのいうふうに、その問題の基本構造がもともとないのか、要するに道具的収斂とか直交仮説とか、なんか元々あまりに根本的に間違いであるとか、マキシマイザーって発想が根本的に間違いであるみたいなことで、全く問題が起きないとか.そうじゃ、そうじゃないんだったら、その実際にアライメントとか何か生き残る手法がある、あって、それが機能すると思っているんだったら、それはどうしてなのかとか、そういう感じになるので、なんかリスクっていうと、なんか「もしかしたら起きるかも」みたいになって、適当に二十パーとか五十パーとか言っちゃうわけですけど、実際にじゃあその五十パーセントどうやって生き残るんですか？って聞くと多分フリーズするので.フリーズするか、実際には機能しない.ユドコフスキーだったら、ユドコフスキーでも僕だったら反論を言うようなアイデアを提示すると思うので、それはそのあまりいい、本当はよく、もっとちゃんと見積もるべきだなと思ってますね.人々が.はい.
09:04:36,884 --> 09:04:41,884 [bioshok]
はい.人類の一パーセントはドゥーマーにならないと厳しいかもしれない.
09:04:42,004 --> 09:05:31,664 [akira]
まあまあまあまあ、それはそうかもしれないですね.けど、それは別に不可能ではないというか、そのアメリカ人はもともと運がいいのか悪いのか、AIに関して否定的な感情の人が多くて、多分ターミネーターのイメージなんだと思うんですけど、どんなイメージであれ、実際に正しいことを思ってくれればよくて、テック関係者は割とAI 2027を読んだりとか、まあSituational Awarenessが流行ったりとか、まあそのIf Anyone Builds It, Everyone Diesが超知能AIを作れば人類は絶滅するも議会の人につながっていたりで、多分今後また事故が起きたら、そのネイト・ソアレスとかユドコフスキーとか、そうじゃなくてもジェフリー・ヒントンとかヨシュア・ベンジオとか、AIの絶滅リスク全然ありますよって人が呼ばれると思うので、人類の一パーセントがドゥーマーになるっていうのは、その今見ると厳しく見えるかもしれないですけど、意外と難しいことじゃないのかなと思っています.はい.
09:05:31,744 --> 09:05:54,104 [bioshok]
はい.AI絶滅論者の代表格であるエリザ・ユドコフスキーのP(doom)は百パーセント近くに達していると説明されています.彼は破滅を回避するためなら法律での禁止だけでなく、ならず者のデータセンターを軍事空爆して破壊するといった極端な措置すら正当化されると主張しています.彼の見解についてはどう考えますか？
09:05:54,124 --> 09:07:04,724 [akira]
えっと、僕も基本的にはその、できるだけデータセンターを空爆しなきゃいけない状況は回避しなきゃいけないと思いますけど、もし本当にそれしか選択肢がない状況に追い込まれたんだったら、それはやるしかないと思います.つまり、えーと、データセンターをその世界中で、えーと、計算をしっかり検証して安全にやるっていう技術や制度が整備されて、整備、まず整備されないと生き残れないですけど、もしその制度を破ってAIを開発しようとするんだったら、もうそのデータセンターから超知能ができたら全員、まあもし誰かが作れば全員が死ぬので、そうなったら、その国際条約の違反による、えーと、軍事攻撃ということでやられてもしょうがない、というかやるしかないのかなと思っています.ただ、できれば、そのAI2040で提示されたみたいな、相互コンピューター確証破壊っていう、えーと、アメリカのデータセンターをモンゴルに置いて、中国のデータセンターをカナダに置くことで、その互いの敵国のデータセンターの条約を破った時に一瞬で破壊できるようにするみたいな、もっと穏健な方法で、条約が破れた時でも、その、えーと、超知能の開発が進まないようにするようなことが大事なのかなと思っています.はい.
09:07:33,904 --> 09:07:47,884 [bioshok]
AKIRAさんは英会話もいけますか？今回の配信のような相手のP(doom)を上げるコミュニケーションは、テキストよりも音声対話の方がはるかに有効だと思うので、米国の研究者たちともぜひ対話してほしいです.
09:07:48,844 --> 09:08:37,184 [akira]
そうですね、それなりに英会話は多分できるというか、昨日の会議の中でAGI Hubの中では一番できるんじゃないかみたいな感じだったので、まあ、そのこれからちょっともっと、その今は日本のAI Safetyの規模があまりに小さくて、僕が割といろいろやらないと何も起きないみたいな感じになってますけど、もっとこう人が増えて、その僕が何もしなくても、日本でもSFTの発信が、SFTというか、ドゥームのその発信が相変わらず行われるみたいな、変わらず行われるみたいな状況になったら、今度はまあもっとエッセイ書いたり、まあエッセイも書こうとしてますけど、アメリカの研究者と説得しに行ったり、そういうことをしたいです.でも将来的には僕は元々発信をしたいわけじゃなくて、アライメント研究をしたいので、そっちに移っていきたいなと思っています.なので、そういう時にはまた研究者たちとコミュニケーションなるんだなと思っています.はい.