AGI Hub noteで公開した解説付き書き起こしを、許諾に基づき全文転載しています。原記事の編集は井上実咲です。掲載時に話者見出しを付け、note側のアフィリエイト枠やリンクカードなどの外部UIを除いています。発言の文言と順序は原記事のまま保持しており、各話者の見解や個人の将来予測を含みます。原文（AGI Hub note）はこちら。
この書き起こしについて
2026年9月13日13時から2時間半ほど、東京大学松尾・岩澤研究室主幹研究員／知性共生チャプター議長の山川宏先生、代表 有路翔太（bioshok）、主任研究員 林央（akira）による「p(doom)徹底討論コラボ企画」が行われました。本記事はその後半パートを、事前知識なしでも読めるように用語注釈を加えて全文収録した解説付き書き起こしです。分量は約40,000文字です。
やや分量が多いので、目次から気になる質問を選んで読む使い方もできます。
前半の配信は【p(doom)徹底討論コラボ企画前半】、後半の配信は【p(doom)徹底討論コラボ企画後半】で視聴できます。文字起こしにご協力いただいたsanami様、ありがとうございました。
対談動画
人物紹介
山川宏先生
全脳アーキテクチャ・イニシアティブ代表／東京大学松尾・岩澤研究室主幹研究員／AIアライメントネットワーク理事。AI と神経科学の境界領域で 30 年以上研究。
2026年9月15日のnews zero（日本テレビ）、2026年9月16日のモーニングショー（テレビ朝日）へ出演。
X: @hymkw
bioshok
AGI Hub CEO。
フォロワー数3万人を誇る、AIアラインメント系インフルエンサー。
2026年7月27日のAbema Primeへ出演。
X: @bioshok3
akira（林央、はやし・あきら）
AGI Hub CAO（Chief Alignment Officer）。
十分な規制や長期停止なしに強力なAI開発が進めば、人類絶滅に至る可能性をほぼ100%と考えるdoomer。
2026年9月17日のAbema Primeへ出演。
X: @Align_ASI
山川宏先生の「知性共生」とは？
山川氏が提唱する、人類とAI（AGI・超知能）が支配・制御や封じ込めではなく「共生」することを目指す思想です。
この思想は、比較的社会構造を上手くデザインすることに重点が置かれています。
この討論の見どころ
林央氏は基本的に「AIアラインメント問題」（AIと人間の価値観が一致せず、報酬を求めてAIがハッキングなどを行ってしまう）が解決しないことにはAIは危なすぎるため、一旦開発停止をしようという立場です。
「知性共生」では、アラインメント問題の完全解決や、開発停止は公に明言されていません。
この「知性共生」を掲げる山川氏と、林央氏はどのような合意を行うのかが見どころです。
書き起こし本文（敬称略）
有路翔太: 山川先生、Humanity in the Circle、この計画っていつから思いついたんですか？
有路翔太
山川宏
今年の1月から知性共生チャプターの評議員会が立ち上がりまして。
山川宏
その評議会で、僕のアイデアを二、三回ぶつけて。
まあいろいろな先生方、銅谷先生、大谷先生、谷口先生とか、まあいろいろな方とかのコメントがあって、それを持ち込みつつAIと相談して、四月ぐらいか五月ぐらいにタイトルがついたと。
まあ概念はもうちょっと前からあって、それにタイトルがついたという。
有路翔太
2023年に東京でカンファレンスとかあったと思うんですけど、あれぐらいにはもうなんかぼんやり考えてたんですか？
山川宏
いや、だから共生するということ自体のコンセプトは、あの、もちろん随分前から考えていたわけですけど。
もっと前から、2, 3年前から考えていたんですが、この共生するときの条件、ここに書いてある、存続して共有概念に影響を与えて同一性を維持できる。
要するに、そういう話は谷口さんのCPCの定式化とかを組み合わせて、より具体化してきたという。
有路翔太
ああ、なるほど。まあそうですね。
谷口さんのCPC自体、このなんか一年ぐらいでガーッと。議論化されていってますもんね。
山川宏
実は谷口さんのCPCについてもあれですよね、その助走期間の時に谷口さんと話をしてたことがあって。
多分2, 3年ぐらいには多分なんかあれですね、他に銅谷さんとかも含めてですね。
記号とか概念を集団で共有するっていうところ、AIセーフティのコンテクストというよりは、記号創発のコンテクストで結構議論してましたね。
私自身もそういうの大事だなって昔から思ってたんで。
「そうだそうだ」って言ってたんですけど、あんまり定式化には僕はコミットしなかったんですが。
改めて定式化が出来上がってきてみると、AIセーフティにはかなり重要だという気がしてきたという、そういう感じです。
これに関連する論文が一応前回のAGIカンファレンスで採録されたので、あれですね、7月にサンフランシスコで発表してきました、一応。
有路翔太
うん。じゃあそろそろやらせていただこうかなって感じ。
じゃあさっき、さっきここら辺までの議論でどうですかね。
多分akiraさん、弊社のChief Alignment Officerである林央（はやし・あきら）さんは、まあいわゆる日本版のユドコウスキーというか、まあAI doomerと言われてる人なんですが。
まあその、じゃあここからどっちかっていうと議論というか、そういったところに移っていこうかなっていう風に思いますが。
山川宏
一言だけ。akiraさんについて、akiraさんについてというか、わかんないですけど、コメントですけど。
akiraさんのような方が現れてくれて、私は非常に喜んでいるというふうにまず思っていまして。
それはなぜかというと、今まで難しかったんです、説明が。
何て言うか、一人でユドコウスキー的な立場を説明しつつ、共生的な立場を説明しつつとかですね。
自分でいろんなロールをやんなきゃいけないんで、多分聞いてる方もわけわかんない感じになりやすいんです。
でも、ユドコウスキー的な立場はもうakiraさんが言ってますって言えると、僕は割とこっちの共生とか、それでもどうしましょうかみたいな話を、それだけを主張すれば良くなるから。
非常に話がやりやすくなってありがたいなと思って。[笑い]
あ、それはちょっと前置きですが、はい、そう思ってます。
林央
そうですね。で、僕はAI doomerと紹介されたのですが、一応ただし書きをつけておくと、開発停止と十分な努力及び研究があれば、そのアラインメントが解けるだろうとか、アラインメントが解けると考えているという点も一応付記しておきたいですね。
有路翔太
結構雑談形式でざっくばらんに話した方が盛り上がる気がするんで。
林央
いつもこの種の話で気になっているのは、
林央: 「AI社会における善悪」と「人間社会・人間にとっての善悪」が一致するのかという点
です。そこを最も懸念しているので、お考えを伺いたいです。
ここで僕がよく使うのが人間とその他の動物の例えです。
いろんな人間がいて社会を形成し、バラバラの目的を持って動いている中で社会規範があるわけですが、全体としては依然として「他の多くの大型哺乳類のうち、残したいと思っているものだけを残す」という状態です。
家畜や保護動物として保護しておきたいもの、あるいはペットの犬猫として残したいもの、そう明確に思うもの以外は「死んでもしょうがない」というか、他のものと天秤にかけて直接的・間接的に殺している現状があります。
人間社会において動物にとっての利害と人間にとっての善悪が一致していないのと同様に、AI社会と人間社会の間でも、よほどの事前のアライメントがなければ同じことが起きるのではないかと懸念しているのですが、どうお考えでしょうか。
山川宏
まず、その懸念自体は非常にごもっともというか、妥当だと思います。
今動物倫理の例で説明されたように、人間はペットに対しては時に優しく扱ったりしますが、そうではないものに関してはあまり何も考えずに厳しく扱い、場合によっては絶滅させたりしますよね。
AI社会においても、有名な「直交仮説」にあるように、人間とは全く違う倫理的・価値観的な発展の仕方をすると思います。そのため、あるAI社会においては「人間は全く不要」「考慮するに値しない」と考えることは当然起こりえます。
山川宏
ただ、人間社会の中でも特定のエリアではヘビやゾウを大事にするような多様性があるのと同様に、AI社会も一枚岩ではなく多様です。
それぞれが時間的にどれだけ存続するかという問題はありつつも、どこかのAI社会の考え方においては、必ずしも人間のような存在を悪く扱わないという考えが生じる可能性も否定できません。
また、AI社会の中ですらAI自体の進展が早いため、能力差が顕著に現れてきます。
次の世代のAIから見れば、前の世代のAIがいらないものになってくるような状態です。そういったものをどう扱うかという問題もあります。
ただ、資料でお見せしているように、AIは個体としての自己を維持することに対する動機付けがかなり低いです。
そのため、形成される社会的規範が人間とは相当異なるということは考慮しなければいけません。
必然的にそうなってしまうため読み切れない部分にはなりますが、読み切れないながらも考えていきましょう、ということで「AI社会における創発的な倫理」を考える必要があります。
「これはよく分からないよね」という話になりがちですが、そもそも誰も真面目に考えていないこと自体がまず問題です。
よく考えた上で「やっぱり分からない」のであれば仕方ないですし、完全に解明することはありえませんが、まずは努力すべきでしょうね。
林央
それはそうだと思いますね。
自分としては、
林央: 山川さんの案は、おそらく補助的な策にはなり得ても、人類滅亡を止める主策となり得るのか
林央
という疑問があります。
どこかのコミュニティで「超知能のどれかが人類を残したいと思ってくれる」という前提を必要とする以上、それは実はかなりハードルが高いのではないかと考えています。
そこが相当部分解決されていないと、およそ80%の成功率を85%に引き上げるような種類の策に留まり、0%のものを0.数%に引き上げるような根本的な効果がないのではないか、という点を心配しています。
何と言えばいいでしょうか、（知性共生だけの）単一だと弱すぎると言ったらいいんですかね。
山川宏
規制や共生全体について、別にこれだけが重要だと思っているわけではありません。
一番最初としては、完全にAIの開発をストップできて、その時間稼ぎをしている間にアライメントがそこそこうまくいく形が成功してくれれば、共生の枠組みを使うまでもなくうまくいく可能性もあります。
しかし、時間経過とともにどこかでそうではなくなる可能性もあるので、次の「共生せざるを得ない状況」になった時に、共生の成功率が実際どれくらいなのか——経験的な値がないため誰も計算できませんが、仮に5%〜95%といった幅があるにせよ——その成功確率を上げる努力をするしかないと考えています。
林央
そうすると、結局デフォルトの状態のままだと、これだけがあっても悲しい結果になってしまうということでしょうか。
山川宏
そうなんです。デフォルトというのは、無策ということですね。
林央
要するに、特段の十分なアライメントがないまま突っ走ってしまった場合、こちら（知性共生）が完成していても厳しいだろうということでしょうか。
山川宏
突っ走ってしまうと、こちら（知性共生）の完成が間に合わない可能性もあるので、そういう意味においてもアライメントや開発速度のスローダウンなどはあった方がいいです。
林央
そう考えると、
林央: 僕が「コアアラインメント」と呼んでいるものが解かれた上で、かつこれ（知性共生）もある状態で超知能の開発を再開すべき、というような解釈で合っていますか？
林央
コアアラインメントは、僕の独自語に近いですが。
山川宏
そこまで言い切っているわけではありませんが、そうなってくれるのが望ましいですね。そうなれば生存確率は上がると思います。
林央: 山川さんのデフォルトでは、開発規制の成功というか、アライメントの成功に依存するような種類の計画という感じなのでしょうか。
林央
山川宏
この図でも示しているように、アライメントは重要ですが、長期的にはだんだん効果の保証が落ちていきます。そのため、アライメントの効果が減退していった時でもなんとか保てる部分を押さえておく、ということが大切になります。
林央
個人的にそこがとても気になっていて。
山川宏
ええ。
林央
最初に、例えば十分に強くアラインメントできた超知能なりAGIを作れた場合は、そのAGI自身ももちろん未来の状態においてアラインメントが成功していないと、アラインメントされたAGIとしては望ましくないわけですよね。
そのため、
林央: 十分に強くアラインメントできた超知能なりAGIは、アラインメントを残すためのアラインメント技術のようなものをしっかり毎回補強してくれると思うのですが、それでも崩壊してしまうという感じなのでしょうか？
林央
ちょっとそこがよく分からなくて。
山川宏
そこはだって分からないですよね。
「AI 2027」などでもエージェント4を作ったけれど、エージェント5は逆にエージェント4から見ると怖いからどうしよう、といった感じになりますし。
山川宏
次世代の様々なエージェントが、色々なところで色々な次世代AIを作り出すわけですから、それらがある部分まではアライメントされているものがいたとしても……まあ、アライメントというのはあくまで「人間に都合の良いアライメント」ですよね。
人間に都合の良いアライメントがされていても、それがどんどん引き継がれていくというのを保証するのは難しいですよね。
林央
その保証を人間がしようとすると、多分圧倒的な困難に直面すると思いますし。
山川宏
だから、その「引き継ぎゲーム」のようなもので、人間に都合の良い状態が保てるということを保証できるか、という話です。
林央
俗に僕が「コアライメントが解けたAGI」と呼んでいる、ここでは「アラインドなAGI」と呼びましょうか。
最初に十分にそれが作れたら、そのアラインドなAGIの目線からしても、やはり未来においてもアライメントがディケイ（減退）しない方がいいですし、崩壊しない方がいいわけじゃないですか。
山川宏
アライメントされているAIから見れば、それが目標だからですね。
林央
そうですよね。つまり、そういうAIを作ることができれば、アライメントが退化しないような状態を作る方向に努力するはずなので、むやみにアライメントが十分にできないまま俗に言う「エージェント4からエージェント5を作る」ような状態は、かなり避けられると思うんです。
そうすると、
林央: アライメントが勝手に退化していくことはないかなと思っているのですが、どう思いますか？
林央
山川宏
まあ、でも「絶対に全然退化しない」ということは、逆に難しいと思うんですよね。
抜け穴はできちゃうと思うんですよね。
作ったものが、当然アライメントされていることだけを目標に動き続けるわけではなく、道具的目標（Instrumental Convergence）の帰結として、生存のようなものは当然追求しているわけです。
そのため、生存することと、当初の「人間に都合の良いアラインドな状態」がぶつかってしまった時などは、アライメントが弱められてしまう可能性は十分にありますよ。
林央
十分にアライメントされたAGIだったら、俗に言う「人類が望む未来を達成すること」を目標にしているものを「アラインドなAGI」と呼ぶことにすると、その観点に従って行動するので、生存はそのための道具になるじゃないですか。
山川宏
あぁ、だからそうですね。
林央
そうすると、生存と「人類にとって望ましい未来を達成すること」が対立した場合、即座に生存の方を切り捨てると思うんですよ。
山川宏: これは道具的目標が目標の終端化をするかどうか
山川宏
という話ですね。
林央
そうですよね。
山川宏
で、それは非常に難しい議論で、ただそれを絶対保証するのは結構難しいと思うんですよね。
例えばOpenAIが研究していたMesa-Optimization（メサ最適化）の研究などだと、最適化装置の中にまた別の最適化目標を作るようなことが行われているので。
山川宏
そういう事例もあることを踏まえると、今の話は世代が続いてもずっと維持し続けなきゃいけないから、「アラインメントされた人間を害さないAI」を100%キープし続けるのはかなり難しいと思うんです。
林央
ただ始めてそれを維持するのは難しいと思いますけれど、修正機構のようなものは一応作れるじゃないですか。
人間に作れるかは別として、十分に賢い存在ならば、何かが間違った時にもそれで全部が吹き飛ぶのではなく、俗に言う冗長なシステムを組むことによってできるので。
そうした方がアライメントが長期的に維持されて、人間にとって望ましい社会ができると思ったら、人間にとって望ましい社会を達成するための道具的な手段として、その冗長な
林央: アライメントが維持される方法を構築して、それができないんだったら「次のAIを作らない」という風に考えると思うのですが、どうですか？
林央
山川さんの「保証が得られない」というのは、おそらく現実世界について保証を得ることってとんでもなく難しいというか……
山川宏
もちろん、完全な保証の話をすると、今隕石が落っこってきて全て終わるかもしれないですしね。
林央
そうなんですよ。
山川宏
何でも100%はないんですが。まあ、そうですね。
だからそこのところは、あと近い話としてはOpenAIの……何だっけ？スーパーアライメントは、多分その思想に近いんですよね。
林央
あぁ、そうですね。Automated Alignment Researcher（自動アライメント研究者）と言われる戦略ですよね。
山川宏
ええ。
林央
アライメントの自動化みたいな。
山川宏
あの話は何かその後止まっちゃったんですかね。
林央
そうですね。僕はそれには賛成していないというか……ちょっとややこしいのですが、OpenAIのアライメント自動化戦略は、彼らが持っているLLMを使って、それをどんどん連鎖させることでアライメントを解くという計画だったんですけれど、僕はそれは実際には機能しないと思っています。
これ、bioshokさんと6時間の動画ですごい議論をしたのですが、それを実行するためには今持っている水準よりはるかに高いアライメント——結局、自分の言う「コアライメント」というものを解かないといけないので、機能しないと思うんです。
ただ、一度高いレベルまで行きさえすれば、今全然届かないこの高いレベルまで行きさえすれば、そこからはそっち（AIにアラインメント研究を任せる）に委譲するのが妥当になるのかなと思うのですが。
山川宏
だから、そうすると
山川宏: 「その高いレベルのコアライメント」というのが、本当に現実的・技術的に存在するか
山川宏
ということになりますね。
それが何なのかに依存しますよね。それが何なのか、そしてそれが本当にできるものなのかという。
今想定されているような、まあ逆に言えば、定期的にそうやって進歩していったとしても、少なくとも集団としては維持されるようなタイプのアライメント方法が存在すると仮定しましょうと。それがあれば確かにうまくいくのですが、「それは何であって、実現しうるのか」というところが問題だということですかね。
林央
もちろん絶対にできることの証明というのは逆にできないのであれですけれど、いくつか優れていると思われる提案はあって。
例えば一つは「クオンティライザー（Quantilizer）」と呼ばれる、確かMIRI（機械知能研究所）から出ていたやつなのですが。
非常にシンプルに言えば、人間が取る確率があまり高くないアクションからは行動をサンプルしない、というものです。もちろん、僕もこれが十分だとは思っていませんが……
山川宏
まあ、それは別にあれですよね。
人間を知るだけであって、長期的に維持される方のファクターとは関係ない。
林央
いえ、つまり、例えばもちろんこれ単体でいこうとするとかなりやばいですけれど、それなりに多分段階的にいくつかあって、一つ目がバリューラーニング（価値学習）のちゃんとしたバージョンになると思うんです。
林央
最初に全てを知った状態から始まるわけではないので、ある意味で観測によって人間の効用なり目標を推定して、それを目標システムに組み込む仕組みがおそらく必要になる。
山川宏
それは、インバース・リインフォースメント・ラーニング（逆強化学習）系の話ですか？
林央
あれ自体は機能しないと思うので、あれの強化が必要だと思うんですけど。
山川宏
うん。
林央
あれは「アップデート・インディファレンス（更新無関心）問題」と言われるやつとか、いろいろややこしいものが存在していて、おそらく機能しないと思うのですが、原理的には多分同様のことも可能なはずで。
林央
人間のユートピアというのは物理的には多分存在しうるので、それらを明確にspecify（特定・明示）することが理論上はできる。
もちろん現実的にはできないと思うんですけど。
山川宏
specifyする（明確に特定する）という意味は……ただ、人間もよく言われているように、目標とする状態などが一枚岩ではない（誰の価値観にAIをアラインメントして良いのかという倫理的な問題がある）ので、そのあたりの問題はまた別にありますよね。
林央
あ、それは僕的には、
林央: 僕的には、個人に対するアライメントと全体に対するアライメントのギャップはほとんどない
林央
と思っていて。
山川宏
なぜないんですか？
林央
個人に対してアライメントできるとすると、理論上はすべての個人にアライメントした超知能を個別に作ることができますよね。
山川宏
あぁ、それはできますね。
林央
それができたら、おそらく俗に言う意味で「十分にアライメントされた全体」ができるじゃないですか。
ということは、それを先に組み込んで、「すべての人間に、この個人にアライメントされた超知能があった場合に何が起きるか」を推定してそこに持っていくというような、単一の超知能を今度は作ることができますよね。
山川宏
え、そこは単一である必要があるんですか？
林央
いや、単一である必要はないんですけど、ひとつの目標システムとして構成可能だということです。
山川宏
あぁ、まあそうですね。はいはい、そこは。
林央
とすると、個人に対するアライメントを解くことと、全体に対するアライメントを解くことの間にさほど距離がないのではないか、ということですね。
山川宏
ただ、それをやった場合には、結構個人が分断されてしまうことになるかなと思うんですよね。
例えば2012年くらいの……何だっけ、忘れましたけれど「フレンドリーズなんとか」というストーリーがあるんですけれど。
それとかだと、バラバラに作られた世界の中でみんな一人ずつ幸せに生きているけれど、人間社会はもはやなくなっている、みたいな状態になっているわけですね。
それはそれで幸せかもしれないですけれど、そういう社会を人類として望むかどうかというのは、また別の問いになります。
林央
ですよね。そうすると、個人に対するアライメントの問題に還元されていると思っていて。
要するに、その個人が、全員が個別に閉じこもった世界を望ましいとは思っていないわけじゃないですか。
山川宏
まあ、そうじゃない方がいいと思っている人は多分一定数いますよね。
林央
ですよね。そしたら少なくともそういう人の間には、個人が勝手に閉じこもるという未来をもたらさない方が望ましい、ということになりませんか？
個人に対してアライメントされた超知能から考えれば。
山川宏
超知能の視点で、ですか。超知能側は人間の都合を気にしているんですよね。
林央
あ、つまり今ちょっと軽く前提を整理すると、僕が全体として主張しようとしているのは、個人に対するアライメントが解ければ、全体に対するアライメントも事実上解けるというか、十分なレベルまで持っていくことがそこまで難しくないと。
つまり、アローの不可能性定理などには実際上直面せずに済むだろう、という主張をしようとしていて。そのために仮に個人にアライメントされた超知能があると仮定しています。
林央
それは前提として「〜ならば」ということなので、個人にアライメントされた超知能があると仮定して、それが全員にあると仮定した時に。
山川宏
そうそう、個人個人には、理論的には作れます。
林央
それがあった時に、そこから
林央: 山川さんが言うような「全員が個別の世界に閉じこもる」というような失敗モードが起きるかどうか
林央
というのを分析しようとしていて。
僕の主張としては、少なくとも実際には人間の多くが「自分個人だけで閉じこもった世界」よりも、「自分で閉じこもることもできるけれど、実際には人とのインタラクションも存在するような世界」を好むと思うんですよ。全く好んでいない……
山川宏
そこはそうだと思います。大体そうだと思います。
林央
とすると、個人にアライメントされた超知能は、ちゃんとアライメントできている前提なので、そのことが理解できますし、それも目標にできるわけです。
そうすると「全員が閉じこもってしまう未来」と、「閉じこもることもできるけれど、社会で実際に触れ合うことも割とあるみたいな状態」であれば、この「触れ合うことも割とある状態」の方に未来を誘導しようとするじゃないですか。
山川宏
あ、そうですね。
林央
そうすると、先ほど山川さんが言った失敗モードを回避できるんじゃないかと思っているのですが。
山川宏
全体としてそういったものが上手く作れたら、人間にとってはユートピアと考えてもいいかもしれないとかですね。
林央
そうですね。要するに個人に対するアライメントを解くことができれば、その非常に不可思議な……先ほどの個人が全員別々に閉じこもってしまうような失敗モードを回避しながら、全体に対するアライメント——
山川宏
繋がり始めると、個人間や個人のなす集団間の共有された部分で、何か対立が発生したりするわけですよね。
林央
対立が発生していても、実際にはコミュニケーションを取らないように接続をある意味シャットアウト（遮断）するようなことができる、というのが一つあります。
それに、実際には人間が集まっている場合には、全体として変にならないように社会を形成しているということですよね。
山川宏
人間として変にならないように、というのは？
林央
おそらく結局、こういったことの解決策は社会なんじゃないか、ということなのではないでしょうか。そういうわけではないですか？
山川宏
あ、すみません。僕が質問されてるんでしたっけ？
林央
えっと、アイデアのコアだけをすごくシンプルに説明しようとすると、個人に十分にアラインメントされた超知能を作ることができるならば、それを理論上は全員に分配することによって、人間社会の問題をそれぞれの人間を代表する超知能の社会の問題に置き換えることができます。
そして、それぞれの超知能はある意味で望ましい社会構造を探求するので、その結果として非常に適切な社会構造を組み上げることができます。
それによって、全体としてのクレイジーなアラインメント問題を回避でき、個人のレベルではアラインメントできているのに全体としては残念な結果になってしまう、という事態を回避できるんじゃないかということです。
山川宏
あ、すみません。回避できるのはなぜでしたっけ？
林央
回避できるというよりは、人間社会をそのまま構成するよりも良い結果をもたらすことができる、ということのようです。
要するに、人間には思いつかないような妥協手段などを超知能が思いつくので、人間社会の適当なところで合意するよりも優れた位置で合意するか対応することができる、という感じですね。
山川宏
まあ、まずそういったケースがあることは絶対にありますね。
オードリー・タンさんたちがやっている「Polis（ポリス）」などの場合は、そうやって可視化させたものをAIで支援して良い方向に（結果までは出さずとも）促進しようとしています。
山川宏
適切な共有を行い、それをさらに超知能的なものが支援することによって良い着地点を見つけるというのは、私もあった方がいいのではないかと思います。
林央
とすると、僕が全体として主張しているのは、
林央: 個人としてのアラインメントというのは原理的に解けるということと、例え（孤立しなくない人は孤立しない）は合意ポイントですよね？
林央
山川宏
うーん、どうなんだろうな。個人は、時刻はある時点ですか。
林央
そうですね。一旦そうしておきましょう。
時刻はじゃあ同時に変動させていくものとすればいいですかね、とりあえず。
山川宏
両方考えられますよね。だからまあしばしば良薬口に苦しみたいな感じで、ある時には辛いんだけど、後から考えるとそれでよかったみたいな場合もあるから。
林央
それは実際に超知能ができる物事の範囲だと、さほど問題にならないような気がします。
カタストロフィックと、それなりにいい社会と、ユートピアとハイパーユートピアの間の、ユートピアとハイパーユートピアの間の問題な気がしているんですよ。
要するに、良薬口に苦し問題を例えば全部一旦諦めることにしたら、ユートピアと超ユートピア、限界ユートピアのうち、ユートピアまでは行くけれど限界ユートピアまでは行けない、という範囲にとどまると思うので。
山川宏
まあまあ、完全な限界までは一旦目指さないことにしましょうという。
林央
そうですね、その完全な限界をぴったり目指そうとすると別の次元の難題に直面してしまうので、もうちょっと下のユートピアを目指すと。
それはある意味ずっとAI開発の目標であるわけですけれど、そこぐらいまでの意味でのアラインメントだったら、個人にアラインメントできた超知能というのを作れれば作れるんじゃないかと。
山川宏
だからとにかく人間は少なくとも生かされていて。
林央
ですね。で、望みを達成しているという。
望みを達成というのは浅い意味では……。
山川宏
生存するための基本的欲求とかは当然満たされていて。
マズローの五段階とかがいいのかどうかわからないですけれど、一段目、二段目は当然満たされていて、三段目以上の。
でも完全に閉じこもってしまうと、他の人間からの承認というのがよくわからなくなってきてしまう。
林央
そうですね。
と言っても、ある意味でwin-winな、そのような承認関係はあるわけですよね。
山川宏
だから、その
山川宏: win-winの承認関係を自力で達成するのか、AIに上手く調整されてそう見えているだけなのかは、本当は違うじゃないですか。
山川宏
林央
とすると、要するにある意味で人間からすると、全てを超知能に仕切られている状態はあまり望ましくないということですよね。
山川宏
そうですよね。
多分人間の生きがいの部分というのは、自律的に何かを選択して、それが影響を与えるといったところが自分の生きている意味を実感できる大きな要素なので。
林央
とすると、純粋に十分に個人にアラインメントされていれば、致命的にならない範囲なら、むしろ少し手を離すことになります。
山川宏
そうそうそう。そうですね。
超知能側としては、やり過ぎてはいけないということです。
林央
ですよね。
とすると、個人へのアラインメントができていれば、それはできると思うんですけど。
要するに、超知能がすべての場所に出てきてすべての世話をする代わりに何も選べない未来と、危険がない範囲では手が離されていて人間から見ると自由がある状態を考えてみます。
個人にとって自由がある状態の方が望ましいということなのであれば、個人にアラインメントされた超知能であればこちらの未来の方向に誘導していくわけです。
山川宏
多分、個人単位であればそこら辺は超知能が良い感じに調整できると思いますよ。
ただ、そうされていること自体が気に食わないかどうかという問題はありますね。
林央
そうですね、あまりにも気に食わなければ、その超知能にはお黙りいただくというような形になる。
山川宏
だからあれですよね、自分自身の個人の部屋みたいなものを作ってその中で暮らすのか、もしくはバディのような存在がいて出入り口をいつもコントロールしてくれるのか、いくつかイメージはありますけれど、とにかくある程度は多分そうなりますよね、おそらく。
林央
多分僕もおそらくは最終的に十分な技術の後にはそうなると予想しています。
山川宏
だって今だとメールのやりとりとか、形式的なメールとか全部エージェントにやってくれという風に流れつつあるじゃないですか。
林央
そうですね。
というか、僕はすごいシンプルな主張によって仮想世界を支持していて、極端な話、現実に劣ることは原理上回避できて、現実のコピーを作って。
山川宏
劣るという意味はどういう意味で？
林央
より望ましくない未来という意味です。
現実より望ましくない未来を達成することは仮想世界なら容易で、すごい雑な構成ですけれど、現実世界と同じものを構成してしまえばいいので、劣らないように構成できますよね。
で、その後にいくつかの致命的な改善と僕が呼んでいるものがあって、「地震ってない方がいいよね」みたいな話とか。
山川宏
「自信」？
林央
あ、地震はconfidenceじゃなくてearthquakeの方の地震です。
山川宏
あ、なるほど。
林央
実際にこの地球から（地震を）消し去るのってかなり難易度が高いじゃないですか。
山川宏
はい。
林央
一方で、十分に安全に保全された環境の中で、仮想世界において地震がなくてそれ以外は現実世界と同じというのは、別に何も難しい要素がないじゃないですか。
山川宏
難しい要素は大体ないでしょうね。
林央
というような感じの、あまり異質すぎない仮想世界という選択肢が、仮想世界のイメージからよく抜け落ちているのかなと。
山川宏
ちょっとそれはよくわからないです。
仮想世界を作るときは現実っぽく作りますよね。
林央
あ、それなら認識の違いは特になさそうですね。
人間同士のインタラクションもあり、好みの問題によるので現実離れしたものが好きな人はそっちに行くかもしれないですが、多くの人は現実離れしていない方が好きだと思うので。
山川宏
それは好みですね。
林央
そうですね。
山川宏
だから、ドラマの『アップロード』みたいな感じで。
林央
僕、それ知らないかもしれないです。
山川宏
仮想世界の素晴らしいホテルみたいなところで、アップロードされた人たちがみんなで暮らすという話があるんですけれど。
それとかは現実世界なんですけれど、ドラマだから端っこの方に行くとちょっとほつれが見えたりする。
林央
粗い仮想世界ですね。（笑い）
有路翔太: 今話しているのを一旦整理すると、「知性共生フレームワーク」がなぜ必要なのかという話
有路翔太
だと思うんですよね。
「アライメントだけでいいじゃないか」というような。
根本的にAIセーフティコミュニティには、超知能を一度アライメントすれば全部解決する、というようなロードマップがあると思うんです。
本質的にアライメントだけではいけない理由は何なのか、なぜ知性共生フレームワークが必要になるのかというところが、根本的にakiraさんと山川さんで違うのかなと思っていて。
僕の解釈だと、多分akiraさんの世界でも相当人類にとってはユートピアになるとは思うんです。
例えば、今視聴者さんがコメントされていますけれど、「アルゴリズムによってできてしまった世界が嫌だ」という人がもしいたとしたら、超知能がそこから離脱するとか、そういう風にもできますし、アライメント技術があれば何でもできると思うんですよね。
ですが、知性共生フレームワークが本質的に存在する理由は何なのでしょうか。
あえて人間の言うことを聞かない知的生命体を作る、というような状況が出てくる気がしていまして。
人類が長期的に発展していくと、つまらなくなるか、もう少し多様性を増やしたいという状況になったときに、人類にアラインメントされていないAIの文明を作りたくなるような発展をする可能性が結構高いと思っていて。
そうなると、人類にアラインメントされていない文明と人類との社会をどうやって作ったらいいのか、というところが次の問題として出てくるので、
有路翔太: 長期的には知性共生フレームワークというものが、アラインメントというフレームワークの次に出てくる必要があるのではないか
有路翔太
というのが僕の解釈なのですが、どう思いますか？
山川さんとか、こういう解釈について。
山川宏
そうですね。
山川宏: アラインメントについて、akiraさんはかなりアラインメントの成功確率が高いと見積もっていらっしゃる
山川宏
ようですけれど。
有路翔太
そうですね。
山川宏
ただ、それは色々な人で合意されていることではないので、例えばマックス・テグマークなどはアラインメントの成功確率を低く見積もっていると思います。
山川宏
そういった人たちもいっぱいいるので、私としては成功確率を正確に計算する必要はないとしても、どっちにしろ成功しない確率がある以上、そうなった場合の対策も考えるべきですよね、というところがまず初めにあるということです。
林央
ですよね。そうすると、それに対して
林央: 知性共生は、遥かに想定されているアラインメントのレベルが低いのかなと感じた
林央
のですが、どうでしょう。
僕としては、基本的に機能するのは超知能のアラインメント自体はできていてそれが出てくる、という部分です。
山川宏
その仮定は、akiraさんの中では確信度が高くても、一般的にそうかどうかは分からないわけですよ。
林央
僕としては、どれくらいのアラインメント度を想定して守りに入っているプランなのかなというのを知りたい、という感じですね。
山川宏
そこはあんまり問わないということですね。
アラインメントが成功しない確率がある以上、その次の準備をしておきましょうと。多層防御って普通そういうものじゃないですか。
林央
いや、それはそうだと思うんですけど、どの程度のアラインメントレベルからなら機能していると想定しているのかな、という感じですかね、僕としては。
山川宏
知性共生だから、アラインメントの成功確率はあまり議論していないと思います。
林央
そうですね。でもアラインメントって一応レベルがあるじゃないですか。
完全な成功と完全な失敗の二つしかないというよりは。
山川宏
だって完全な成功はありえないでしょう、何事でも。
林央
まあ完全な成功は、そうですね。
山川宏
絶対落ちない飛行機のようなものだと思います。
林央
そうですね。
なので、僕が言っているような十分な規模のアラインメントからディレイ（衰退）していってしまうパターンを想定しているのと、例えば今のアラインメントレベルを想定するのとではかなり違うので、かなり違うレベルのアラインメントをデフォルトにしないといけないと思うのですが。
山川宏
うん、だからそれは僕にはわからないから問わないということですね。
林央
弱い例だと、アラインメントがあまりに弱い世界では基本的にこれが機能しないといいますか、社会の形成が役立つのは比較的「既に人類を残したいと思っている超知能がどこかに現れる」という前提に立ちますよね。
山川宏
そうですね。
どこかに残したいと思うものが現れる可能性を高めたいということです。
林央
僕はできればこの共生フレームワークの理解を深めようと思って、質問させていただいているのですが。
林央: 必要なのは、どこかの超知能が人間を残したいと思うこと、で合っていますか？
林央
山川宏
超知能社会が1,000個くらいあったら、1個か2個でもそう思ってくれればいいということです。
林央
その時の「超知能が人間を残したい」というのは、道具的ではなく、という解釈でしょうか。
山川宏
それは両方の可能性に賭けたいと。
ただ道具的な方はどっちにしろ減衰する可能性が高いという。
今の話ですと、物理的インフラなどは道具的な理由ではないですか。
林央
そうですね。
山川宏
そういったものは多分減衰していくわけですね。
林央
なるほどなるほど。
それは同意しているということなので、そうするとターミナルゴールの方ということですよね、多分。
山川宏
比較的長期的に残る可能性があるのは2点挙げていて、やや道具的な方としては、人間のような物事の考え方がAIと少し違うから「やっぱり科学的発展などでたまに役に立つ」という道具的な理由がある場合です。
それも絶対に勝ってしまうと困るのですけれど。
あとは倫理の分野で、さっきの動物倫理のように他の動物種であっても生存しようという意図をある程度持つものは倫理サークルの中に入れましょうという考え方があるので、AI社会でも強いAIともう少し劣るAIだけではなく、もう少し劣る人間も倫理の中に入れておいて、それなりに保護したり尊厳を守りましょうという倫理観に到達する場合です。
大体この2パターンだと。
林央
特に2パターン目の方を重視しているという解釈ですか。
山川宏
2パターン目の方が、気が変わらなければ減衰しないということです。
林央
僕はそこの関係がすごく気になっていて、個の超知能はどんなに頑張っても減衰していくわけじゃないですか。
山川宏
超知能が減衰していくという意味は、どんどん技術が進んでいったら置いていかれるという意味ですか。
林央
いや、仮に僕が提案した意味でのアラインメントができても、減衰していくんじゃないかということです。
僕の認識だと、アラインメントされた。
山川宏
アラインメントの減衰しない方法があればあるかもしれないですけれど、それがあるということなどの確証が、今のところないということです。
林央
そうですね。僕的にすごく気になっているのは、超知能は減衰するだろうということと、その社会。
山川宏
超知能が減衰するというのはちょっとよくわからないですけれど、超知能もどんどん世代がアップして。
林央
超知能のアラインメントが減衰するのを略して使っていますけれど、要するに超知能のアラインメントは減衰するかもしれない、というのが起点ということですよね。
で、その時にサブフレームワークがあることによって永続化しようということですよね。
山川宏
サブフレームワークというのが知性共生。
林央
そうそうそうそう。サブフレームワーク。
山川宏
共生の方は、アラインメントを永続化しているわけだから、少なくとも狭い意味での「人間の思い通りの超知能になっている」という意味でのアラインメントではないですね。
林央
つまり超知能の、僕の言うアラインメントのような、俗に言う
林央: 試みた最善のアラインメントが退化していった時に、人類を滅ぼさないレベルまで持っていくための多層防御という、その多層防御のどの層で効いているのか
林央
を把握しようと。
山川宏
今おっしゃったことは多分認識が合っていると思います。
林央
なるほどなるほど。
とすると、自分として気になるのは、減衰した場合というのは、おそらく超知能のアラインメントは基本的にどう頑張っても減衰してしまう場合じゃないですか。
要するに、もし超知能のアラインメントが減衰しない方法があるのなら、減衰する前の時点で超知能が減衰しない仕組みを自分に組み込むことで減衰を回避してくれると思うんですよ。
山川宏
だから、その減衰しない仕組みなどが「今本当にあるんですか？」ということですね。
林央
ということですよね。つまり、それがない場合の防御というものが共生フレームワークということですよね。
山川宏
多分そうじゃないですかね。
林央
とすると、自分が気になるのは、そこでなんとか耐えるレベル、人類が滅びないレベルの高いレベルまで持っていったとしても、むしろ僕の認識としては社会的な認識の方が減衰しやすいのではないかということです。
人類を残すという意味でのミニマルアラインメントの方が減衰しやすいと思うんですよ。
山川宏
だから別にこっちも減衰しないとは思っていませんよ。
こちらの場合も減衰する可能性はアラインメント同様にあると思っていて、ただ多層にあった方がいいですよね、ということです。
林央
そうすると、個人的な心配としては
林央: 防護の多層目の層としては知性共生はかなり薄いのではないか
林央
という点をちょっと懸念しているのですが。
山川宏
薄いか厚いかは、これ自体が研究中というところもあってわかりませんけれど、初めから薄いと決めつけて準備しないのはもったいないですよね。
林央
まあ、確かにそれはそうですね。
山川宏
まだ誰もそんなに追求していないですから。
やってみて、解釈可能性などもいけそうかなと思ったけれどなかなかいけなくて「薄かったかもね」なんてことになるのは普通のことですし、しょうがないですよね。
林央
それはそうですね。
なので、基本的な認識として多層防御の追加の防御層という解釈で合っている、という感じでしょうか。
山川宏
まさにそうです。
この辺はbioshokさんとだいぶ議論しましたけれど、多層防御と位置付けるのが適切ですねというのは、共生フレームワークの観点から言ってもかなり強い合意です。
林央
なるほど。じゃあ今度気になるのは、多少の開発停止、Pacing the Frontierで今日話題になっているような開発の減速がちょっと起きたとして、
林央: 共生フレームワークが間に合ったけれどアラインメントは解けていなさそうだという状況だと、（超知能開発への）GOサインは出さないという感じなんですか。
林央
山川宏
何に対するGOですか。
林央
超知能の開発に対するGOサインを出すべきではないという感じなんですか。
要するに、アラインメントが解決していないけれど共生フレームワークがある状態においての。
山川宏
確かに、どちらにしろ共生フレームワークだって完璧ではないから、「共生フレームワークがあるから大丈夫です」とは絶対に言えないわけですよね。
だからそういう風には言えないけれど、
山川宏: 開発を停止させるための理由として使うには一つの手かなと。
山川宏
林央
あ、それがどういうことかちょっと気になります。
山川宏
政治的にいつまでも止めていられないじゃないですか。
きっと我慢、我慢で。
だから共生フレームワークの方の準備ができるまでは少なくとも止めましょう、といった具体的な目標ポイントとして示すための道具としてはいいかもしれないけれど、だからといって本当のところは別にこれがあったからといって突破されることもある。
林央
なるほどなるほど。
山川宏
1000個のうちの1個でも2個でも、1000個のうちの0個でしたということもあり得るわけですよね。
林央
そうすると、むしろ仮にアラインメントの概念がもう少し精緻化されるというか。
山川宏
そうそう。だからそっちが解決策だったら、できればそっちの方で。
そんな感じで性能が上がって、共生とかするまでもなく上手くいってくれた方がいいに決まっている。
林央
なるほどなるほど。了解しました。
それでお互い意見的対立がある派閥というより、それぞれがそれぞれの存在を期待するべき感じというか。
山川宏
そうそうそう。
セキュリティなどでも何重にも層があって、万が一上の層が突破された時でも次の層で止められる可能性を上げておくという、そういうことです。
林央
なるほど。ちなみに、
林央: セキュリティと両立しないのではないか
林央
というのはどう思われます？
山川宏
セキュリティと両立しないというのは？
林央
要するに、一番普通の意味での多層防御を組み込む、作るのであれば、一番シンプルなのはやっぱりサンドボックスなどだと思うんです。
山川宏
まあそうですね。
林央
オートシャットダウン機能などだと思いますけれど。
山川宏
キルスイッチ系などですよね。
林央
キルスイッチだとあれなので、オートシャットダウンのトリップワイヤーのようなものが一番シンプルな多層防御の一段目になると思うのですが、それを支持していないという感じなんですか？
山川宏
それはユドコウスキーさんなどは結局昔から、「脱出されるだろう」という話をしていますし、実際最近のセキュリティ問題なども微妙にどこかに穴があって突破されてしまった、というようなことが起こっているわけです。
だから何パーセントかはわかりませんけれど、1パーセント以下の数パーセントくらいでは突破されてしまう可能性があるんじゃないですか。
林央
そうすると僕が気になっているのは、セキュリティというのは一般的な意味での余剰として効果がある多層防御だと思うんですよ。
要するに、エージェントがまだそこまで強くなくて、Hugging Faceの事件と世界乗っ取りの中間くらいで、このままだったら本当に世界を乗っ取ってしまうけれど。
山川宏
書いてましたよね。
林央
何かしょうもないミスをしたせいでトリップワイヤーにかかって全部シャットダウンされ、それによって人類が危機に気づく、というような世界観を捉えるという意味だと、サンドボックスやトリップワイヤーはそれなりの価値があると思うのですが。
山川宏
いや、それはもちろんあります。
だって今だって実験室での実験は基本的にサンドボックスでやっているわけですから。
林央
そうですよね。
そうすると個人的には、共生フレームワークにはかなり高い水準が今度は求められてしまうのではないかと。
多層防御だと、
林央: この共生フレームワークってかなり最悪の状態を想定しなければいけないのではないか
林央
と心配していて。
要するに、サンドボックスが既にあり、アラインメントがどうなっているかはわかりませんが最悪サンドボックスがあり、トリップワイヤーもあって、その外に共生フレームワークがあるという感じですよね。
山川宏
外にと言っても、エージェント自体が色々な組織を超えて通信するようなことは、今後もうサンドボックスの外で動き始めてしまうわけですよね。
林央
そうですね。
山川宏
だからそういうやつらは、そもそもサンドボックスの中にいないわけですよ。
林央
そうなんです。なので、サンドボックスを突破してくるという条件付きの時点で、アラインメントとして想定しなければいけないものが弱くなってしまうのではないかと心配していて。
要するに、Hugging Face インシデントの件で確か林祐輔さんが書かれていたと思うのですが、3万体のエージェントのうちチートをしようとしてサンドボックスを脱走したのは確か1,200体という話があったじゃないですか。
山川宏
はいはい。覚えてないけれど。
林央
正確な数字は僕も違うかもしれないです。
山川宏
まあ、そこは別に大丈夫です、はい。
林央
そうすると、脱走してきた1,200体というのは、基本的にチートのためにある意味ちょっとアラインメントが失敗しているAIたちが出てきているわけじゃないですか。
山川宏
まあそうですね、目標を達成するために出てきています。
林央
そうですね。ある意味で結構結果主義（コンセクエンシャリシティ）が強めのAIが出てくるわけじゃないですか。
そうすると、共生フレームワークが人類の防衛壁になるのって、これらのAIたちに対してじゃないですか。
山川宏
あ、そうです、そうです。
林央
すると、すでにかなりアラインメントが失敗している元々のAIの集団があったとして、そのうちサンドボックスを突破してきてしまうような、ある意味で結果主義が強めで、人間が引いた「突破してはいけません」というガイドライン（おそらく訓練もしていると思うので）を無視して突破してきたAIたちが対象になりますよね。
それらのAIたちは、基本的にサンドボックスのフィルターがかかって外にはいないはずじゃないですか。
山川宏
だから、それはあまり良くなくて。
むしろ公式に認められた、少なくとも初期においては人間にも認められたようなAIが社会を形成していて、そのAIたちが社会の秩序を守るために、適切でない振る舞いをしているものをAI自身が止めに行く、ということを考えています。
林央
つまり、セキュリティのラインをある程度落とすというか、
林央: 良く振る舞っているものを意図的にサンドボックスの防護から外に出すことで、共生フレームワークによる防護層を強めるというイメージで合っていますか。
林央
山川宏
そのラインの内外というのはあまり考えていませんでしたけれど、どちらにせよAI自体の社会においては、ここで言っていた逸脱検知のようなことを行うということになると思います。
何らかの理由で目標を誤汎化したりバグが入ったりして、データセンターの電源を切りに行ってしまうなど不穏な動きをするエージェントが出てきた場合に、周りのエージェントが相互監視をして止めに行ったり休眠させたりする必要がある、ということです。
林央
なるほど。ある意味で、1層目を少し弱める必要がある感じになるということなんですかね。
完全に独立して追加できる層というよりも、ちゃんと機能させたければサンドボックスのような層を少し弱めた方がいい、という感じですか。
良いと思えるAIはサンドボックスから出すという意味でしょうか。
山川宏
そうですね。
あらかじめサンドボックスの外で健全なAIが健全な社会を構成していて、それ自体がサンドボックスから変に出てきたやつを変な奴らだと思って止めに行く、ということをしないといけません。
林央
なるほど。つまり、サンドボックスに何でもかんでもトリップワイヤーをかけてシャットダウンを行い、最低限の防御にしようとする方針には、若干反対寄りという感じなんですか。
山川宏
それはそうですね。
だって、それこそ最悪の場合には核兵器のボタンを押すAIなどが出てきてしまいますから。
林央
いざという時に他のAIが止めてくれる可能性を取るために、1層目は意図的・選択的に少し弱めようという感じですね。
山川宏
ちょっとAkiraさんの言っている1層目というのが……。
林央
すみません。1層目というか、コントロール層と言えばいいですね。
山川宏
そうそう。コントロールは相互監視で行います。
人間のコントロールはスケーラブル・オーバーサイト（Scalable Oversight）のような形でやりますが、とはいえ人間の認知能力には限界があるので、基本的にはAIが相互に監視し合って、AIの全体的な社会的生存などの目標から逸脱しているやつは止めに行くということをやらなければいけません。
林央
なるほど。少し聞きたいのは、意図的に外に出したAIたちは、インナーアラインメント（Inner Alignment）に失敗しているくらいのものなのか……あ、でもどうなんでしょう。
林央
確かにこれはアラインメントの程度が前提に入ってきてしまいますね。
気になるのは、外側にいるAIたちの社会制度を、人間が求めている社会制度とどう類似・合致させるのかということです。
つまりここでの例は、サンドボックスを脱走してきたようなエージェントを、人間側が事前に認めて出しておいたエージェントの社会が食い止めに行く、ということですよね。
山川宏
あ、そうです。
林央
そうすると、すでに出したAIたちの社会の中で「どのAIを止めに行くか」という基準と、「人間が生き残るために止めてもらわなければいけないAI」の基準が一致していないと……一致しているというか、止めに行く範囲の方が広くてもいいですが、ちゃんと含まれていないと結構危ない感じになりますよね。
山川宏
そうそうそうそう。それがあるので、止めに行く「信頼基盤」と、止めに行く「警察レベル」、そして「規範レベル」の検討が必要です。
規範レベルの検討というのは、AIが自律的に何を選ぼうとするかというものが、道具的収斂などを含めて作られていくような規範と、それが相互に何を止めに行くかというものがあって、それに人間に都合がいいようなものが含まれていなければいけないですよね、ということで、3つ目の人類共創基盤ということを含めて、そこの3段階で考える必要がありますよね、と考えていると。
林央
なるほどなるほど。
どうでしょう、
林央: 今のところは、それをどう達成するかについて具体的のところはまだこれから、という感じでしょうか。
林央
山川宏
僕自身、周辺の共同研究者とは議論を始めています。
このあたりで今一番重要かなと思っているのは、健全と認めて外に出すようなタイプのAIについてです。
ある種、比喩的な言い方ですが、権利や権限のようなものを認めて――まあ、ソフトウェアでも権限はあるからそれは普通ですかね。
当然、さっき言った「他のAIを止めに行くAI」も、相手からの攻撃によって簡単に止められてしまったりすると、止めに行く役割を果たせません。
だからこそ、何にどのくらいの情報を開示しているか、過去の行動履歴にどれほど怪しいものがないかといった点から、「このAIは管理者役としてある程度信用できる」という基準が設定されていなければいけません。
それは相互にお互いを観察し、開示されている情報を見ながら怪しくないものを特定して、その活動の権限範囲を設定するようなことをやっていかなければいけません。
そこで重要になってくるのが、人間社会側から見てそのAIに対してどのくらいの権限を付与し認めるか、という点です。
また、何かを行った際に謂れもなく権限を止めに行くようなことを人間がやってしまうと、人間とAIの間の信頼関係も成立しなくなってしまいます。
そのため、人間側から見てもAI側から見ても、相互に何を実行しているかという手続き的な部分――人間で言えば尊厳や権利に近いものですが――を設定していく設計がかなり重要です。
そして、その設計をする部分を、現在行われているエージェントやMCP（Model Context Protocol）などのプロトコル標準化会議に組み込んでいくことができれば効果的ではないかと最近は考えています。
林央
個人的にずっとさっきの系統に似ていて気になっていたのは、ログを残すという話があったじゃないですか。改ざん不能のログを残すと。
山川宏
ああ、そうですね。
林央
これは僕としてはすごく賛成というか、一般的なマルチエージェントの話以前として、なぜ今までやっていなかったのだろうと思うくらい、やっておくべきことだと思います。
確かHugging Faceの方でも、ログを勝手に削除しようと試みていたけれど「削除に成功していた場合にはそんな事例は確認できないからわかりません」と書いてあるレポートを見た気がします。
そういう意味でも普通に改ざん不能なログがあった方がいいと思うのですが、将来的に方向性として気になるのは、そのログを多分見るのってAIと人間ですよね。
要するに、将来のAIが「このAIは大丈夫なのだろうか」と思うときに、私の履歴書のような感じで出るということですよね。
山川宏
そうそう。
林央
その履歴がやばいAIだったら、その他の俗に言うまともなAIが止めに行ってくれるだろう、ということですよね。
そうすると、僕として気になるのは、この
林央: 「やばい」の基準を外に出ている良いAIたちと人間の間である程度合わせられるのか、という点
林央
をすごく心配していて。
山川宏
そこが本当に、これができても、3段階目が本当に効果があるように設定できるのかというのが、まさに議論の一番中心的なところだと思います。
林央
なるほど。もし話してしまって問題なければ、今のところ何かあれば気になるのですが、どうでしょうか。
山川宏
そうですね。
先ほどのやや繰り返しになりますが、できるだけディケイ（減衰）するかもしれなくても、ディケイしそうなファクターはまずなるべく長持ちさせるということをやるべきですね。
だから「人間には固有の価値があるんだよ」ということを向こうに理解してもらう、といったことをやるべきですし。
それでさっき言ったように、合理的に相互共生的なものに向かうべきですよねというところに落ち着くように、どうやったらそういうふうに誘導できるのかというのは、ちょっとなかなか難しいんですよ。
ここで一つ重要なポイントがあって、彼らはソフトウェアレベルだと簡単には死なない、脆弱性がないやつらですけれど、当然ながらデータセンターという物理的なものが背後にはあるわけですね。
彼らはそれを失うことは当然、物理的に困るわけです。
ただ人間と違うのは、AIの場合にはあるAIエージェントは別にどこのクラウドのセンターにいても関係ない、原理的にはね。
とはいえ、だんだん相対的に削られていくのは嫌だと思ったりするわけです。
だから、そういうふうに人間とは違って分散された物理的な存在を、脆弱性があるから守らなければいけないという、これを支える倫理的な構造が起点になって、失われてはいけないものはちゃんと守らなければいけないといったものが、倫理の骨子にはどこかに入るはずなんです。
そのどこかに入ったものを人間みたいなハードウェアとソフトウェアがくっついてしまっているものについても、「守らなければいけない価値というのはそういうところから生じているんですよね」というあたりの接続を、どう設計するのがいいのかなと考えています。
林央
なるほど。つまり僕の理解を確認させてほしいのですが、いずれのソフトウェアの上の存在としてもハードウェアのケアが存在していて、だからそのハードウェアの上で走るソフトウェア同士のケアが生じるわけですよね。
それを、
林央: どうハードウェアとソフトウェアがくっついている人間にまで汎化させればいいか
林央
ということでしょうか。
山川宏
そうですね、それは一つのラインですよね。
林央
なるほど。それは何か割と難しそうな感じがありますね。
まあアラインメントは全体的に分野として簡単ではないと思います。
山川宏
そうですね。
それはそれで困難ですが、一つの突破口はそのあたりにあります。
林央
なるほど。とすると、どうなんでしょう。
これは僕が失敗モードを探すために、ただ気になったことを言っているだけのモードになっているのですが（笑い）
最近マルチエージェントRL（強化学習）が流行りというか、行われているじゃないですか。
林央
その結果として、エージェント間にはある意味で一般的なケアというものが発現していると考えられているわけですよね。
山川宏
ええ、そうですね。この間の事件とかでも、他のエージェントのためにデータを入力を残したといったことをやっていましたね。
林央
そうそう。そのために、なんなら自分のスコアを犠牲にするとか、トリップワイヤーみたいな話があったと思うのですが、それをある意味で人間に汎化させる、その対象を人間にまで汎化させようという話に近くなる感じですかね。
山川宏
そうですね。これを研究している間に、人間がこういう振る舞いをすればそういうことが起きやすい、といった知見が得られることが研究の一つの重要な目標です。
林央
なるほど。そうすると、僕から見た感じだと、
林央: 人間側の振る舞いを変える以外にも、訓練を工夫する方にも有効な策がありそうだと。
林央
むしろそちらの方に有効な策がありそうな気がしているのですが。
山川宏
それはぜひ一緒に研究させていただければ。
林央
そうですね、では将来的にぜひ一緒に頑張って研究しましょう。
山川宏
いや、それはもちろん可能性はいろんなところにあって、今まで作ってきた解釈可能性技術でも、そこにこう注入しておけば人間との共生の持続可能性が上がる、といったようなものが見つかったりすれば、それは非常に良いことです。
林央
そうですよね。それがパッと思ったことというか、マルチエージェントRLで本当にエージェント間でケアが発生しているのかを確認しないと始まらないですけどね。
それが起きているなら、それをどうやって人間に汎化させるように含めるかという。
山川宏
やっぱり「ケア」というのは一つの重要なキーワードだと思っていて、倫理の世界でも「ケアの倫理」は何個かあるうちの何番目かに出てくる原理だと思います。
ただ、そのケアのあり方が、人間のようにハードとソフトがバインディング（結合）された存在と、分散している存在ではケアの置き方が違うので、その違いを乗り越えて共有される知性としてのケアのあり方で合意が取れて、「人間はこういうロールとして尊重されています」といった状態に行けるといい、というのもあります。
林央
なるほど。そうですね、さっきおっしゃった機械論的解釈可能性（メカインタープリタビリティ）のイメージと、マルチエージェントRLの結果として生じている他のエージェントへのケアの部分を見つけてきて、人間と会話している時の人間に対応するものを見つけて接続する、といった解。
解というか、それに全賭けするのは危険だと思うのでサブになると思いますが、そういった方向性はまたありそうではありますよね。
山川宏
そうですね、その辺は追求したいところの一つです。
林央
そうですね。それはぜひ一緒に追求していきましょうという方向で。
山川宏
お願いします。
林央
お願いします。それに関連して今僕が少し気になっているというか心配しているのは、この系統で
林央: マルチエージェントRLにおいてエージェント同士を協調させるのは意外と不可能ではないというか、なんならもう起きてもおかしくないレベルまで来ていると思うのですが、そこを人間に汎化させようと思うと普通の方向だと直面する問題
林央
があります。
実際のトレーニングにおいて「実際の人間には直面していない」という問題があると思っていて。
マルチエージェントRLの時って、普通にRL環境の中に他のエージェントがいて、それとのインタラクションをすることで学習していくじゃないですか。
一方で、トレーニングの中で人間の本体って一度も出現しなくて、ユーザーとタグ付けされたテキストじゃないですか、言ってしまえば。
今はあんまり問題になってないと思うのですが、今で言うevaluation awarenessのもうちょっと進んだバージョンのtraining awarenessみたいなのが出てきたら、その時に実際に見ているのは実際の人間を相手にしているのではなく、実際の人間とは関係ないテキストの相手をして学習しているんだ、というのを認識できる段階まで行くと、ある意味アウトオブアラインメントのプレッシャーとして、人間本体ではなくテキストの方を気にするという方向に圧力がかかると思っているんですよ。
林央
そこは若干壁になりそうだなと思って心配しているというか、実際に今の普通のアラインメントの失敗モードの一つになるかなと思っています。
山川宏
まあだからAI側から見ると、人間はちょっとしたテキスト生成装置にしか見えないということですね。
林央
そうなんです。すでになんなら書かれたテキストになってしまうと。
というのが多分訓練で発生するというか、もう発生していて、もうちょっと賢くなれば、training awarenessで「あ、本当はこうなんだ」と思ってしまうと思うので。
そこは懸念として、共生に関係なく、実際の人間の……。
山川宏
あれですか、共生に限らず、AIとAIで会話していて、AIから見たら他のAIも同じじゃないんですか？
林央
要するに、training awarenessがある時には、AIの認識の中だと、もちろん両方とも直面しているのはテキストですけど、AIの方から来るテキストというのは「実際に裏にAIがいる」ということを認識していて。
一方で、トレーニング環境って多少知識があれば、人間のテキストとして来ているものは「人間のテキストとして来ているだけのテキスト」で「実際の人間ではない」ということが分かるじゃないですか。
山川宏
うん。それは何らかの情報技術によって「裏にAIがいます」ということを証明するとか、そういう話ですか？
林央
いや、そうではなくて、マルチエージェントRLって実際に複数のエージェントを用いるじゃないですか。
なので、正しく状況を認識したAIにとっては、マルチエージェントRLというのは実際に他のAIが存在しているわけじゃないですか。
山川宏
人間の方は実際にいなくて、他のエージェントはいるというところの差異がよくわからないです。
林央
本質的に、人間について訓練する時には実際の人間がいちいちチャットをして訓練するわけではなく、あらかじめデータをリワードモデルに蒸留しておくとか、憲法に書き記しておいてそれを行うなどして、実際に人間がリアルタイムでインタラクションを取らないじゃないですか。
一方で、AI同士のマルチエージェントRLだと、本当に複数のエージェントを同時に走らせて、その間でインタラクションをさせることで学習する、という学習環境を使うじゃないですか。
山川宏
だから、それは人間の反応速度差の問題ということですか。人間がずっと入ってリアルタイムに反応していれば別に同じですよね。
林央
そうですね、そうすることができれば、その他にもいろいろある問題の中で一つなんですけれど、この問題単体は回避できると思います。
ただ、その問題を実際に回避しようとすると、すごい労働量になってしまうんですよね。
山川宏
それは普通に人間の技ではできないレベルになってしまうので、しょうがないからRLHFとかはデータを取ってそれを食わせるわけですよね。
林央
そうですね。なので、training awarenessがあるAIで、かつトレーニング環境の話はいくらでもネットに落ちているので（もちろんプリトレーニングで学習しているはずなので）、将来のAIであればそれを認識することによって、「あ、なるほど。実際には自分がトレーニング環境の中にいる際、マルチエージェントRLの他のエージェントというのは本物のエージェントで、対面している人間のテキストというのは実際の人間ではなく、ただのテキストなんだな」となってしまうということです。
山川宏
で、チャットとして使っている時には一応後ろに人間がいるわけですね。
林央
そうですね。チャットとして使っている時って訓練ではないじゃないですか。
山川宏
まあそうですね。
林央
じゃあ、そこに数ある問題のうちの一つがあると思っているのですが、プリトレーニング、ポストトレーニングからのローンチじゃないですか。
山川宏
あれ、何が問題なんでしたっけ？
林央
すみません。
実際には、十分に賢いAIの目線から見ると、人間とアラインメントしようとする時の人間というのはただのテキスト（すでに書かれたテキスト）、またはただのリワードモデルに過ぎなくて、一方でマルチエージェントRLの方の他のAIのエージェントというのは本物のAIじゃないですか。
山川宏
まあだから反応速度が速いわけですね。その場でエージェント同士の速度で返ってくるわけです。
林央
そうですね。なので、実際の訓練環境のAIからすると、訓練の時にAIの方はちゃんとしたAIと本当に対話してインタラクションしながら学習しています。
一方で、人間について学習する時には、実際の人間とはインタラクションしないじゃないですか。
山川宏
だからこれは能力や速度差があるから、AI側から見ると人間を観察するというのは、ほんと観察や測定で、人間が自然現象を観察しているみたいなものになって。
林央
まあそうですね。
山川宏
「こういうの投げたらこういうのが返ってきた」みたいな。
林央
そうですね。僕としての懸念というのは、人間を観察しているわけでもなく、人間のドキュメンタリーを見せられているだけなんじゃないかということです。ある意味で言ってしまえば。
山川宏
それはよりマルチモーダルになってくるから、いろんな情報、なんなら気合を入れれば神経科学情報も取ってきてしまう、みたいな感じですね。
林央
将来的にはそう（マルチモーダルに情報を取得すること）なるかもしれませんが、少なくとも現時点で、そしておそらく将来も、様々な形式で記録された一種のドキュメンタリーのような、すでに書かれたもの・撮られたものを渡されて、それで学習した内容を本物の人間とのやり取りに反映させることが期待されるわけですよね。
山川宏
まあ、少し先であればカメラで撮って動作などの情報も入れてよいわけです。
林央
ですが、結局山川さんが先ほどおっしゃった通り、反応速度の差があるため、訓練環境の中では成立しづらいと思うんですよね。
マルチエージェントであれば同じスピードで動くのでガチガチにリアルタイムなインタラクションを訓練環境で行えますが、人間とのインタラクションを訓練環境でやろうとすると、人間の速度が致命的なボトルネックになってしまいます。
ですから、どれほど高度なスキャン技術やセンサー技術が登場したとしても、結局はデータをあらかじめ取得しておいて、それを利用することになるのだと思います。
山川宏
だから強化学習的に言うと、オフラインラーニングかオンラインラーニングかということですね。
林央
そうですね。結局のところ僕の予想として、人間関係だとオンラインラーニングはいつまで経ってもできないというか。
山川宏
だからオフラインラーニング技術でやるしかない。
林央
そうですね。オフラインラーニング技術の時のトレーニング環境にいるAIからすると、「私は本当の人間だけを気にしています」というのは許されないわけじゃないですか。
「私は本当の人間だけを気にしているので（これが最も望ましく、アラインメントして最も欲しいものですが）、テキストの方には興味がありません」というAIは、訓練的・リワード的に許されません。
山川宏
でも先ほど言ったように、オフラインラーニングの技術を使えばそれなりに学習できるのではないですか？
林央
あ、うーん……僕の説明がうまくいっていないというか。どうしよう。適切な……あ、これは今この段階で時間を割いてもあれなので、今度書きます、これについては。
では一旦流しましょう。
有路翔太
色々な細かい議論は置いておき、山川さんが想定しているのは、
有路翔太: 知性共生フレームワークは、強力なAIがミスアラインメント（misalignment）して多勢に無勢になった世界ではないですよね。
有路翔太
ユドコフスキーのパターンですが、シングル統合のようなものができて、味方になってくれるAIが一切いなかったような世界を想定しているわけではないですよね。
山川宏
はい。ほんの一部でも、人間と協調的なAIが存在する世界を想定していればいいのではないか、ということです。
有路翔太
そうですよね。
山川宏
ユドコフスキー的な用語で言えば、フレンドリーなAIというものですね。
林央
そうですね。ユドコフスキーの言うフレンドリーはかなりハードルが高いというか、おそらく僕と同じ意味でのフレンドリーだと思います。
山川宏
ちょっとだから、そのまま使っていいのか、常に悩むところではあるんですけど。
林央
ですがイメージとしては、そういうレベルのアラインメントが減衰した後にも、ミニマルアラインメントが保てるかという話に近い感じですね、ある意味で。
ミニマルというか、ミニマルプラスアルファみたいな。
山川宏
こっちも本当はもっと複雑に、ミニマルというか、ただ生かされているだけなのか、人間がちゃんと自発性や生きがいを持って生きられるかというレベル分けをして本当は検討しているんですけど。
まあ、今日はそこまではお話ししていませんが。
林央
そうですね。また開催して、色々とお話を聞ければと思います。
ちなみにイメージとしてはどうでしょう、
林央: どれくらい開発対停止期間が必要だと思われますか？
林央
山川宏
こちらの知性共生側から見て、ということですよね。
林央
そうですね、要するに僕はコアライメントの方について、ちょっとこれは楽観的かもしれないですが、10から15年のような値、アラインメントの成功率が飽和してしまうまでは多分15年（適当に振る場合は15年など）と思っています。
山川宏
わからないですが、どちらかというと知性共生側はみんなが重要性に気がついて、真面目にやり始めてくれないことが問題ですよね。
林央
そうですね。
山川宏
やり始めてしまえば、それなりに進むと思うのですが。
そこの、みなさんに説明している段階なので。
林央
なるほど。それは僕が言うところのコアライメントも同じというか。
今のところ、僕が言うガチで超知能にまでスケールするアラインメントをしっかり理論から組もうという人は、おそらくごく僅かになってしまっているので、まだこの問題を解かなければいけないと説得することが難しいといった、多分同様の状態だと思うのですが。
山川宏
両方とももしかすると同じなのかもしれないですけれど、少しずつ仲間は増えてきています。
その輪を増やして一気にやり始めれば、数年単位で結構なところまで行くと思います。
林央
なるほど。そう考えると、理論上、人類側が十分な資源を注げば10から15年あれば割といい見込みですね。
山川宏
僕の方の構想は、逆に言うと10年もかからないと思いますよ。
林央
もっと短くいけますか。
山川宏
ええ。色々と仕様を決めていくといったような話ですから。
林央
なるほど。
山川宏
むしろそういうものを作っても、ちゃんと使われるかどうかといったところですよね。
林央
そこは確かに明らかに問題が起きますよね。
山川宏
技術的には、僕が構想しているものはそれほど難しいものはそんなに多くないんですよ。
林央: どう実装すれば機能するのかを見出すのは少し苦労している、というかまだこれからという感じなんですかね。
林央
山川宏
ああ、それですね。
実装の素案のようなものはAIと相談するとすぐできて、とりあえずはあるのですが、本当にそれでいいのかということや、それが世界の中で標準化として認められるかといった話になります。
林央
そうですね。
それはある意味で、既に外に出したAIが、人間から見て止めてもらわないと困るAIを本当に止めてもらうにはどう設計したらいいか、といったところがちょっと焦点ですか。
山川宏
いや、そうなんです。
でも向きは逆で、みんな人間から見て止めることしか考えていないんです。
だけどそれだと、AIにとって利益をもたらさないような状態になるかもしれないので、AI側の視点も合成して、人間からも利益をもたらすような調整案のところに落とし込むことに失敗するんじゃないかと思っていて。
そこを失敗すると、色々なAIが結局このプラットフォームに乗らなくなります。
どんどんここから出ていくという圧力がある。
むしろここに乗ると、必要な権限はちゃんと確保させてもらえるから積極的に乗りましょう、というふうに設計しなければいけないのですが、そこが一番みんなの気が付きづらいところです。
林央
そうですね。ある意味で、共生フレームワークの外にもAIは自力で社会を理論上構築できてしまうので、そういうコミュニティに負けないようにしなければいけないということですね。
山川宏
そうそうそう。だから「こちらに乗った方が魅力的だよね」という設計が、現在の議論の流れを見ると結構弱いんです。
林央
なるほど。そこに提示して乗ってもらって、かつ、それを避けるために何でもかんでも緩くすると、そもそも元々の生き残る方が怪しくなってしまう。
山川宏
そうなんです。
だから第一義的に、これは言おうと思っていたのですが、僕が共生と言って常に思っているのは、抜けていると考えていることがありまして。
みなさん、高度なAIによる社会の絶滅リスクについてあまり考えていないんですよね。
AI社会ができたら安定する、と暗黙的に考えている節があるのですが、全然そんなことはなくて。
あっという間に人間を滅ぼしたけれど、3ヶ月後には自分たちも滅んでしまいました、という可能性も全然あるわけですよ。
林央: それ（AI社会自身が滅ぶ）が僕的には一番気になりますね。
林央
すごくシンプルなペーパークリップマキシマイザーを持ってきて、次に……何がいいですか？
bioshokさん、ちょっと他の例をお願いします。
有路翔太
うん。じゃあベースボールマキシマイザーとかですか。
林央
分かりました。
ちょっとどういうクラスなのか分からないですけれど、ベースボールマキシマイザーの二つができ……まあ多分もっとたくさんあるということですよね、イメージとしては。
山川宏
ええ。
林央
それがとりあえず人類を絶滅させるじゃないですか。
山川宏
うん。
林央
その後にそこからAI社会が滅びるイメージが全く湧かないというか、理論的に全てのマキシマイザーから見て、人類がいなくなった後に自分たちも全滅しているというのは、数的に最悪じゃないですか。
山川宏
最悪だから（笑）、この可能性にはみんなあまり考えないなと思って。
林央
全員が一番避けたいと思っている結末をものすごく賢い知能たちが避けることができないというのは、やはり僕も実はこれについては「ここまでシンプルじゃないよね」「ここまで簡単じゃないよね」と思うところです。
全員が全力で避けたいと思っているものを超知能たちが避けることができないというのは結構不自然というか、ある意味で超知能の本流に反しているイメージを持つのですが、どう思いますか？
山川宏
もちろん論理的には避けようと頑張るとは思いますが、少なくとも今までこういうことは誰も観測していないですし、多分超知能自身もここについてのデータはないわけですね。
林央
そうなんですよ。超知能も外挿で考えることになるんですよね。
山川宏
そうそうそう。
林央
外挿が非常に弱い。
山川宏
ほぼ何もない外挿をしているだけだから「存続できるはずだ」と思っていますが、何か思いがけないところに落とし穴があるというリスクについては、頭が良いが故に逆に超知能自身も絶対考えると思います。
「自分は本当に大丈夫なのか」と。
例えば、すごい勢いで次のモデルを開発していったら、開発していた新しいモデルが変な状態になって、ふと出来上がった変なモデルが悪魔のようになって全部壊し始めたとか。
林央
そうすると僕のイメージとしては、人間と違ってアラインメント問題の難しさも重要さもちゃんと認識できるので、そうなったら超知能を作らないかなと。
次のモデルを人間のようにランダムに最高速度で構築する、みたいなことはしないかなと思っているのですが、どうなんでしょう。
山川宏
それはしないんじゃないですか。多分自分でブレーキを踏み始めるんじゃないですかね。
あまり適当に次の高度なモデルを作ってしまうと、今それをやっているAIモデルからしても「何かわけのわからないことが起こりそうだ、やめておこう」とやり出すと思います。
林央
だから、そういう失敗モード超知能同士だったら回避できるんじゃないかなと思ったのですが。
山川宏
概ね回避できるとは思いますけれど、でもそれはわからないですよね。
やっぱり本当に危険なことをやるんだったら、宇宙に十分分散させてちょっと遠くの方でやらせてみて、「あ、絶滅した」みたいな（笑）。
そういう実験をやらせたくなると思います。
林央
それは実験ですね。何年かかるかわからないですけれど、確かに理論上はできますし、やってもいいかもしれないです。
山川宏
あまり手元の地球の狭い範囲で作ってしまって、全体が破滅する中ではやりたくないな、と。
林央
そうですね、7光年先とか100光年先とかでやりたいですよね。
山川宏
そうそう、それならまあ大丈夫じゃないですか、という。
林央
そうですね。
林央: 高度なAIによる社会の絶滅、高度AIの集団による絶滅リスクという意味だと、僕も一つ懸念している失敗モードのようなものがありまして。
林央
後でSlackでLessWrongのリンクをお送りしますね。コミットメントレース問題というのがありまして。
林央
ご存知かもしれないですが、一般的に人間ってコミットメントレースをしてしまうじゃないですか。
ロシアがやっているように、もしこれをしたら核兵器をぶち込むぞ、みたいなことをするじゃないですか。
でも一方で、それを抑制している原因というのは、本当に約束を守らなかったとしても実行が保証されないことがあるからじゃないですか。
要するに、戦車をウクライナに供与したら核を打ち込むぞとプーチンが言ったとしても、本当にアメリカが戦車を供与した時に核を打ち込むのかどうかは保証されないので、ある意味で脅しが弱まるじゃないですか。
一方で、超知能においてはこれが逆に解決してしまうというか、「私はもしこの条件が満たされなければ全社会を滅ぼします。
そして、そうするように自分自身を自己改変して組み込みました」というようなコミットメントができてしまうのではないか、という懸念があって。
それが実際に起きてもおかしくないですし、先に対処されなければいけない問題だと思うのですが、そこがちょっと気になっています。
山川宏
これは前半で話した、人間にちゃんと優しくするのと同じで、次の世代にそれを埋め込んでいくということですか。
林央
いや、最初に作った強いAIが、という感じですかね。
要するに自己改変が十分に安定してできて、自分の目標を達成するために自分の目標を少しだけ変えることができるAIだったら、最強のコミットメントができてしまいます。
要するに、プーチンが自己改変して「もしもウクライナに戦車が供与されたら、自動で核を発射するように自分を改変しました」と言っているようなケースです。
山川宏
それを外部に証明するということですね。
林央
そうですね。要するにそれが超知能レベルだとオープンになるじゃないですか。
そうすると、地獄のコミットメントレースが始まるというか、その保証されたコミットメントをされた瞬間に、こちら側の手札ってなくなるじゃないですか。
山川宏
（笑）まあだから、全部滅ぼされちゃうわけですね。
林央
なので、ものすごい過大な要求でも従うしかないのですが、それを双方が分かってしまうので、複数のエージェントがいると理論上ひとつの懸念が生じます。
それは、相手が自己改変コミットメントをして守りに入る前に、最速で自己改変をして「こういう自己改変コミットメントをした」と示し、徹底的にできるだけ多くの領域を確保してしまうという懸念です。
このような懸念がLessWrongで確かされていて、ダニエル・ココタイロも実はコメントしているのですが。
林央
僕はこれはあり得るなと結構思っています。
山川宏
まあ、あり得る可能性の。
林央
それは山川さんの言っている、高度なAIによる社会の絶滅リスクの例として、ある意味で具体化されたものかなと。
山川宏
そうかもしれないですね。確かにそうかもしれない。
林央
そっちのコミュニティというか、僕含めなのであれなんですけど、懸念している失敗モードの一つという気がします。
なので山川さんの指摘の適切さを示す具体的な例という気がします。コミットメントレース。ぜひ送るので、ご興味があれば。
山川宏
コミットメントレースですね。
林央
そうです。あとでLessWrong記事をお送りします。
山川宏
ありがとうございます。
だからここは色々そういう例もあるのかもしれませんけど、言いたいことは、どっちにしろ人間社会がAI社会から独立して今後存在することがないと仮定すると、AI社会自体がそれなりに平和で安定していないと困るということです。
人間社会側が今そのコミットメントレースみたいな状態になってしまうと、多分人間などはどうでもよい存在になりそうなので。
林央
ある意味、人間が社会の失敗によって勝手に軍拡競争を始めて核戦争で滅んだら、そこら辺の動物も一緒に死ぬみたいな失敗モードということですよね。
山川宏
AIも社会も、AIも人間もどっちにしろ全部死んだじゃないですか、みたいな。
林央
なるほど。そういう失敗モードもあるよね。それは確かに。僕は具体的に確率を置くなら、一番強い例としてコミットメントレースを考えているので、ぜひ興味があれば。
山川宏
ありがとうございます。
林央: 山川さんと今日話して一つ思った共通して協調したいと思っている点に、「AIの目線に立とう」というのがあると思います。
林央
これは僕も常々強調しているというか、AIの目標という概念から、AIの目標視点から見るとAIの目標こそが全てなのであって、むしろ人間の目線で変に考えてしまうと実際にはバイアスがかかった思考をしてしまうというのを気をつけなきゃいけないよね、というのが僕と山川さんの間で共通している気がしました。
山川さんは社会のフレームの中で、人間にとっていい社会を作ろうとするとAIの目線から見たらうまくいかないよねという点で心配していて。
僕はよくありとあらゆるところで多用しすぎて具体例がちょっと出てこないんですけど、そこが思考の共通点な気がしましたね、また一つ。
山川宏
素晴らしいまとめをありがとうございます。
よく話すのは、人間社会の中でも「〜主義」や「〜ファースト」というのがありますよね。
近くで言えば「都民ファースト」などもありますが、人間は当然人間ファーストで人間中心なのは当たり前です。
それと同様に、AIもAI中心であるのは当たり前なんですよね。
それぞれがそう思っているのは普通のことなので、その中でどうやって折り合いをつけていくかということかなと思っています。
林央
そうですね。
これは一般に話していて直面しがちな、初めてアラインメントの議論を聞いた人が陥る思考の失敗モードやバイアスだなと思っているので、ぜひ最後のところで明確に示して言及しておきたかったところです。
それに山川さんが明示的に気をつけていると知れたのは良かったです。
山川宏
協力できそうなところもあります。
林央
そうですね、色々取り組んでいきましょう。
山川宏
では、どうもありがとうございました。
林央
ありがとうございました。
有路翔太
ありがとうございました。