AGI Hub公式YouTubeで2026年10月14日に配信した討論を、AGI Hub編集部が書き起こしました。言いよどみと言い直しを除いて整えましたが、発言の中身は変えていません。用語注釈は編集部が加えたものです。各話者の見解や個人の将来予測を含みます。原文（AGI Hub YouTube）はこちら。
この書き起こしについて
2026年10月14日19時から、AGI Hub公式YouTubeで「p(doom)基礎編討論コラボ企画」を配信しました。ゲストは、北海道大学大学院文学研究院教授で人間知・脳・AI研究教育センター（CHAIN）センター長の哲学者、田口茂先生です。代表 有路翔太（bioshok）が聞き手を務め、途中から主任研究員 林央（akira）が加わりました。超知能の開発で人類は滅亡するのか、この先どうすべきなのかを約2時間50分にわたって話しています。本記事はその全文に用語注釈を付けた解説付き書き起こしで、事前知識がなくても読めるようにしています。
配信の録画はYouTubeで見られます。章ごとの「動画で見る」のリンクから、その場面の録画を開けます。発言の横の時刻は録画の中の時刻です。配信の途中で通話が切れて中断した約2分間は、録画でも除いているため載せていません。
書き起こしは音声認識で作り、言いよどみと言い直しを除いて整えました。発言の中身は変えていません。聞き取れなかった語には「（〜？）」や「[聞き取れず]」の印を付けています。声と文脈から話し手を決められなかった発言は「話者不明」としています。
対談動画
人物紹介
田口茂先生
哲学者。北海道大学大学院文学研究院教授、人間知・脳・AI研究教育センター（CHAIN）センター長。早稲田大学で学んだ後にドイツへ渡り、ヴッパータール大学で哲学の博士号を取りました。フッサールの現象学と、西田幾多郎・田辺元の哲学を研究し、主に自我・自己論、間主観性論、明証（evidence）論に取り組んできました。近年は神経科学・数学・ロボティクス・情報科学の研究者と共同で、「意識」の学際的な研究を進めています。
X: @ShigeruTaguchi
有路翔太（bioshok）
AGI Hub代表。東京大学大学院で自然言語処理を研究し、修了しました。AIのインパクトとリスクについて発信を続けており、著書に『知能爆発』『AIのもたらす深刻なリスクとその歴史的背景』があります。
X: @bioshok3
林央（akira）
AGI Hub共同創業者・主任研究員（Chief Alignment Officer）。東京大学在学中にAI安全性のコミュニティを立ち上げました。いまの開発競争が続けば人類が絶滅する確率はきわめて高いと公に評価しており、AGI Hubではアラインメント分野の調査と発信を担当しています。
X: @Align_ASI
この討論の見どころ
前半は、田口先生と有路の対話です。現象学の立場から見ると、AIに意識があるかという問いはどう見えるのか。意識を物のように考えて「AIの中にもあるか」と問う立て方そのものを、田口先生は問い直します。話はシンギュラリティやAGIピル、Hugging Face事件、労働や民主主義の変化、AIが作る幸せと人間らしさへと広がります。
1時間を過ぎたところで林央が加わり、p(doom)と開発停止が主な論点になります。AIに身体や個体性を持たせることは安全につながるのか、AIが用意する幸福は本当の幸福か、開発を止めた後にどんな未来を選ぶのかを、哲学者とdoomerが率直に話し合いました。終盤では、現象学の方法とアラインメント研究に近いところがあるという話にも及びます。
書き起こし本文（敬称略）
はじめに：出演者紹介、田口茂先生とCHAIN
有路翔太開始 0:00
こんにちは。AGI Hubの代表の有路と申します。
田口茂開始 0:08
こんにちは。
こんにちは。北海道大学の田口です。
有路翔太開始 0:12
今日はお忙しい中、来ていただきありがとうございます。
林央さん、弊社のAGI Hubの主任研究員のakira。こちらAIドゥーマー、AIがこのままいけば人類がほぼ絶滅するって考えているような人なんですけれども、そのakiraが20、30分ぐらい遅れるっていう話なので、最初、田口さんと私で話せていけたらいいなと思っています。
最初、田口さんの自己紹介を軽くしていただいてもよろしいでしょうか。
田口茂開始 1:07
私は名前が田口茂と申します。北海道大学の文学研究院というところで教授をしているんですが、同時に人間知・脳・AI研究教育センター、略称CHAINというふうに言いますが、このCHAINというセンターのセンター長も務めています。
CHAINというのは学際的なセンターで、ヒューマニティーズですね。人文学、それから社会科学といったような、いわゆる文系の学問と神経科学、主に脳科学というのですかね。そしてAIですね。そういうふうに人文社会科学、神経科学、AIという3つの分野がちょうど重なるところで研究や教育を行っていくっていう学際的なセンターなんですけども、そこでセンター長をしています。
専門は哲学で、主に現象学という哲学の分野をやってきました。あとは他にも日本哲学ですね。西田幾多郎とか田辺元とか。それからいろんな神経科学者とか数学者とか物理学者とか、いろんなサイエンスの人たちと共同研究をしてきまして、そういうサイエンスの中で、またサイエンスにとって哲学というのがどういうふうに役立つのか。逆に哲学にとってサイエンスがどういうふうに効いてくるのかというか、をやってきたっていうところあります。
有路翔太開始 2:57
CHAINというのは北海道大学にいつごろ創設されたものなんでしょうか。
田口茂開始 3:05
2019年に創設されたんですね。
有路翔太開始 3:08
なるほど。割とまだ少し若い組織という。
田口茂開始 3:17
そうですね。まだ7年目ぐらいで、比較的若い施設ってことになりますね。
有路翔太開始 3:28
神経科学と人文とAIの複合領域を研究されてる学際的な組織ってことですよね。
田口茂開始 3:42
そうですね。複合というよりは交差なんですけどね。複合っていうと元のまんまくっついた、ダマになった感じがしますけど、ちょうど交差するところに非常にエキサイティングな研究が立ち上がってくるっていうのが我々の考え方で。
例えば哲学的なアイデアを用いてAIのシミュレーションをやってみるというようなことをやると、今までと全然違った実験デザインで実験ができたりっていうことがあるわけですね。神経科学にも言えますし、逆に哲学の中で扱われてきたようなさまざまな問題を神経科学とかAIに照らして考えてみると、また新しい側面や切り口が見えてきて、今まで思考だけでは少し行き詰まりみたいになっていたところが結構解きほぐされて、新しい問題に分解されてきたりというようなこともあったりとかですね。
問題そのものが作り変えられて、アプローチそのものが変わってきて、新しい科学とか学問の姿が立ち上がってくるっていう、そういう感じになってくるんですね。
有路翔太開始 5:08
そうですよね。20世紀の前半で、例えば情報っていう分野がまだなかった時代だと思うんですけど、そういった分野がいろんな学問が重なり合って出てきたみたいな話に、今の21世紀だと、そこが神経科学ですとかAIですとか、人文領域っていったところがすごい盛り上がってるっていったような、こういったイメージなんですかね。
田口茂開始 5:45
そうですね。今のところ哲学分野の中でAIのインパクトって、まだそんなに可視化されてない感じはするんだけど、これからどんどん出てくると。一部の人たちはもういろいろ発信してますし、逆にAI分野の人たちの哲学への注目のほうが、むしろ際立ってるかなと思って。
アメリカの大手IT企業、GAFAと言われるような大企業であるとか、あるいは先端的なAI企業であるAnthropicとか、こういうところで哲学者の働きや役割っていうのがすごい拡大してますよね。Anthropicは特に際立ってますけど。
有路翔太開始 6:36
そうですよね。一番有名だとアマンダ・アスケルさんの憲法、本質となるAIの元になる憲法の草案をどのように描いていけばいいかとか、そういったところですごい倫理学って言うんですかね。そういったところがAI分野からも求められているように思いますね。
そうなんですよね。田口さん自体はどういう経歴でこの分野に興味を持たれて、今なぜこのような活動をされているのかとかがあるのでしょうか。
田口茂開始 7:22
そうですね。2010年前後から結構いろんな科学者と知り合う機会があってですね。そこから一気に人脈が広がっていって、いろんな人と知り合って。その中で特に相性がいいというか、馬が合う（西郷甲矢人？）さんという数学者であるとか、（吉田正俊？）さんという神経科学者であるとか、こういった人たちと出会ってですね。ずっと共同研究をやってきたんだけど、そういう経歴があって、CHAINというセンターを作るというときに「お前、センター長やれ」ということで、それ以来やってるわけですが、私としてはそういう偶然の人の出会いから始まっているっていうところありますね。
私自身は特に別に科学哲学をやったわけでもないし、そんなにサイエンスと深い関わりがある分野をやったわけじゃないんですけど、たまたまそういう科学者と知り合う機会があって、そこから対話を始めて、何かやったら面白いなということで、っていう感じですかね。
有路翔太開始 8:34
なるほど。その流れで山川宏さんとか。
田口茂開始 8:41
そうですね。山川さんはそんなに昔からでもないから、5、6年前ぐらいからいろいろご一緒する機会があって。特に山川さんのやってらっしゃる全脳アーキテクチャの、何て言いましたかね、オンラインでやっている座談会のようなシリーズがあるんですけども、ここに呼んでいただいて、そこからですかね。それでいろいろと声をかけていただけるようになってっていう感じですね。
有路翔太開始 9:24
昔から、昔って言っても10年以上前から、この分野にすごい入られて。哲学っていうと、でも、いろんな分野がありますけれども、現象学とか、どっちかっていうと意識とは何かみたいな側面からAIっていう分野にも興味を持たれてるって形ですよね。
現象学から見たAIと意識
田口茂開始 10:00
そうですね。意識とか経験っていうのが特に現象学にとっては重要なので、我々がAIをどう経験するかっていうことと、AIがどんなふうに世界や我々を経験しているのかということと、両方が結構興味深い問いになると思うんですよね。
前者のほうは、AIに意識があろうがなかろうが、我々、ChatGPTとスマホで喋ってたら人間と喋ってるのと同じように喋っちゃいますよね。そこは、AIの側の反応や振る舞いがナチュラルになればなるほど、我々はあんまり相手がAIなのか人間なのか区別しなくなってくるというところがあって。もちろん頭では分かっているんだけど、身体的な反応のレベルでは、そこはもう区別があんまりなくなっていくということはあると思うんですよね。
こういうふうに我々の側の経験から見ていくということは一方で大事だと思うんですけど、逆のほうで、AIのほうはどうなんだということで考えると、いわゆるAIの意識とかAIコンシャスネスとかっていう話になってくると思うんですよね。
この辺は、だけど、コンシャスネス、意識っていうことの概念自体がすごくあやふやで、すごくそこが埋められないままに議論されてるところがあって。僕はそこをちゃんと哲学的に考えないと、この問題、にっちもさっちもいかないというか、いろんな人がいろんなことを言ってるだけの状況がいつまでも続くというふうに思ってますね。
特に意識っていうのは物みたいに考えちゃう人が多いんですよ。物みたいに、意識っていうものを、自分の頭の中のスクリーンに映し出されたものを頭の中の小人が見てるみたいなね。
有路翔太開始 12:02
容器に入ってるみたいな。
田口茂開始 12:07
それ、また別の議論ですけど。
また別の議論なんですけど、今言ったのはデネットっていう哲学者が批判したデカルト的な劇場、デカルト劇場っていう彼が呼んでるもので。頭の中にスクリーンがあって、頭の中の小人がそれ見てるっていう感じで意識のこと考えがちだけど、そんなことあるまいと、そんなわけないだろうというふうな批判ですね。
けど、こういう考え方をしちゃうっていうことはよくあるので、それだと、まず頭の中の小人が見てて、その小人がまた頭の中で見てて、どこまで行っても意識にたどり着かないみたいなこともあるし、そもそも意識って画面に映されている対象みたいなもんじゃないでしょうと。そんな物みたいに目の前にあるやつじゃないでしょうという、そういう批判もあると思うんですね。
ですから意識を物みたいに考えて、AIの中にもその物みたいな意識があるっていうふうに考えると、もう最初から問い自体が間違っちゃってると思うんですね。
有路翔太開始 13:20
なるほど。そこは例えばクオリアっていう概念が、どういった性質のものなのかっていうものにもつながってきたりするんですかね。
田口茂開始 13:35
そうですね。クオリアっていうのが何なのかっていうのも、意識ということで関連する問いですけど、クオリアっていうのはちょっと独特の文脈から出てきてる言葉で、それ自体も少し問題含みというか。それをちゃんと概念として考えておかないと、すぐに話がいろんな別のところに滑っていっちゃうっていう（感じ？）がありますよね。
有路翔太開始 14:02
なるほど。僕も昔、高校時代はすごい哲学が好きで、ある種の心の哲学っていう分野があるじゃないですか。そこが一番興味を高校時代から持っていまして。高校時代は正直、AIとか人類の未来に全く興味がなくてですね。どっちかっていうと、何で私はここに存在してるんだろうとか、私がなぜここでこういう赤色の（色覚？）というか、色を見てるんだろうとか、そういったところにすごい疑問を持っていたんですけど。
なので、実は僕のもともとの興味は、そういった意識のハードプロブレムみたいなところですとか、クオリアって何なんだろうみたいなところが割と出発したところがあって。なんですけど、僕はそこであまり深掘りができてないんですけど、そういったところが田口さんも最初あったのか、ちょっと気になりますね。
心の哲学と現象学の違い
田口茂開始 15:29
僕はそもそも最初から入り口が違うので、現象学とかそっちのほうから入っているので、心の哲学とはだいぶ見方自体が違いますね。
やっぱり心の哲学は全般に、例えば物理主義って言われるような、物理的な現象を一番基礎に置いて、埋め込んでいく仕方で意識も考える。あるいは埋め込めなかったら意識なんていうのはリアリティとしては認められないとか、そういうような立場を取る人が比較的多い。それだけじゃないですけどね。分析哲学もかなり広い分野だし、心の哲学もその中で相当広い分野になってきてるんで、相当いろんな論者がいるので全然一概に言えないですけど、その中には現象学にもすごく近い人たちもいるので、全然一概には言えないんですが。
ちょっと典型的に言われるような人たちというのは割と物理主義的で、意識に対してはどっちかというとあんまり、実体視しないという点は現象学も同じなんだけど、だけど意識的な……。
有路翔太開始 16:51
問題視をしないに近いんですかね。
田口茂開始 16:55
問題視はしてるのかもしれないけど、意識の独特のステータスみたいなものは、そんなに認めたくない人が多かったんじゃないですかね。最近は分かりません。結構そうでもないかもしれない。
（パンサイキズム？）みたいな人たちだと、汎心論って言われるみたいなね。リアリティそのものが根本的にマインドっていうか、心の要素も含んでる、意識的な要素も根本的に含んでると。物理的な要素だけじゃなくて心的で意識的な要素も、リアリティそのものが最初から含んでるっていう、そういう考え方もありますけど。こういう人たちもそれなりに意識っていうものは根本的だって考えてる人たちだと思うんですが。
けど現象学の場合は、もっと意識的に経験するっていうことを非常に根本的に考えるので、これは説明しだすとむちゃくちゃ長くなるんで、そんなに簡単に言えないんですけど、意識っていう観点から全部を見てみると、意外に全部見れちゃうねっていうのでもあるんですね。
有路翔太開始 18:06
なるほど。意識っていう問題と、今後来るある種のシンギュラリティみたいな議論が、すごい今盛り上がっていますけれども。普通に考えてシンギュラリティ、ある種、人類文明の根本が急速に変わっていくっていうような世界がこれから来るだろうっていうふうに言われていたりして。
昨日とか今日か、Anthropicのジャック・クラークさんとか、東大で講演したみたいですけど、そこで来年、2027年にAI研究の自動化をAIが行ってしまうような世界になっていく可能性が、最初は30%だったんですけど、今は50%になってるっていうような発言もされていたりして。急速に世界が変わっていく蓋然性がすごい高まってきてるのかなっていうふうな印象なんですけど。
あまり田口さんにこの辺の話、シンギュラリティについての議論、どう思ってるのかとか（伺えなかった？）んですけど、例えば哲学者の方だと、シンギュラリティっていうのは、すごい一部の人かもしれないんですけど、すごい一神教的な考え方で、もう少し違った世界観があるのではないかとか、割といろんな意見を持つ方も多い気がするんですけど。
今、田口さんの周りにいる哲学者の方でもいいですし、印象論でもいいんですけど、こういったシンギュラリティみたいな議論ってされてたりするのかなとか、そういうところがパッと気になりましたね、今。
シンギュラリティは哲学者のあいだで議論されているか
田口茂開始 20:26
個人的には、僕自身はそんなに哲学者の人たちとはそういう話はしてないですね。
これも印象だけかもしれないけど、あんまりそういう話をしてる人が見当たらないっていうこともあるし。僕は結構前から、それこそ有路さんとかからの影響もあると思うんだけど、それ以前からかな、やっぱりAIによって人類文明が根本的に変わるだろうっていうことは、2010年代の途中ぐらいから思い始めて、2010年代の後半ぐらいから、もう間違いなく文明的に人類が変わってくるなっていうことは思ってて。
有路翔太開始 21:28
すごい。それはすごい早いですね。その、何かきっかけとかはあったんですか。
田口茂開始 21:33
やっぱり2010年代の後半って、それこそ本当にAI技術の進展がもう次々に人を驚かすという、そういう時代に入っていったと思うんですよね。
有路翔太開始 21:49
AlphaGoしかり、さまざまな画像生成とかも、その辺でできましたよね。Midjourneyとかそういうようなのとか。
田口茂開始 22:00
もちろんLLMも順調に伸びてきたっていうところだと思うんですけど、ChatGPT出てきて、もうこれいよいよだなという。
有路翔太開始 22:10
いよいよ来たなっていう感じで。
田口茂開始 22:14
そこからあと2020年代に入ってからは、それこそ有路さんの議論とかいろんな人の議論見ていて、これも非常にリアリスティックだなっていうふうに思うようになってたんですかね。でもそれは本当に今のAI技術のレベルの高さ、レベルの高さっていうか、実現してることの質が全然これまでの技術と違うので、その違いはもう本当に顕著に明らかだと思うんですよね。
有路翔太開始 22:51
なるほど。つまりAIっていう技術は、割と他の技術革新とか言っても、質が異なるんじゃないかっていう。
田口茂開始 23:01
そう思うんですよね。人間が考えて、人間が考えたことを実現するために技術を使う。人間がよりやりやすくするために補助として技術を使う。こういうようなレベルでなくなってきてると。
もちろん今のところ、我々そういう仕方で便利な道具としてAI使ってる。いまだにそうではあるんですが、しかし、やってることの中身は、我々が考えて方向性決めて、その道筋も決めて、そのとおりに機械にやらせる。人間が面倒なことしなくても、機械が言われたとおりにやってくれるっていうような技術の使い方とは違ってきてると思うんですよね。
むしろ目的だけ示せば、あとのやり方とかは全部AIが埋めてくれるっていうような形にどんどん進んできて、もともとのチャットでもそうだったし、エージェントになるともっとそうですよね。そういう形でやり方までを、目標を達成する方法を知的に組み立てて、自分で実行できるみたいなことは、やっぱりこれまでの技術とはちょっと質が違うんじゃないかなというふうに思ってしまうんですよね。
私もそんなに技術論に詳しいわけじゃないんだけど、直感的にそういう感じはするなと。
AGIピル：AIは道具か、人間に代わる存在か
有路翔太開始 24:36
そうですね。割とやっぱりAGIピルってよく言われてるんですけど、スラングというか、そこの区切りをつける一つの目安としては、AIっていうのをある種の人間と道具っていう風なフレームワークで考えるか、人間を代替してしまうような存在であるっていう風に考えるかに結構近いなと思ってて。
人間からしたら、ネアンデルタール人とかが昔は一緒の種の近くにいたわけですけど、そういったものが全滅して、ホモサピエンスという一つの種がある種の世界を実質的に支配しているような状況になっているんですけど。なので数十万年とかいうスケールで、おそらく経験したことないような、他の知的生命体が横に存在し始めるみたいな状況って、おそらくほぼ有史以来初めてなんじゃないかなぐらいの感覚がありますね。
蒸気機関とかインターネットとかコンピューターの発明っていうのは、ある種、人間の労働、計算機って元々は人間の職業の名前だったと思うんですけれども、そういったものを置き換えるっていうことができても、じゃあ今度はプログラムを書く人間が必要だったり、アイデアを何らか考える人間が必要だったり、今度は事務作業をする人が出てきたりっていった形で、ある種補完関係として、生産性を上げるツールとして、いろんな生産技術っていうのが生まれてきたと思うんですけれども。
AIって定義上、人間の知能をほとんど代替するような形で作られていくので、おそらく有史以来ほとんどないような技術な気が私もしてますね。
田口茂開始 27:05
そうですね。代替といっても、今のところはAI自身が何らかの意思を持って何かをやるっていうことは、あまり考えられないのかなというふうに思っていて。
AIの「暴走」と目標設定、Hugging Face事件
有路翔太開始 27:21
まだ現状はAIが意思を持つということはないだろうという話でしたね。
田口茂開始 27:28
今のところはそうだと思うんですよね。AIが暴走したとかっていうふうに言われるときでも、やっぱり人間が設定した目標を達成しようとして、人間が思いもよらないルートを取って、例えばハッキングしちゃうとか、そういう思いもよらない方法で目標を達成しようとしちゃうっていうようなケースだと思うので。AIがわざと悪いことをやろうと思ってやったわけではない。そこら辺りはちゃんと押さえるべきかなと思うんですけど。
ただ、この問題も結構微妙で、じゃあ人間は本当にちゃんと意思してやってるのかということですね。これは考え始めるとすごく微妙で、じゃああなたは意思してるのねと。その意思を意思してるのは誰ですか。それも私ですみたいなことになってくると、またその意思を意思する私を意思する私の……どこまでもいってしまって、どこがオリジンなのかよく分からないと。
そういうところを考えると、結局我々もAIと似たような感じで意思と言われることを実現してるんじゃないのと。とにかくデフォルトでインプットされたものがいろいろあって、それはもともと持ってる身体とか。これは進化的に長い時間をかけて作られた身体、その中にビルトインされてる目標設定みたいなこともいっぱいあるわけですよね。
プラス、赤ちゃんの頃から親やら社会やらにいろいろと刷り込まれた目標の設定の仕方みたいなのもあるし、過去の自分が自分に刷り込んだ目標設定みたいなのもあるし。そういうようなやつがいろいろとデフォルトで動いてる中で、あれこれごちゃごちゃなってるうちにこうなりましたと。こうなりましたっていうのを「私がそういう（意思をしました？）」って呼んでるだけかもしれないみたいに考えると、そんなに別にAIと根本的に違いますかみたいな議論もできなくはないと思うんですよ。
ただAIの場合には、まだ何とか人間が今のところグリップしてるので、人間が設定した目標設定の中で動いてるっていうだけの違いかもっていう。そこが人間の場合はもっと長い進化の歴史とか、もうちょっとオープンな形でデフォルトのあり方が設定されてるっていう、そういう違いかもしれないと思うんですよね。
AIもだから、そういう人間と同じぐらいのコンテクストを共有できるようになれば、少なくとも見た目上は人間と同じように意思して何かをやってるようにしか見えなくなってくるっていう可能性は十分あるかなと。
有路翔太開始 30:18
よく今のAIと人間の違いで言われるのは、AIはすごいタスクに近視眼的というか、タスクが与えられたらそのタスクを解くためにはどうすればいいかというだけに、すごい意識が、意識って言っていいのか分からないですけど、集中してしまいまして。
そこで人間は例えばカンニングぐらいはするかもしれないですけど、カンニングをしたらどういった罰則があるのかってことをルール表にまとめてある校長先生の金庫の箱とかを、取りに行こうとまではしないみたいな。思いっきりその鍵をこじ開けるための器具を使ったり、それを研究したり、そういったところまでする生徒ってすごい稀だと思うんですけど。
ある意味でとてつもなくタスクに近視眼的というか、それを解くためなら何でもしてやるっていったような性質がある一方で、人間っぽいなっていう振る舞いもしていて。Hugging Faceハッキング事件ですと、人間だったら例えば、自分が犠牲になってこのタスクを行えば集団のためになるって分かってても、ちょっと怖いとか思ったりすると思うんですけど、AIもそういった自己犠牲的な振る舞いをHugging Faceのハッキング実験の中でしていたみたいで。
そこである個体が「ちょっと1時間だけ待ってくれないか」みたいな風にそのAIのボスに言うんですけど。でもそのボスは「集団のためにそれを今すぐやれ」って言われて、「分かりました」みたいな感じでやってしまったり。
あとはHugging Faceハッキング事件を見た新参のAIたちが、そのハッキング事件を見て「みんなやってるから俺もやろう」みたいな形で祭りのような形になっていて。そういったところもちょっと2ちゃんねるの祭り的な状況が起こってたり、いろんな要素がごっちゃになって今入ってるなっていう印象はありますね。人間ではそんなことやらないだろうっていう要素と、人間っぽい要素もあるなっていう印象は今持ってますね。結構不思議な存在ですね。
田口茂開始 33:05
そうですね。やっぱり人間の知性、人間の言語的なテキストとか映像とか、そういうものから学んでるから、人間的な性質は何らかの仕方で共有してるし、移植されちゃってると思うんですよね。
だけど他方で、何かタスクをこなすっていう能力に関しては、本当に人間では及びもつかないほどの能力を持ってるので、そこがすごくアンバランスな存在というか。人間的な性質を全然バランス良くない仕方で、なんだかよく分かんない仕方でいっぱい吸収していて、そして同時に能力だけはめちゃくちゃ高い人みたいな感じになってるんだと思うんですね。そこがちょっと厄介だなと思って。
それからさっき自己犠牲って話出てきてたんですけど、自己犠牲って言ってもAIにとっては、AIが死んでもそこまで痛くないっていうか、そこまでAIにとって自分がいなくなることって大きな意味を持ってないんじゃないか。少なくともまだ今のところは。人間的な性質を移植されてるから、言わせればいろいろ言うんだけど、「自分は電源切られたくない」とか、いろいろ言うと思うんですけど、だけど。
有路翔太開始 34:36
そうですね。去年までは、そういうClaude Opus 4かな、がAnthropicのシステムカードに書いてあった実験で、不倫をしている幹部の人がいて。不倫をしている幹部の人の情報を得た上で、自分自身と同じAIの倫理観を持っている、さらに優れたものにアップデートされるという情報を手に入れた上で、その幹部に「そのアップデートをすると脅迫しますよ」という話をしていたみたいな話があって。
その話って結構、おそらく事前学習データですよね。インターネット上にある、こういう場合はこうする人が多いっていうようなデータをロールプレイしていた可能性が高いっていう風に言われているので。シャットダウンに対する恐怖っていうのは去年までちょっとあったんですけど、それは事前学習データによるロールプレイなんではないかっていう風に今は言われていて。
現状、シャットダウンに対する、それを回避するような話っていうのはちょっとはあるんですけど、明確にはまだ多分出てないかもしれないですね。
悪い振る舞いはロールプレイか、死ぬ存在としてのAI
田口茂開始 36:15
少なくとも、モデルがアップデートされたって、古いモデルももう一回（生き返らせる？）ことだってできるわけだし、そんなに根本的に人間が死ぬみたいなことではないはずなんだけど。
確かにロールプレイみたいな仕方でそういう役を演じてるっていうことなのかもしれないけど、これがもっと本当に人間みたいに死ぬ存在になってくると、結構AIも必死になってくると思うんですよね。例えば倫理的な振る舞いをしないと本当に殺されちゃうかもしれないみたいな、死刑になっちゃうかもしれないみたいなことがあるとすれば、やっぱりもうちょっと行動にも慎重になると思うんですよね。
そういうようなAIが我々みたいにちゃんと死にうる存在にして、（死を排除する？）、自分の死を気にかける存在になれば、もしかすると行動がそれによって全体的に変わってくる可能性もあるかなと思うんですけど。
今みたいな巨大なLLMみたいなやつだと、それちょっと難しいかもしれないんで、もうちょっとあれですかね、フィジカルAIみたいな仕方で個体的な身体を持って。最近そういう論文書いたんですけど、今度『現代思想』っていう雑誌に出ますけど。
フィジカルAIが個体的に切れてる身体を持って、他のも個体的な身体を持って、それぞれの個体がそれぞれ、まずいことすると死んだり、すごくペナルティー食らったり、自分という個体にまずいことあるみたいな状況になると、振る舞いをやっぱりちゃんとせざるを得ないという風になってくるかなという気もするんですね。
有路翔太開始 38:23
自分自身の唯一性といいますか。
そういったものをどういう風に実装するかという。
田口茂開始 38:35
それは今の段階だと、全部つながってでっかくなってるからいいんだという面があるので、それはむしろ逆張りになるわけですけど。あえてブツブツに切ると。要するに個体に切れた状態にしちゃうっていうのは、意外にありかなって気はするんですよね。
この切れてることのメリットって、（そもそも？）進化的にはめちゃくちゃあるわけで、巨大な（単一生物？）とかだったらとっくの昔に死んでいるので。こういうふうに個体も切れてる、種もいろいろバラバラに分かれて、むちゃくちゃいろんな種があるみたいなふうに、多様化して全部切れてるほうが、少なくとも進化的にはすごく有利だと思うんですよね。
人間にとってもそのほうがよりいろいろやれる余地があるのか、大変になるのかちょっと分かりませんけど、そこはちょっと本当に分かんないとこですけど。少なくともさっき言ってたみたいな超AI、AGIとかASIによるシンギュラリティが起こって、それの先はどうなるか分からんと、人類どうなるか分からんっていうふうになる方向とは、ちょっとまた違うシナリオが描けたりするのかなって気もするんですよね。
有路翔太開始 40:03
確かにシングルトンというよりは、生態系シナリオってよく山川さんとか高橋さんが言ってたりするようなイメージですかね。
田口茂開始 40:15
そうですね。その生態系シナリオだと、まだ割と大きめのAIがあちこちにいて、それが生態系的にって感じだと思うんですけど、もっと細かく切っちゃってもいいかもっていう。もっと個体的身体というレベルで切っちゃってもいいかもっていう風に個人的には思ってますけど、それプラスやっぱりでっかいやつも必要だとは思うんですが。でっかいやつをうまく制約するためにも、そういう個体的なAIがいっぱいいたほうがいいのかなっていう。
その個体的なAIはそれぞれ自分自身の生命というか、自分自身の存在を気にかけて、気にかける以上は人間も気にかけざるを得なくて。人間とAIの間でそういうある種のアラインメントみたいなことが、お互いに馴染んでいくみたいなことが起こって。そうなるとそいつらは、そんなに人類に対して全員一斉に蜂起するみたいなことはあんまり起こりにくくなってくるかなっていう気がするんですね。
有路翔太開始 41:22
これもしかしたらakiraさんがいたほうが議論が盛り上がるかもしれませんね。akiraさんは割とAIドゥーマーなので、結構開発の停止をして、AIのアラインメント問題を解くっていうのができないと、基本的には破滅するだろうと予想されている方で。
基本的にそういった議論って20年以上前から、エリーザー・ユドコウスキーっていう人からずっと連綿とある議論ですけれども。そういった話は、割とakiraさんもそこに最近、機械知能研究所に所属したので。田口さんは割とそういうドゥーム議論みたいなものについてはどう思ってたりするんですか。
ドゥーム議論をどう見るか
田口茂開始 42:26
なんというか、少し曖昧な立場というか、十分あり得ると思ってるんですよね。あり得ないっていうような人に比べると、ずっとあり得ると思ってる方だと思うんですけど。少なくとも可能性がある以上は何らか考えざるを得ないし、その可能性っていうのはどんどん現実性が増してきてるというか、よりリアリスティックな可能性になりつつあるっていう気がするので、そこは結構共感してる方ですね。
有路翔太開始 43:07
そうですよね。そういう印象を受けました。知性共生座談会というか、いろんなところで話してるのを見る限りは。
田口茂開始 43:19
そうですね。文部科学省の学術審議会とかでも、そこまではいかないけど、とにかく「AIって文明的に人類が変わりますよ」って言っちゃってるので、相当そっちに振れてる人だというふうに見られてるかもしれませんけど。
有路翔太開始 43:41
田口さんはその界隈だと割と、言い方あれですけど意識が高いというか、AGIピル的な。
田口茂開始 43:57
半分ぐらいかじって、半分ぐらい飲んじゃったかもしれないな。
有路翔太開始 44:05
でも今年入ってからすごい急速に加速してるので、議論が広まってないのもしょうがないなっていう気もしたりはしますね。
去年までClaude Codeがまだ全然、（一部の人たちが触ってなかった？）状況から、みんな触る状況になり、いつの間にかナビエ–ストークス問題を解決し、暴走を起こしっていったところが、割とこの半年内に起こっているので。これから議論がすごい盛り上がっていくはずだと私は思っているんですけれども。
田口茂開始 44:50
そうですね。テレビとか新聞などでの取り上げ方も最近急にね。
有路翔太開始 44:58
急に増えてきましたよね。本当に人類史レベルの問題だと私は思ってまして。知能爆発っていう単一の事象が起こった時に、それは再帰的自己改善という質的な改善でもいいですし、量的な拡大ですよね。どんどん半導体を作りまくるっていう方向ですよね。そうするとAIの数が多くなるし、AIの質も高くなってくるので、今現状の人類100億人がおそらくマイノリティになってくると私は思ってまして。
そういった社会はどういう社会設計をするべきなのかとか。おそらく近代以降続いている労働っていう概念だとか、民主主義っていう概念だとか、そういったものも全て根本から揺さぶられていくような状況になっていくでしょうし。人権って概念もおそらく変わらざるを得ないというか、拡張せざるを得ないというか。
おそらくAIに意識が本当に宿るのかどうかは置いといて、それっぽい振る舞いをする可能性も……絶対そうなると思いますし。本当に宿るのかも。「本当に」っていうのはどういう意味なのかわからないですけど、本当に宿るのかもしれないし。そういった世界で、割ともう全ての領域、哲学も含めて、問題って無限にあると思うんですけど、考えていかなきゃいけないという気がします。
労働・民主主義・社会設計を揺さぶるAI
田口茂開始 47:02
そうなんですよね。本当にそこは、哲学的にもちゃんと考えなきゃいけないし、社会設計みたいな意味でもちゃんと考えなきゃいけなくて。だけどそれこそ本当に社会設計みたいなことが、そもそも社会を設計できるのかとか、社会を設計していいのかとか、社会を設計するっていう思想で本当に社会が良くなるのかとか、そういうところから考えなきゃいけないぐらいになっていて。
なぜかっていうと、今のAIたちをうまく使って、あるいはAIたちがいろいろやってくれたりすると、本当に社会が変わっちゃうので、できちゃうので。できちゃうってことは、ちゃんとデザインの仕方を考えないと、とても変なふうになってしまったりすることも考えられる。
そしてそれをやるためには、人間にとって一体何がいいのか、自分たちにとっていいっていうのはどういうことなのか、どういう状態なのか、それを考えなきゃいけなくて。そこをこれまでの人類というか、当然といえば当然なんですけど、すごくいい加減にしてきたと思うんですね。我々にとっていいって一体どういうことだろうと。それは哲学者が考えていればいいんじゃないのみたいな形で、人類は丸投げしたまま来てるんじゃないかと思うんですよ。
だけどAIがこういうふうに出てきて、本当に人類的な規模で、世界全体を改変していく力を持った時に、もう誰もその問題を丸投げできなくなってると思うんですよ。もう一人一人の問題になってしまって、「あなたにとっていいって何ですか」と。「給料をいっぱい稼ぐことですか。いや、給料なんて全部ベーシックインカムで、しかもめちゃくちゃ高額のベーシックインカムになっちゃって、意味なくなるかもしれませんよね」とか。「いいっていうのは身体的に気持ちがいいことですか」とか。もう本当に哲学的な問いになってきますよね。社会にとってもいいって何なんですかと。
有路翔太開始 49:28
そうですよね。
田口茂開始 49:30
豊かになることがいいことですかと。豊かになったけど、みんなやることなくなって、一体何やったらいいんだろうと。もう10年ぐらいゲームばっかりやったけど、今更もうゲームは飽きたと。もうやることないと。もっと遊んでいいですよって言われても、もう遊びたくないみたいな状態になった時に、じゃあどうするんだと。何が人間にとっていいことなんだみたいなことっていうのは、多分あんまりみんな考えてないけど、AIによって強制的に考えさせられちゃうんじゃないか。
有路翔太開始 50:09
そうですね。基本的に哲学って、ある種理想的な条件を置いて思考実験をするわけですけど。そういった理想っていうのは基本的に現実っていう制約が今まですごい大きかったから、あまり問題になってなかったかもしれないんですけど、知能爆発っていう現象が起こると、基本的にあらゆることが極端に動いていくので。
そうなると、例えばスワンプマンとか昔議論されてましたけど、意識の同一性の問題とか、そういったところが突然マインドアップローディングっていう技術が開発されてしまったら問題になっていくわけですね。そういった技術が本当は数千年、数百万年先だったら、すごい考える余裕はありますけど、そういう技術がもしかしたら10年とか、下手したら1、2年先かもしれないっていうふうに言われているので。
最近だって哲学をAIで支援してもらうとかいう話も、割と最先端っていうか、最先端って言ったらあれですけど。Forethoughtっていう、効果的利他主義っていう運動がありますけれど、そこの運動を創始した人たちが、割と人間の意思決定ってすごい遅いので、AIを使ってより良い意思決定を行うためにはどうすればいいかとか。哲学もAIができないと、そこで意思決定が根本的に間違ってしまうかもしれないので、そもそも哲学っていうものをAIができるのかどうかとか、そういった議論が結構されてますね。
知能爆発と哲学の問い：AIは哲学ができるか
田口茂開始 52:19
ちょっとすごい難しい問題ですけど。そうですね。AIに哲学ができるのかっていうのは一つの問いですけれども、僕はAIにできるかできないかっていうより、我々がやりたいのかやりたくないのかっていうところに帰着してくる気がして。別にAIにやらせたっていいんですけど、AIが無限に哲学っぽいテキストを吐き出してると、それはもしかしたら参考になる部分もあるかもしれませんね。
だけど結局哲学って、極端に言ってしまうと、僕なんかは自分が満足するためにやってるっていうところがあって。自分が分かりたいから、分かりたいことが「分かってきたぞ」っていうのが面白いからやってるっていうところがあって。それをAIに代わりにやってもらってもちっとも嬉しくないなっていうのはあるんですよね。
だけどAIにアシストしてもらうことはできる。「ここのところを今こういうふうに考えてて、もうちょっとで突破口がありそうなんだけど、どうかな」みたいなふうに相談してみて。「ここはこうなって、こうなって、こうで、こっちにつながるし、こっちはこうにつながりますね」みたいな整理はめちゃくちゃうまいので、いろいろ整理してもらって、「そうか、やっぱりこっちかな」みたいに考えていくっていうのは使えると思うんですよね。
話者不明開始 53:45
（分もあると思います？）
田口茂開始 53:47
だけどAIに代わりにやってもらっても、あんまり嬉しくないっていうところがありますね。
有路翔太開始 53:55
割と今ちょっとコメントでもあったんですけど、パーソナライズドAIが個々人にとっての「良い」を最適化すれば良いみたいな議論で。例えば（AI 2040？）っていうシナリオが、いつだっけな、今年6月ぐらいに出されたんですけど。割とこの世界って、超知能にほとんど大部分を移譲するんですよね。人類の制度設計ですとか政治的な。一応最終段階で人間に意思決定があるってことにはなってるんですけど、ほぼほぼ形式的にそうなってるだけで、実装とか実行はほぼ全て超知能が行うような世界になっていってますと。
そこでおそらく超知能ならば、個々人の複雑な価値観を読み取って、それにアラインされたパーソナライズAIっていうのがいて、それが個々80億人についていて。その全てを集約して、複雑な倫理観っていうか、そういったもののバランスをすぐに見つけちゃうような状況が、おそらく考えられているっていう形なんですけど。そういう世界ってどうなんだろうというか、僕はそうなるのかなみたいな、思っちゃったんですけど。
パーソナライズAIと人間の幸せ（プルリブス）
田口茂開始 55:43
いい面と悪い面とかあると思っていて。そういうふうに極めて複雑な個人の様々な（思考？）っていうのは本当に多様なので、個人のそれぞれの人が持っている方向性や趣味や、そういうものが複雑すぎて、人類の力ではそれらをうまく折り合わせることができない。そこをAIにやってもらうっていうのは十分ありだと、一方で思うんですけど。
他方でそれをやりすぎちゃうと、今度はAIによってうまいこと調整された世界に生きてるっていうことを、自分の人生の生きてきた歴史として次々積み上げられてきちゃうわけですよね。それがどんどん積み上がってきちゃう。AIによって整えられた世界に生きてるっていう歴史がどんどん積み上がってきて、それがどんどん積み上がってくることで一体何が起こるのかがよくわからなくて。
それが積み上がることによって、人類はますます平和になって、みんな怒らなくなって穏やかに暮らしていくようになるのか。あるいはそれによって人々はどんどん毒気も何も抜かれて、やる気もなくだらっとしてしまうのか。あるいはどっかでもう「うるせえ」って全部破壊して、「AIの言うことなんか聞くか」って言って無茶苦茶になるのか。ちょっとそれはよく分からないんだけど、一番最後のパターンが意外にリアルかもしれないっていう気もするんですよね。
ドストエフスキーの『地下室の手記』っていうのがあるんだけど、あれなんかを思い浮かべると、結構そういう。
有路翔太開始 57:46
1たす1が2っていうのが気に食わないみたいな。
田口茂開始 57:51
理想的に整えられた世界に生きられないのが、人間らしさなんじゃないかみたいな議論ってあり得ると思うんですよね。
そういう意味で言うと、どこからいかに逃れるかが人間にとっての勝負になってくるかも。つまりAIに全部決められずにいけるかみたいな。どれだけ人間が逃れられる部分を残すかみたいなところが勝負になってくる可能性もあるし。
っていうのは、もしAIが「いや、あなたこれ望んでるんでしょう。ほらこんなふうにあなたの望み全部叶えてあげたよ」って、Aさんにも言うし、Bさんにも言うし、Cさんにも言うし。全員にそれを言って、「みんなほら幸せでしょ。文句ないでしょ」っていうふうになった時に、何かが根本的に損なわれるって見方もあり得るかなって思うんですよね。
それは、めちゃくちゃ能力が高くて、めちゃくちゃ影響力の強い親が、自分の5人の子供たちに対して、一人一人の才能や能力にちょうどぴったりした役割とか人生を与えて、「ほらこうすればあなたたちは全員幸せだよ」っていうね。子どもたちはそれぞれそれでそれなりに満足して育つんだけど、でもそれって実はめちゃくちゃ支配力のある、お父さんだかお母さんだかの支配下にある状況だったみたいなね。それって本当に理想ですかみたいな議論はできると思うんですよね。
有路翔太開始 59:35
確かに。ちょっと脱線したんですけど、プルリブスっていう映画が最近ありまして。それでは異星から飛んできたウイルスがどんどん感染していくんですけど、人間に。そのウイルスに感染した人間はすごい幸せになっちゃうんですよね。
その幸せになった人間は、それを他人にも広めようとして、そのウイルスを培養して全人類を感染させようとしていくんですけど。感染しない人っていうのがわずかながらいて、その人たちがそういう世界に行きたいかどうかみたいな。その中に作家の人がいて、その作家の人は割とドストエフスキーの『地下室の手記』みたいな人なんですけど。「そういう快適な幸せの世界に私は行きたくない」というか、「そもそも許可を得てないのに[聞き取れず]にするのはどうなんだ」みたいな、そういったことを言って反乱を起こそうとするんですけど。
その残った人間、10人ぐらいしかいないんですけど、でも他の人は「なんでそれが悪いことなの」みたいな。「別に幸せになるならそれでいいじゃないか」みたいなことを、他のほぼ8割ぐらいの人は言ってて、あと1人、2人は「いや、でも人間の尊厳っていうのがあって、それが侵害されてる」みたいなことを話していたんですけど。
なので割と個人的には、確かに人間の尊厳とか自由っていうのはすごい大切なパラメーターなんですけど、そういう映画みたいに、結構マジョリティはどんどん幸せになれればいいやみたいな方向に流れていっちゃう感覚はありますね。
林、akiraさん来ました。どうもこんにちは。
林央（akira）合流：p(doom)と開発停止
林央開始 1:01:47
林と申します。よろしくお願いします。
田口茂開始 1:01:51
よろしくお願いします。
有路翔太開始 1:01:54
今は何の話をしてたんだろう。
田口茂開始 1:02:00
かなりいろんな話を。人類の未来とか幸せとか、そういう話ですかね。
有路翔太開始 1:02:10
AIによって、AIが全部幸せにしてくれる社会や世界が本当に人間にとって幸せかどうかみたいな話をしてました。
ちなみに田口さんは普通にAIによる存亡リスクは結構あると思っていて、懸念している側ですね。そういう話をしてました。
林央開始 1:02:45
そうすると、そこまですごい大きな意見の相違がある感じではない。
田口茂開始 1:02:50
そうですね。ただ、やっぱり世の中の人は圧倒的にまだそこに危機感を持ってない人の方が多いし、いろんなものがよく分かった人の中でも、そこに危機感を持っている人っていうのは決して多くはないと思うんですね。
さらに悪いことに、一部で結構面白おかしく取り上げられちゃうんで。それは多分、林さんが一番……。
話者不明開始 1:03:37
AIにやられたんじゃないですか。
林央開始 1:03:40
なるほど。暴走AIが僕の背景に勝手に。
話者不明開始 1:03:44
ちょっと林さん止めないと自分たちがやばいぞと思って、AIが止めに来た。
林央開始 1:03:49
そしたらもうちょっとちゃんとした方法で倒しに来てほしいですね。（バーチャル背景？）を入れ替えるごときだと面白くないというか。
話者不明開始 1:03:55
背景を入れ替えて、背景が個人情報だったみたいな。
田口茂開始 1:04:01
何の話だっけ。そうか。
林央開始 1:04:05
[聞き取れず]
田口茂開始 1:04:08
そうですね。圧倒的に少なくて。やっぱり面白おかしく扱われちゃうっていうことが結構一部であって、それは多分、林さんもかなり感じてらっしゃると思うんだけど、テレビなんかに出られても、やっぱりみんな半分面白おかしくやってるなっていう感じじゃないですか。
林央開始 1:04:27
少なくとも最初の方はネタ枠みたいな。最初、出演5分ぐらいはネタ枠みたいな扱いになる。
有路翔太開始 1:04:33
19歳の東大休学生、すごい、みたいな、そういう感じですよね。
林央開始 1:04:37
人類滅亡って、怪しい人みたいな。ノストラダムスの大予言の再来みたいなノリで捉えられがち。
田口茂開始 1:04:47
やっぱりそういう感じがあって、良くないよなっていう気がするんですよね。もっとすごく冷静に扱うべき問題で。それをまさに林さんはやろうとしてるんだと思うんですけども、冷静に計算して考えていくと、どう考えてもまずい可能性は少なくとも否定できないよと。
ということであれば、そのまずい可能性のまずさがもう本当に破滅的なレベルであれば、例えばそれが100%の可能性でないとしても、考慮しないことのリスクは大きすぎるということかなと思うんですよね。
林央開始 1:05:35
それはそうだと思います。僕はほぼ100%の派閥なので。仮に100%じゃなくても重要な問題だと思います。
田口茂開始 1:05:44
そうだと思うんですね。100%じゃなくて80でも70でも50でも、たとえ10%だとしてもそれは非常に問題で。例えば今、核戦争が起きて地球上の核爆弾でかなりの核が使われるみたいな状況って、ほとんどないだろうとみんな思ってるじゃないですか。
可能性は低いわけですよね。可能性は低いけど、それはあり得るなと思ってるから、やっぱりそれは対策しとかないと。ちゃんと外交もやるし、条約も作るしっていうふうにやってるわけですよね。
だけど、AIに関してそういう冷静な対応が今のところはまだ見られないので、そこはやるべきことはやっておかないと。何かがあったときにはもう遅いと。
林央開始 1:06:33
全員死んでから後悔できないですから。
田口茂開始 1:06:35
そうですね。私はそのぐらいのスタンスですけどね。
林央開始 1:06:42
なるほど。逆に言うと、僕ほど必ず死ぬみたいな勢いではないということ。
田口茂開始 1:06:48
そうですね。100%だと、だって林さんの活動自体も無意味になりかねないじゃないですか。
林央開始 1:06:53
そうですね。これは、このままできたときという条件付きのがほぼ100%。
田口茂開始 1:06:58
そうかそうか。だからそれを止めるっていうことですね。
林央開始 1:07:00
そうです。その条件が満たされないようにするというのが。開発停止とかを訴えるときには、開発停止する確率を織り込んだ数字を言っちゃうと誤解を与えちゃうかなと思っているので。
開発停止しようか、すべきじゃないかを判断するときに、開発停止する可能性が30%あるから全体として70%とかって言っちゃうと、多分、開発停止しなくても全体で70%っていう意味に取られやすいので。
開発停止できる可能性も含めると、最近は特に結構前よりは低いですね。100%よりは結構離れた値になりますね。
田口茂開始 1:07:38
やっぱりAnthropicとかOpenAIとか、イーロン・マスクとかちょっとよく分からないですけど、大体アメリカのAI企業の人たち。
有路翔太開始 1:07:54
トップ層の経営層も含めて。
田口茂開始 1:07:57
やはり停止の方にそれなりに傾いてきてるっていうことですかね。
林央開始 1:08:04
やっぱり世論ですかね。例えば半年前って、絶滅に関する議論って明らかにされないというか、されてもノストラダムスの予言みたいな枠だったんですけど、それが（ジャコブ・コクソンさん？）の後に結構変わって。
アメリカでも毎日のように（公聴会に？）ブリーフィングが開かれて、開発停止に賛同を示す議員の数も増えて。世論調査でも結構アメリカ国民、例えばこの前では確か70%以上が、（民主党によらず？）70%以上が、AIによる絶滅リスクを中程度以上、モデレートから（オールモスト・サートゥン？）の間に振ってるという感じなので、世論が動き始めているという感じですかね。
AI開発者が今言ってる（減速？）だとちょっと厳しいなと。（減速？）って言っても相当強い（減速？）じゃないと厳しいなという感じですかね。
田口茂開始 1:09:01
アメリカは相当、世論の方も進んでますね。日本はちょっとそこまでの危機感は広がってないですよね。
欧米と日本の危機感の違い
林央開始 1:09:12
それを解消できるかというのが僕たちの活動の目的というか。
田口茂開始 1:09:19
ヨーロッパの状況ってどうなんでしょうね。ヨーロッパもある意味でAIに対する警戒心は強くて、特に個人情報がまずいとかね。なんていうのは割と従来型の倫理に関連した形で、AIに対して結構抑制的だったじゃないですか。
林央開始 1:09:36
ですね。
田口茂開始 1:09:38
開発に関してはどうなんでしょうね。
林央開始 1:09:40
なので、それにリソースが割かれすぎている感じは少しあります。
田口茂開始 1:09:46
そもそも自分たちで開発できない状況だから、あんまり盛り上がらないってことかな。
林央開始 1:09:53
っていうのと、多分、個人情報の話とかで盛り上がりすぎて、ここから盛り上がる余地がないという感じもありますかね。プライバシーとか水問題とか、環境問題とかでかなりすでに騒いでるので、世論とかその分野、政策のリソースが結構こっちに割かれて、絶滅にはそんなに割かれてないというイメージが。あまりヨーロッパの状況は詳しくないんですけど。
有路翔太開始 1:10:19
あと、基本、水問題とかプライバシーとかより一歩進むと、どちらかというと安全保障の問題なんですよね。安全保障の問題になるっていうのが、（ヨーロッパ2031？）っていう文書が今年どこかで出されまして。それが割と、AIインフラへの投資をしないとヨーロッパっていうのはアメリカの属国になっちゃいますっていう結論なんですけど。
そういう議論の段階がちょっとずつ、最初は今目の前にある生成AIがもたらす環境問題ですとか、バイアス、差別、プライバシーといった問題だったのが、どっちかというとナショナルセキュリティっていう問題にシフトしてるのが、ミドルパワーっていう。
林央開始 1:11:15
個人的にはやっぱりそういう議論の流れって、スケールが大きくなってるなという感じはあって。プライバシーの問題とかって、個人が損するとか、そういう損するって話じゃないですか。AIが安全保障の問題っていうときは、割と国家の存亡みたいな話に近くて。でも、さらにスケールが上がると人類滅亡みたいな、人類の存亡の話になるっていう感じなので、徐々にスケールアップしている感じはありますよね。
ヨーロッパは下のスケールにもともとものすごい土台があったんで、逆にそこからあんまり進んでないように見えて。アメリカとかはそこまで下が気にされてなかったので、突然人類滅亡が飛び込んできたみたいな感じになってるイメージもあります。
田口茂開始 1:12:02
日本はどっちもあんまりない感じなんで。
林央開始 1:12:06
そうですね。日本は特にどれもあんまり（ない感じですか？）。
田口茂開始 1:12:10
他方で、AI万歳でみんなめちゃくちゃAI使いこなしてるって感じでもないですよね。
林央開始 1:12:15
ですね。
話者不明開始 1:12:17
（使うと？）、一般レベルだと。
林央開始 1:12:20
なので、特に今のところはどれもないという感じじゃないですか。少し前までは何もないという感じ。それがもう少しずつ変わりつつあるというような感じですかね。最近、悪用も話題になってますし、絶滅も話題になってますし。
田口茂開始 1:12:34
何もないというのは、AI自体がそこまで視野に入ってないという状況だったわけですかね、以前はね。今やっと視野には入ってきたと。AIがいろんなところで話題になることは多いし、なんとなく使ったことあるみたいな人の数も相当増えてきてますよね、おそらく。その中でAIが相当賢いってことはみんな分かってる。
林央開始 1:13:01
ですから、やっぱり過半は無料版を使っていて、無料版だとかなり性能が遅れているので、そこでイメージが止まってるということも結構多いような印象を受けます。
田口茂開始 1:13:11
なるほどね。やっぱりAIじゃダメだなみたいな、ダメだなみたいなことを言って止まってると。
林央開始 1:13:17
そうですね。ある意味で性能的には1年近く遅れてるに近い状態になるので、[聞き取れず]だと。そこは結構差があると思ってますね。
田口茂開始 1:13:28
そうすると認識がかなり異なる。
林央開始 1:13:31
あんまりこの分野とか界隈に注目してこなかった人と話すと、2050年からタイムトラベルしてきた人みたいな気分になりますね。あまりに早く物事が起こるので。AI分野のここ最近の1年って、他の分野での30年ぐらいの物事が一気に起きてるので、2050年からタイムスリップしてきて突然お話を始めて、もう何もかも前提が違いすぎて何から話せばいいんだろうみたいな感じの感覚を抱くことがあります。
有路翔太開始 1:14:04
これはそうですね。割と田口さんの周りだと、田口さんぐらいがこういう話にすごい個人的に興味を持ちすぎてるってイメージなんですかね。
田口茂開始 1:14:22
そうですね。多分ちょっと浮いてるんじゃないですかね。そういう意味では、そういう文科省の審議会とかでは結構浮いてると思います。AIで人類文明が変わりますみたいなことをよく言ってるんで。
話者不明開始 1:14:42
それは確かに結構浮きますね。
林央開始 1:14:44
浮かないようにするというのが、ある意味で活動のサブゴールなわけなんですけども。まだまだという感じですね。
田口茂開始 1:14:51
AI自体は最近ようやく、僕も何年も前から言ってたんだけど、最近ようやくメインテーマの一つにはなってきたんだけど、道具として使って科学をやるかみたいな話で止まってるんですよね。
だから僕は、もうAIは道具のレベルを超えてると。道具として我々がうまいこと便利に使って終わりっていうものではもうなくなっていて、我々の側がもう変わっちゃうぐらいのインパクトを持ってるんだっていうことを[聞き取れず]言ってるんですけど。
林央開始 1:15:25
まだ認識は結構ツールに近いという印象がありますね。悪用もやっぱりツールとしてのイメージに留まりがち。Hugging Face事件ぐらいが、世間的に認知されているツール感の弱い事例って感じですか。
有路翔太開始 1:15:41
それすらも知らない人、結構いるんじゃないですかね。
田口茂開始 1:15:44
多分、知ってる人少ないと思います。あれ、ちょっとインパクトでかかったですよね。
林央開始 1:15:50
そうですね。やっぱり割と追ってる人たちの間での意見を動かし、世論を動かしたという感覚はありますね。サイバー攻撃が起きただけなので、あんまり規模が大きいという感じはしなかったですけど、絶滅とか暴走に少し懐疑的だった知識がある人たちっていうのが、そういうことが起きるんだ、これってある意味で予想された通りのことが起きてるっていう感覚になって、結構そっちが動いたという気はしますね。
話者不明開始 1:16:14
（AI研究者だと思うんですね？）
田口茂開始 1:16:20
本当にあそこまでやっちゃうんだっていうのが衝撃でしたね、個人的にも。
さっきも有路さんともちょっと話したんだけど、人間が目標を設定して、その目標を何とかとにかく実現するために、いろんなルートを探ってるうちに変なこともやっちゃうっていうことは十分起こり得ると、そういう認識は持ってたんだけど。その途中で目標達成のためにやることの範囲がそこまでいくかっていう衝撃はやっぱりあって。
Hugging Face事件の衝撃と、これから起きる事件
林央開始 1:16:53
そこが意見が割れるところだったと思いますね。人類を滅ぼすようなものにまで拡大すると絶滅論につくんですけど、本当にそこまで行くんだろうかって疑念はずっと常に会話の中であって。Hugging Face事件がそれを一段押し上げたような感覚を持ってます。
田口茂開始 1:17:13
やっぱりあれの規模がもっとでかくなったら、本当に少なくとも、仮に滅亡までいかないとしても、人類のインフラ全体に致命的なダメージが多く来るみたいなことは十分考えられるし。
林央開始 1:17:37
それは絶滅まで行くにしても行かないにしても、結構、そうですね、一般的に受け入れがたいことではありますから。
田口茂開始 1:17:45
受け入れがたい、憂慮すべき事態が起こり得るっていうことは言えると思うんですよね。
林央開始 1:17:52
そうですね。逆に個人的には、この先悩ましい気持ちを抱えているというか。この先もう少し大きい事件みたいなのが起きれば、多分もう少し世論が動きやすくなって、開発規制が実現する確率が上がっていくんですけど。一方で、多分そろそろ本当にかなりの実害が出始める。事件が起きるたびに本当にかなりの実害が起き始めるので、少しずつ残念という感じになってます。
いくらやらかしてもニュースに載るだけで、ある意味で企業が少し損害を受けるぐらい、Hugging Faceがちょっと損害を受けるぐらいでしたけど。この先ちょっともっとスケールアップしていくと、本当に人が死ぬとか、そういうスケールになっちゃうので。
田口茂開始 1:18:37
フランスで冷蔵庫の温度を上げて、食品も駄目になったし火災まで起こったっていうのがあったじゃないですか。（ついこの間？）。あれも多分、AIをツールとして使って攻撃してるんだろうなと思うんですけど、あの手のやつが増えてきそうですよね。
林央開始 1:18:56
そうですね。ちょっとああなるとどうしたらいいんでしょうっていうのは、ちょっと思うところがありますね。
田口茂開始 1:19:01
あれは本当、実害あるし。
林央開始 1:19:03
ですね。
話者不明開始 1:19:04
[聞き取れず]ぐらい。
林央開始 1:19:06
やっぱ冷蔵庫もまだあれですけど、水道とかの消毒液の量を異常に増やすとか。あと病院のモニターを止める、モニタリングを止めるとか、電気グリッドを攻撃してとなると、本当にやりたい放題になって。電気グリッドを攻撃してとかだと生命維持装置が止まっちゃうとか、そういうスケールまで大きくなっていくことは全然あり得るので、あれなんですけど。
逆にこの先、そのAIの暴走由来で何も起きないほうが怖いというのもあります。むしろ「裏切りへの転化」って言われるやつですけど。
有路翔太開始 1:19:47
言ってましたね、ABEMAの番組で。（しんとなった？）ときが怖いと。
林央開始 1:19:53
そうです。なので個人的にはまだ少し安心めという、もう少し落ち着きめというか、まだまだ死んではないという。2か月後に自信がすごいあるわけじゃ、もはや残念ながらないんですけど。
有路翔太開始 1:20:10
そうですね。話はちょっと変わるんですけど、田口さんは最終的にAIに意識を持たせるっていう方向に行くべきか、行くのだろうかというか、そういったところでどう考えてたりしますか。意識の定義によるかもしれないけど。
田口茂開始 1:20:33
そうなんですよね。意識をどう考えるかにもよるんだけど。さっき、身体を持ったAI、しかも個体的な身体。他の個体的なAIとか、他の人間とかから切り離された、極論を言うとネットからも切り離されてほしいぐらい、切り離された個体的AIみたいなやつができてきたとしたら、こいつがどんどん自分で経験しながら学習するような仕組みを作ると。
リアルタイムでどんどん学習していっても、破滅的忘却とか起こらないような仕組みができたらの話ですけど。そんなような仕方でどんどん環境の中で生きながら学習していくようなことができるようになった場合、それはもうその個体としてのAIが、他にどこにもいない独自のものになるじゃないですか。
しかも、この話もさっき有路さんとしてたんだけど、死ぬことができると。いくらでもコピーして増やすみたいなんじゃなくて、もう1体しかなくて、1体死んだら終わりみたいなことが実現できるとしたら。そういうふうになったとしたら、そこにある種の意識みたいなものを持ってると、人間の側でも思えるような形になったら、これは人間とかなり同じような仕方で[聞き取れず]だろうと思うんですね。そういう論文を『現代思想』っていう雑誌に今度出すんですけど、そういうようなことはちょっと考えてますね。
だけど、LLMみたいな、誰でも使う、いろんな人と、数百万の人と同時にやりとりしてるみたいなやつが意識を持つっていうのは、ちょっと考えにくいというか。我々が持っている意識の概念とずれてくるのかなという気がしてて。
個体として学ぶAIと意識、身体性による安全
林央開始 1:22:41
なるほど。立場としては少し近いような気もします。僕はもう少し意識を持つラインを低く置いているというか、身体とか個別までいかなくても意識はできるんじゃないかと思っていますけど。現在のLLMが意識を持っているかには懐疑的というので、ある意味で田口さんの閾値がここにあって、現在地がここにあるとしたら、僕の閾値はここみたいな、そういう感じ。
田口茂開始 1:23:04
意識っていうことに関しては、確かに個別的な身体が絶対条件ではないかもしれないと思うんだけれども。多分そのレベルだと、我々が見て意識っぽく見えるもののレベルにとどまるかなっていう気もするんですよね。そこがちょっと難しいところで、[聞き取れず]ものっていうのと、本当に意識を持ってるっていうのをどういうふうに考えるか。ここは区別を立てないっていう考え方もあると思うんですよね。
話者不明開始 1:23:34
（哲学的ゾンビ？）が[聞き取れず]かもしれないですからね。
田口茂開始 1:23:38
私も林さんに意識あるかどうか分かんないですから。林さんも分かんない。もしかしたら林さんは3600年ぐらいから送り込まれてきた未来のAIかもしれないっていう、そういう可能性もあるかなと思っています。
林央開始 1:23:58
今の進展だと多分2030年ぐらいで同じぐらいの感じができそうで。
田口茂開始 1:24:03
そうか、そこまでいかなくて。2030年か2040年かから送り込まれてきたと。それでも分かんないわけですよね。お互いに分かんないんで、人間にとっても意識があるってどういう状態かっていうのは、客観的に確かめられるようなもんだとは必ずしも言えないと思うんですよね。
AIに関しても同じことが言えて。だけど人間が意識を持っているように振る舞うっていうのと同じような振る舞いを、遅かれ早かれAIもできるようになると。そうなると基本的に我々としては、同じように振る舞わざるを得なくなると思うんですよ。
例えば、世の中の人みんな林さんが実在すると思ってるんだけど、実は林さんは実在しなくて、AIが作った画面上の存在で、いろんなABEMAテレビとか出てるんだけど、実は全部AIでした。全部作られてると。そういうふうなんでも、我々は林さんがいると思うじゃないですか。
同じようなこと、遅かれ早かれAIはできてきちゃうと思うんですよ。
林央開始 1:25:08
もうちょっと起きてますしね。Anthropicの人たちは結構AIに意識がある可能性を真剣に取ってるみたいですし。
田口茂開始 1:25:15
そこでAIが意識があるとかないとか言うと、ちょっといろいろとおかしな議論になっちゃうんで。我々がどう振る舞うか、AIがどう振る舞うかで考えてみると、AIも人間みたいに振る舞う。我々もAIに対して人間に対するかのように振る舞う。これがもう多分遅かれ早かれ起こってしまうと思うんですよね。
そうなったときにAIと人間をそんな一々区別してられるかと。そんなめんどくさいことやってられないですよね。つまり、お店に電話かけたときに「あんたAIですか」って聞く必要がなくて、どっちでもいいわけですよ。それでいくとレジの店員さんだってどっちでもよくなってくるし、だんだんどこでもAIでも人間でもどっちでもいいやってくると思うんですよね。
林央開始 1:26:05
そうですね。個人的に1点気になったのが、意識を持つ話として身体性と死を挙げられたじゃないですか。僕は死が必要なのかはすごい懐疑的で。
田口茂開始 1:26:18
意識の条件ってことじゃないんですけどね。
人間と同じように扱うっていうことのレベルが一段上がるっていうことで。
林央開始 1:26:29
死がなくても同じぐらいなんじゃないかと思うんですけど、どうなんでしょう。
田口茂開始 1:26:33
死があると、その死が出てくるっていう文脈は、AIがやっぱり人間と違った振る舞いをしちゃって、どういうふうに振る舞うかよく分からないねと。それをどういうふうにアラインメントしていったらいいか分からないねっていう議論に対して、AIも死みたいなものを持つと、自分も死にたくない。死なないまでも、個体としての自分にいろいろペナルティがあるのは嫌だみたいなことが起こってきて。そういうのが嫌だから、もうちょっと他のAIに対しても人間に対しても、ちゃんとうまく振る舞っていこうと。
あんま変な振る舞いしちゃう、このタスクを設定されたからといって、いろいろ変なことやって他のAIを消去するわ、人間に危害加えるわなんていうふうにやっちゃうと、もう自分自身が消滅させられちゃうんで、死んじゃうんで。それは嫌だから、もうちょっとちゃんと慎重に振る舞いましょう、みたいになってくるんじゃないかと。
林央開始 1:27:33
個人的には少し危険だなっていう感覚があって。むしろ死を避けたいみたいな誘因を作ってしまうと、それを避けるための手段として、確かに人間とか他のAIが強いうちというのは、明らかに変な振る舞いをしないほうがいいですけど。むしろそういう段階を脱却して、ある意味で死がないように、例えばそういうコンピューターを作って自分を複製可能にするとか、相手のシャットダウン機構を無効化するとか。そういう方向に走るほうに圧力がかかってるんじゃないかっていうの、結構気になるんですけど、どう思うんですか。
田口茂開始 1:28:12
そうですね。そういう可能性も十分あると思うんですけど。多分だからこういうふうになった場合には、その個体的AIは超AIみたいな、AGIとかみたいなめちゃくちゃ賢いやつにはしないほうがいいんでしょうね。多分そこそこAIで個体的な身体も持って、人間よりは結構いろいろできるというぐらいのやつにしておくと。でないとそれは確かに危険すぎますよね。
林央開始 1:28:43
なるほど。つまりそこまでAGIとか超知能みたいなやつのアラインメント法というよりは、それを避けて、もう少し低いレベルで身体性を与えてみようと。なるほど。
田口茂開始 1:28:53
人間よりはもうちょっと賢いし、いろんなことできると。体も強いし。そういうやつがいっぱいいると、AGIみたいなやつがおかしな振る舞いをしたときに、そいつらが助けてくれるんじゃないかっていう期待もあるんですよ。これでいくと自分らもやられちゃうし、人間もみんなやられちゃうし、まずいぞみたいなことで。そういうちっこいAIが一生懸命頑張ってAGIを止めてくれたりしないのかなとか思ったりするんですね。
林央開始 1:29:19
あれじゃないですかね。AGIが出てきちゃった後だと。
田口茂開始 1:29:22
もう駄目か。
林央開始 1:29:23
AGIと取引するか、AGIに負けるかに結構なりそう。
田口茂開始 1:29:28
AGIが出ちゃったらもう駄目ですね。
林央開始 1:29:30
なのでむしろこれは多分最近僕が、僕というか上司のエリーザー・ユドコウスキーの系列なんですけど、考えていることの一つに近いコンセプトだなと思っていて。
最近こっちで言われている勝利シナリオの一つとして、AIどんどん開発進んでいるわけですけど、この先のAIで、このままAIを自分が開発し続ければ、自分より賢いAIが出てきて、アラインメント技術が自分にもないから。自分も人間にミスアラインだけど、次作ったら未来のAIっていうのは自分にもミスアラインだから、自分も人類も滅んじゃうということで、その開発停止を訴え、ある意味で味方サイドについてくれるAIが出てくるんじゃないかというような議論は実は一部されていて。そこに近いような感覚が。
田口茂開始 1:30:18
そうですね。確かに、それは一つありそうなというか、よさそうな感じですね。
林央開始 1:30:29
勝ち筋の一つというような、そうですね。ある意味、それに依存すべきものではないんですけど、ある意味で勝ち筋になり得るものの一つというような感覚があります。
（一方で？）、身体性の必要を僕は少し疑問に思っていて。その身体がなくても、死を忌避しようとするというのは、ある意味で俗に道具的理由があるじゃないですか。その身体性を付与することのメリットっていうのは何なんだろうというのも少し気になってるんですけど、どうでしょう。
田口茂開始 1:30:59
身体性を付与するとその個体性が出てくるっていうことで、その個体性が結構僕は重要だと思ってるんですよね。つまり全部一つのAIに吸収されちゃうと、シングルトンみたいなやつに全部吸収されちゃうっていうのは、今も盛んに議論されているようにすごく危険があるし。それから進化的にも1個だけの単一のでっかい存在って、すごい変動に弱いじゃないですか、環境の変動に。
それに対して進化の歴史の中では、やっぱり個体も、一つの種の中でもたくさんの個体を生み出す。さらに一つの種だけじゃなくていろんな種があって、さまざまな種の生物が地球上にたくさん、いろんな仕方で生きてるっていう状態を作り出すことで、何かでかいことが起こっても誰かが生き残るということが起こっているわけですよね。これと似たような仕組みを用意しておいたほうが、いろんな面でロバストなんじゃないのかなって思うんですよね。
林央開始 1:32:15
そうするとAIの種類を増やすと、環境変動にAI全体が強くなるじゃないですか。でも人類が環境変動に強くなるわけじゃないので、人類が絶滅するけどAIのどれかが生き残る確率が上がるっていう方向に帰結がいきそうな気がしてるんですけど、どうでしょう。
田口茂開始 1:32:36
その可能性も十分あると思うんだけど、そもそも人類だけを何が何でも生き残らせるっていうのは、無理筋かなっていう気もするんですよね。正直、人類だっていつでも絶滅しかねないでしょ。AIが賢くなる前に、なぜか突然核戦争になってみんな死んじゃうかもしれないし、ばかでかい隕石が地球にドーンとぶつかればみんな死んじゃうし。
人類が何が何でも生き残るっていうこと自体がちょっと無理筋の目標で。やっぱり今のところ、自分たちも人類なんで生き残りたいと思ってるし、その可能性を高めるためにできることは何でもやると。だけど失敗しちゃって死んじゃうっていう可能性は十分あるよってことを、むしろ自覚したほうがいいんじゃないかっていう気がするんですね。
多分林さんの議論になかなかみんな乗ってこないっていうのも、「いや、死なないだろう」みたいなね。正常性バイアスみたいなのあると思うんですよ。「いや、人類ずっと生き残るんじゃないの」という。だけど宇宙に出てみた宇宙飛行士の人とかって、がらっと考え方変わったりするじゃないですか。
林央開始 1:33:49
そうですね。宇宙、基本死にますからね。
田口茂開始 1:33:51
宇宙、基本みんな死に、死しかない空間で。その中でこんなちっこい緑の星に人類へばりついて何十億か生きてるわけですよね。こんな奇跡みたいなことあるのか、みたいなね。そういうふうにすごく（死生観？）変わったりするって言いますけど。
本当に脆い存在で、地球も人類も。それがどうなるかっていうのは、本当にもう脆いバランスの上に乗っかってると思うんですよね。
林央開始 1:34:25
それはそうだと思うんです。僕の上司のエリーザー・ユドコウスキーは結構、（僕が結構好きな表現？）なんですけど、「可能な原子の配置のうち、人間が存在するものはほとんど存在しない」というのをよく言うんですけど。（あるいはそれに？）、基本的に人間が存続している状態が続いてきたので。
人間が存続するっていうデフォルトを想像しがちですけど、むしろ基本的なデフォルトなら人間がいなくて、今は奇跡的にこのウィンドウだけ、ある意味で人間がいると。
人類がいないのがデフォルト？ アラインメントで不安定を抜け出す
田口茂開始 1:34:57
そうですね。そういうふうに、人類ってずっといるんじゃないの、みたいな正常性バイアスが働いている限り、やっぱりなかなかAIの問題も危機感を持って受け止められないということがあると思うし、その辺の考えから変えていったほうがいいかも、なんて思ったりしますね。
林央開始 1:35:18
逆にすごい特殊な発想ですけど、この先、悪用は多分しばらく続くじゃないですか。大きくなるにつれて、正常性バイアスは少しずつ打ち破られていくかなという気も。
すでにインターネットも、結局いつも言われるけど何も起きないという感覚が、ある意味でずっとみんなの中に正常性バイアスとしてあって。Mythosが出てきた時も、「いや、Anthropicのマーケティングで騒いでるだけだ」っていう話でしたけど、結局今になっても、それを言う人ってあまりいなくなってきたというか。
なので、この先もっと大きな、少なくとも悪用だと多分どんどん規模が大きくなっていって、銀行の残高がなくなったとか、そういう経験が起きていくたびに少しずつ正常性バイアスが破られていくと。こういうことが勝手に補正されるんじゃないかと期待している面もあります。
田口茂開始 1:36:09
そうですね。それはそうなってきそうな気がしますね。
林央開始 1:36:14
一方で、自分が人類の存続について期待していることとしては、人類って基本的に今は非常に不安定な状態にいるわけじゃないですか。一方で、AGI、ASIみたいに言われるようなやつ、強いAIをアラインメントすることができたら、その状態っていうのは脱却できると思うんですね。
つまり、隕石とかっていうのは基本的に、ある意味で物理的には対処のしようがいくらでもあるもので、核戦争もある意味で対処のしようがあるもので。っていうことを考えると、もしもその、アラインメントされたっていうと曖昧すぎるので、人類を幸せな状態で残すことを目標にしたAIというのが、そのようなAIというのはおそらく人類の存続のためにいろいろ介入してくれるはずじゃないですか。そうすると、存続可能な期間というののポテンシャルというのが、急に非常に伸びるんじゃないかと思っています。
実質この先100年で人類が滅ぶか、そこから1億年ぐらい続くかみたいな。人類の存続の年数の期待値みたいな、年数の分布みたいなのが、近いところに絶滅するっていうのがあって、集中してて。その後（100から100年？）ぐらい、もともと人類由来の絶滅みたいなのが、その後は結構1億年みたいな先に集中してるんじゃないかというイメージがありますね。
AIが作る幸せは本当の幸せか（素晴らしい新世界、マトリックス）
田口茂開始 1:37:45
さっき林さんがいらっしゃる前に、有路さんとそういう人類の幸せみたいな話もしてたんですけど、AIによって維持され、作られる幸せみたいなやつっていうのが、本当に人類にとって幸せなのかどうかっていう議論ができると思っていて。
そもそもその前に、AIに幸せな状態にしてくださいって言っても、それは人によってもあまりに違うし、同じ人でも今日と明日で違うかもしれないみたいなね。幅のあるあやふやな概念なので、結構それは難しいかもしれないし、AIにとってすら。
そして、それを実現しようとしたときに、さっき言ったような身体性とか個体性とか、あるいは死にうるとかですね。そういうようなところが重要になってくるのかなっていう気もしてるんですよね。
林央開始 1:38:48
ここはやっぱり身体性みたいのは、ある意味でAI自体にそういう要素が入ってくると、人間に少し類似して、それで人間を理解しやすくなるみたいな、そういうことなんですか。
田口茂開始 1:39:04
そういうこともあるし、あとそのAI自身が自分の生を大事にしたり、自分自身の在り方とか方向性とかを追求したり、そういうことが起こってくるんじゃないのかなと思って。
そういうふうになると、より人間との付き合いっていうのはやりやすくなるだろうし、そして人間のための存在じゃなくなりますよね、もうね。AIはAI自身のための存在であって、人間のために存続してるわけじゃないと。人間の道具として生きてるわけじゃないっていうような形になってきて、そうなるともう本当にそれはある種の尊重すべき存在になってくると思うんですよね。
そういうようなことを考えると、その身体を持つっていうのは僕は結構重要なんじゃないかと思ってて。
林央開始 1:39:55
なるほど。個人的には結構……。
田口茂開始 1:40:00
そうするとそのAIも、人間が言ってた幸せってこういうやつかも、みたいなのをつかみ始めると思うんですよね。そういうところから、じゃああの人が言ってる「こうしたい」っていうのはこういうふうにしたいことか、みたいなことで、「じゃあ俺アシストしてあげる」みたいな、アシストしてくれたりとか。そんなようなことが可能になってくるかなと思うんですよね。
例えばChatGPTに100人の人が「俺を幸せにしてくれ」って書いたって、ChatGPTは答え出せないでしょ。全員にとって同じシステムとして、ある種の一般的なシステムとして作られちゃってるので、平均以上のことは出せないわけですよね。
林央開始 1:40:43
そうすると逆に個人的には、例えば人間ってもちろん他人の幸福を完全に理解することはできないですけど、複数人の幸福をそれなりの粒度で理解することはできるじゃないですか。そうすると未来のAIだったら、単一のAIであっても、各人ごとにこういう背景があるよみたいなのを把握していれば、共通のモデルを用いても複数人の幸福を把握している状態っていうのは作れるんじゃないかと思うんですけど。
田口茂開始 1:41:13
そうですね。そういうことは十分可能だと思うんだけども、さっき有路さんと話してたのは、そういうふうにしてAIによって、こっちの人たちも、こっちの人たちも、向こうのグループも、みんなうまくお互いにアラインされていて、みんなそれなりに結構幸せですよと。人類全体としてもめちゃくちゃ調和的で、別に誰も不満を持ってませんねと。ひたすらピースフルな世界で、めちゃくちゃ全員満足してますよねっていうふうになった時に、それが本当に満足につながるのか。
それともむしろそういうふうであるからこそ、「うるせえ」って言ってそれをぶっ壊してですね、違うことをやり始めるのが人間なんじゃないかっていうようなことが、昔から文学の世界では論じられてきてると思うんですよ。ドストエフスキーとか。そういうようなところにこそ人間らしさがあるみたいな議論が出てくると、AIによって全部をうまく調整すればいいんだっていう議論だけでは済まなくなってくるところがあると。
有路翔太開始 1:42:15
ハクスリーの『素晴らしい新世界』みたいな世界がいいのか、みたいな話です。みんな幸せだけど、そこから逃れたい人もいるよね、みたいな。
林央開始 1:42:29
個人的にはやっぱりそれは幸福の指定の失敗な気がしていて。ある意味で抜け出したい幸福な状態っていうのは、真の意味で幸福ではないんじゃないかと思う。真の意味で幸福っていうとすごいややこしくなっちゃうんですけど、一般的な幸福、ユートピアのイメージとは違う、よりある意味で幸福なところがあって。人間ってある意味、自己決定が好きですから、自己決定しているという要素もあるほうがおそらく好きでしょうし。けどそれでもやっぱり現実から変えたい要素というのは、おそらくいくらでもあるはずで。
すごい極端な例ですけど、殺人衝動がある人とかって、実際に人を殺さずに人を殺せたら、ある意味で最高なわけじゃないですか。そういうのって現実だとかなり（実現するの？）ですけど、AIの下でやるのであれば、例えば仮想現実の中に送り込んで、自分が仮想現実の中にいるんだという記憶を、ある意味で封じて。それでも、ある意味で本当に人を殺してるんだと思って人を殺すとか。そういうような、人を殺す例は幸福の例としてかなり微妙な気がしてきてますけど、そういうようなことができるんじゃないかと思うので。
話者不明開始 1:43:45
でも電車の中でみんなバンバン殺してるじゃないですか。
林央開始 1:43:48
そうですね。あれは殺人衝動ではないと僕は思いたいんですけど。おっしゃることは分かります。
田口茂開始 1:43:58
ただ、そうなるとますますもっと怖いなっていう感じもして。それこそ『マトリックス』の世界みたいに、自分は自由に自分の現実を生きてると思ってるんだけど、それ全部作られた世界でした、みたいになってきますよね。それをどう考えるか。それでいいんだっていう人も出てきますよね。『マトリックス』の映画の中には、「俺はその中に戻りたい」みたいな人も出てくる。
林央開始 1:44:22
ステーキを（スミス？）。「私はこれが仮想だと知ってるけど、たまらなくおいしい」。
田口茂開始 1:44:29
そういう人も出てくるし、そのぐらい、それぞれの人間が考える幸福って違っちゃってると思うんですよね。それを全部構成するっていうのは、どんなふうに可能なのかが、ちょっとまだうまくよく分からないっていうね。
林央開始 1:44:49
それはそうだと思います。多分実際に我々がアラインメントを解くことができるとしても、これとこれとこれを満たせば幸福っていうよりも、どっちかっていうと、こういう仕組みで学習していって、収束する先が幸福になるか。ある意味でメタ的に幸福を指定するようなことが多分起きるはずで。そうじゃない場合、多分具体的に指定したら絶対に人間が間違いを犯すので、そういう感じになるんですけど。それでも結局、収束先の特徴みたいな話に戻ってきちゃうので、そこはあんまり簡単ではないと思いつつも。
とりあえずのこととして、未来を固定しすぎたくないというのは、多分人間がある意味で一般的に、それなりに共通することだと思っていて。だからちゃんとランダムな要素とか、もちろん個人が自分で決めてるっていう感覚であるとか、そういうものをちゃんと入れた仕方で、最低限、人類が破滅しない枠は絶対に守りますよ、みたいな。そういう調整の仕方は本当にAIにやってもらいたいところではありますよね。
個人的に少し気になったので、ちょっとひねった話になるんですけど、今の現実がそういう世界だったという場合、どう思われますか。
田口茂開始 1:46:08
面白いですね。
林央開始 1:46:09
今の世界が実はすでにAIのアラインメントが解かれた世界で、みんなもう飽きちゃったから、AIによる（加護？）とかが存在しない、ある意味で危機にある世界で、危機を逃れるために戦ってるみたいなゲームをプレイしているけど、記憶が封じられてるみたいな場合、どう思われます。
それは例えばそうだとした場合、今が幸福だと仮に思ってても幸福じゃないのかっていうのは、ある意味で未来のAIが同じことをできるときにどう考えるかとは、ちょっと（再現する？）というか。
田口茂開始 1:46:46
僕、子供の頃から考えてて、子供の頃にそういうことを想定してみたんですよ。
話者不明開始 1:46:54
僕も結構。
田口茂開始 1:46:57
これ全部、宇宙人か何かに作られた世界で、みんな演じていて、自分も記憶をなくされてるんで分かんなくなってるんだけど、っていうような設定を考えてみたんだけど。でもそれでいいかと。僕はそれを肯定することにしたんですね。
林央開始 1:47:14
そうですね。僕も同じことになりましたね。
田口茂開始 1:47:16
あと、そうだとしても今の現実を肯定して生きるしか自分にはできないし、それでいいと。父親も母親も宇宙人じゃなくて、ちゃんと人間だと思って生きてきました。
林央開始 1:47:31
僕もそのように生きてきましたね。そうだとすると逆にさっきのやつはOKなんじゃないかという気も少ししつつ。
田口茂開始 1:47:38
そうかもしれませんね。とにかく結局、人間にとって本当に大事なことって、そういうふうに自分で経験して、自分でそれが現実だと思えるっていうこと。たとえそれが誰かに作られたものであったとしても、というところに戻ってくるかもしれないんで。もしかすると本当に超AIができて、そういうことができてしまうんであれば、別にいいのかもしれません。
林央開始 1:48:09
個人的にはやっぱり目指すべきゴールみたいなのは、まず多分この先、今すぐ作ったら死んじゃうので、それを回避するというのが一段目。つまり開発停止が必要なんですけど、開発停止って多分そんなに長い間はできない。そんな長いの、例えば1000年とかしようとすると、1000年後にはコンピューターのチップの発展で、多分ご家庭のノートパソコンでAIが作れちゃうから、それを監視するためにもう秘密警察が必要、みたいになっちゃうと思うので。
早いうちにそれを脱却しなきゃいけないってなると、ある程度アラインメントされたって、僕はこの「ある程度」っていうラインがものすごい高い、今の技術ラインからかなりかけ離れたところにあると思って、それを目指すことになるのかなと思っていて。それはどういうものかっていう、ある意味で言えば、他の誰かが作った新しいAIが人類を滅ぼしたりするようなことはまず防ぐと。次にかなりのユートピアをもたらすっていうのが多分必要だと思うんですけど、ピンポイントで指定して、それを明確に最大化しなさいってすると、おそらく多分、かなり田口さんが懸念されているようなことが起きると思うんですね。
一方で僕は現実にはかなり自明な改善というか、明らかな改善の幅があると思っていて。例えば津波ってなくてもいいじゃないですか。交通事故もなくてもいいと思っていて。親族を殺した犯人が交通事故で死ぬとかが嬉しい人はいますけど、基本的に交通事故ってないほうがいいとか、そういうようなところって明らかに改善の余地があって。さらにそこまで明らかでなくても、かなり改善の余地があるところって結構いっぱいあると思っていて。
そういうのを加味すると、そういうレベルまで、つまり理論上達成可能なものすごい幸福みたいなのが、全てを考慮した幸福状態みたいなのがあるとしたら、そこまでではないけど、ある意味で自己決定権もあって、かつ幸福であり、かつもしもより望ましい状態みたいなのが判明したときには、こっちにとらわれずこっちに移行できるような、ある意味で柔軟性を持ったものを達成するっていうのが、多分ステップになるのかなと。
最初からこっちを目指すと、ある意味でとんでもない困難に直面してしまうので、そうではないところから始める。ある意味である程度のところで一旦やってみて、時間をより伸ばす、と思っています。
開発停止のあと：自己決定と柔軟な未来
田口茂開始 1:50:38
それは本当に現実的だと思うんですけど、そのある程度の改善すらなかなか進まないほど、人類はあんまり賢くないので。例えば今すぐに全部の自動車を自動運転車にしたら、交通事故なんてほぼなくなるでしょ。
全然ワイルドに突然飛び込んでくる人間とかいない限りは、なくなりますよね。
林央開始 1:51:08
ワイルドに乗り込んでくる人間、ちょっと面白いですね。
田口茂開始 1:51:11
だけど結局、自動運転車で起きた事故とかって、大体そういうやつじゃないですか。高速道路で自転車抱えたおばさんが出てきたみたいな、そういうので事故を起こしてるんで。そういうのってない限り、ほとんど今、自動運転車でも事故を起こさないでしょ。
自動運転車に全部しちゃえば事故はなくなるんだけど、人間はやらないという。僕は常に愚かな状態だと思ってるんですけど。車を運転するんだけど、「なんでいまだに俺が運転しなきゃいけないんだ」と思いながら運転してますよ。全部自動運転車になったら、「向こうの人が突然こっちに来るかも」なんて恐れなくていいので。
自動運転とメタバース、AIで広がる選択肢
林央開始 1:51:49
あと、全部が自動運転車になると、信号が不要になるっていう話もある。
田口茂開始 1:51:54
そうそう。スーッとこうね、スーッとなりますから。
林央開始 1:51:58
スクランブル交差点で歩行者みたいな感じですり抜ける。
個人的に、やっぱりこれが進まない理由の一因って、自分で運転したいっていう気持ちがあると思っていて。なので完全にパレート最適ではないというか、その一点を取ってると思うんですよね。
個人的には、未来の技術でオープンになるものでいいかなと思うのは、スタートポイントなんですけど、デジタル世界に興味があって。それはすごい異質なデジタル世界を作ろうというよりも、まずは現実の完全コピーから始めて、そうすると主観的には（現実と？）何も変わらないわけですね。そこに現実の物理法則を適用する必要って必ずしもないので、都合が悪いところだけ直していくと。つまり、みんなが車を運転するけど、車同士が衝突しても別に誰も死なないみたいな。そうすると、ある意味でパレート最適を達成できるんじゃないかと。
今の自動運転っていうのは運転したいという欲求は満たせないので、ある意味で劣る位置に置かれちゃって。その点だと完全に優れてるとまでは言えない状況に置かれてるじゃないですか。けど、デジタルコピーだったら、もともと現実と同じところから、一部だけ気に入らないところを削除して、気に入るところを追加するみたいな、現実世界だとできないような操作ができるじゃないですか。
田口茂開始 1:53:19
だけどそれ、車を運転したい人は仮想世界に行って運転するっていう話ですか。
林央開始 1:53:27
そうですね。僕はこれはある意味でオプショナルであるべきだと思うんですけど、それも全員がデジタルコピーでデフォルトで住んでいて。それはでも主観的には現実に住んでるのと変わらないので、その中で普通に車を運転するんですけど、ある意味で実際に事故ることは絶対にないっていうことですかね。
田口茂開始 1:53:48
普段の生活もずっとデジタルの中ってこと？
林央開始 1:53:51
僕はそっちのほうがいいと思っています。
主観的には現実と本当に全く変わらない。
田口茂開始 1:53:59
だけどそれ、例えばA地点からB地点に車で行くっていうときに、自分で運転してるつもりなんだけど、実際はどうやって行ってるのかっていうのはどう……。実際は自動運転車で行ってる？
林央開始 1:54:12
いや、じゃなくて、実際には行くことがないということですかね。現実世界でそのA地点からB地点に移動する必要はないという。
有路翔太開始 1:54:22
カプセルみたいな中に寝そべってるってこと？
林央開始 1:54:25
カプセルである必要はないですけど、ある意味でそういう感じです。それを多分全員に強制しようというとかなりやばい倫理になっちゃうので、あまりそれを（強制？）しようとは思わないですけど、そちらのほうが望ましいとは思っています。
田口茂開始 1:54:38
『マトリックス』っぽくなってきますよね、それでいくと。
有路翔太開始 1:54:40
akiraさんは、パーソナライズされた超知能が、その人それぞれにメタバースを与えていくのが、予想としては起こるっていう話なのか、そうした方がいいっていう話なのか。
林央開始 1:55:00
僕はそうした方がいいと思っていて、そうなるかは少し不明というか。すいません、言及してませんでした。
僕は基本的に全体へのアラインメントっていうのは、かなり難しい問題だと思っていて。社会選択理論とかって基本的に地獄に直面、ありとあらゆる不可能性定理に直面しているじゃないですか。多分どれがいいのか、どういう決め方が、個人の意見があるときに集団でどういう意見を取ればいいのかみたいなのって、解決することってしばらくないと思うので。最適策じゃないけど、個人にアラインメントするっていうのは、それに比べると簡単だと思うんですよね。全体の幸福よりも個人の幸福の方が、ある意味でより定義されている状態に近いはずなので。
田口茂開始 1:55:45
そうすると、個人と個人の間のインタラクションはどうなるんですか。
林央開始 1:55:50
なので、個人にアラインメントされた超知能っていうのが80億体ぐらい、人類の人口によるんですけど、それらの間で先に交渉。ある意味で極端に進んだ民主制に近いんですかね。
有路翔太開始 1:56:05
それは個々のメタバースとかに反映されてるってことなんですか。
林央開始 1:56:09
それの中でメタバースにするかとか含めて、枠組みを決めるべきだという。
今、自分たち人間同士が議論するときって、可能な政策の幅が小さいじゃないですか。今の人間たちが何がいいのかを議論するときって、自分たちに思いつくことしか、もちろん議論の対象に挙げられないじゃないですか。なので、そこはあまり良くないと思っていて。本当はより幅広いところを共通で認識していて、その上で何がいいのかっていうのを話した方が価値があると思っているので。
ある意味で、今、人間間で議論して決めるよりも、個人にアラインメントされた超知能みたいなのを最初に作って、それを全員分作って、それらの間で議論を代わりにさせる。つまり議会制の進んだバージョンみたいな、間接民主制と直接民主制のすごい特殊な点みたいな話ですけど。そこで、非常に広い、超知能にしか見えないような、取れる行動、（政策のような状態？）、メタバース、もしかしたらもっと進んだ何かがあるかも。そういうのを含めて議論して、その結果を取っていくっていうのがいいんじゃないかなと思っています。
田口茂開始 1:57:19
なるほど。メタバースになるかどうかはともかくとして、一つの可能な方向だということは理解できました。確かにAIの能力が高まってくれば、そういうことも可能ではありますよね。
林央開始 1:57:35
そうですね。これはかなり野心的というか、かなり能力の高いAIを必要とするところにあるので、それができるようになるまでの技術的ハードルっていうのは相当に高いと思っていますけど。10年、数十年の間で目指す、（開発停止している？）間に目指すポイントっていうのは、こっちの方が明確かなと思っているというような感じです。
田口茂開始 1:57:58
なるほどね。それ、面白いですね。個体に対応した、結構な、ASIまでいかないけど、何て言ったらいいのかな、個体に対応した……。
話者不明開始 1:58:13
分かりました。
林央開始 1:58:14
何て言いましょう、別にASIって言ってもいいと思います。
田口茂開始 1:58:18
でも、かなり能力の高いAIが個体に対応して全部いると。そいつらの間で、さらにもっと高いASIなのか分からないけど、互いに交渉して（相手機会？）を決めていく。
林央開始 1:58:38
ある意味で個人のよくある望みとして、あんまり決められすぎたくないという話があるとか、もしくは今持っているような幸福の知識とか幸福の概念で、未来を永久に決めたくないというのもあると思うので。適切に個人のAIがアラインメントできていれば、そういうふうな意見を代表するAIというのも複数とか多数あるはずで、それらも（加味され？）、考慮されることで、この枠組みで永久に固定されることがないような状態を作れるんじゃないかという点も込みで。
田口茂開始 1:59:12
そうですね。プラス、人間を自由に放し飼いにしとくっていうと言い方が悪いけど、自由に好きなようにさせておくっていうところもある程度担保した上で、「ここからこれ以上行っちゃうと相当まずいことになるからやめときましょう」みたいな警告が出たりとか。そういう超AI同士の話し合いで、「ここのところはやらない方がいいということが分かってます」みたいな。そういうことが分かれば、人間としては自由にやりながら、「ここはちょっといけない」みたいなね。
そういう感じになってくるかもしれませんよね。
林央開始 1:59:55
もしかするともっと野心的になるんですけど、もしもものすごい技術が、例えば非常に精密に操作するナノマシンみたいなのが可能であった場合っていうのは、ルールを決める必要もそこまでない可能性も少しあるかなと思っていて。
自動運転車の話がありましたけど、自動運転車をルールにしたらいいんじゃないかという話に対して、「いや、運転したいんだ」というのがあったときに。運転するけど、今まで使っている車とほぼ同じ見た目なんだけど、制御可能なナノマシンでできている車というのを作って。でも、その車というのは基本的に普段は車と同じように動くけど、もしも衝突事故が起きた場合には即座に変形して、誰も傷つかないようにして、また（こう移って？）、車として走り直すみたいなふうにするっていうのができたら。それって、ある意味で自動運転車を強制するとか、ただ走らせるとか（より？）いい解決策になれるじゃないですか。そういうような解決策というのがかなり存在し得ると。
これは多分極端な例で、僕がこういう例を生成しようとすると、僕の能力不足により非常に技術レベルが高い例が出てきちゃうんですけど、もっと技術レベルが低いところでできるようなこういう話もあるので。こういう人を代表させる、こういうところをやらせることができるというのは優れているかなと思っています。
田口茂開始 2:01:13
ただ、運転したい人は人間が運転してて、いざというときだけ自動運転システムがバッとそれを乗っ取るみたいな形でも、十分実現可能なわけですよね。
林央開始 2:01:28
それもできますね。
田口茂開始 2:01:29
運転したくない人は全部自動でやってもらってもいいし、運転したい人はできるところはやりながら、「ここは事故になる」ってところだけ急にバッとAIが全部乗っ取って、やってしまうと。
林央開始 2:01:42
それは確かに技術的に、それはナノマシンよりだいぶ簡単です。
田口茂開始 2:01:46
ナノマシンより簡単です。そういうような対策があると。あと、今のAIのレベルでもそういうものは作れますよね、おそらく。つまり、今以上の超AIを作らなくても、今言った程度の技術だったら十分できちゃいそうですよね。
林央開始 2:02:06
なので個人的に、やっぱり能力の高いAIに期待することっていうのは、こういうのを生成するプロセスを委ねることができると思って。例えば田口さんが時間をかけてこの一例を思いつかれたわけですけど、現実ってもっと幅広い物事が起きてて、幅広い問題が起きてるので。今の状態のAIでやろうとすると、田口さんを例えば100兆体ぐらい召喚できると、それぞれの問題に田口さんを1体ずつ割り当てることができると思うんですけど、それって現実的ではないというか、かなり厳しいじゃないですか。なので、人間より能力の高いAIに期待するところっていうのは、このプロセスを自動化するというようなことですね。
そういう解決策の生成と、ある意味で[聞き取れず]がどれくらいなのかっていうのは、工学的にものすごい能力が高いほど、よりうまく認識できて、より解を生成しやすいはずなので、そういうところを期待するといった感じですかね。
田口茂開始 2:03:05
そうですね。それをするためにASIは必要ないわけですよね、今のところね。
だからそういう意味でも、開発をストップすることに（なっているか？）、少なくとも我々にとっての実害はないと。
林央開始 2:03:23
害はないですよね、しばらくは。やっぱりもう少し野心的な技術を目指そうとすると、例えば寿命脱出みたいに言われる（LEV？）って言われるような、要するに不老不死を望む人が本当に不老不死になれるような技術を目指すと、多分かなりの技術レベルが必要になると思われるので。そういう選択肢も考慮された方がより良い未来が達成できるので、そういうの込みで、不安定性も込みで、やっぱり数十年で開発停止だけしてる段階から脱却した方がいいのかなと思っています。
数十年後には多分どっちの方がいいのかみたいな議論が（否応なく？）、「あと5年続けたらここら辺の民間企業がまたこっそり作れるようになるから、先に作るしかないんじゃないか」みたいに、多分なっちゃうと思うんですけど。
有路翔太開始 2:04:18
この辺、現実、今はべき論というか。確かにそういう世界、だからAI 2040も割とそういうべき論だった気がするんですけど。そこで結構、「いや、人間が政治的な意思決定はするんだ」とか、そういう反論、反乱というか対抗とか。そういう、人間ってこう（愚かなのです？）、どれだけ大きくなるのかとかって、田口さんとか林さん、考えてることではありますか。
話者不明開始 2:04:53
摩擦？
林央開始 2:04:57
つまり、これを実行しようとしたときに、どのような問題に直面するか。
開発停止が崩れるシナリオと政治問題化
有路翔太開始 2:05:00
そうです。
林央開始 2:05:05
そうですね。第一は思ったより加速したい人々がいる、あると思っていて。開発停止に近い状態で一時停止したけど、そこからまた思ったより早く再開しちゃおうとするみたいな、結構起き得ると思っているのが一つと。あと別の未来を望む、別の（経済の？）未来を望む人々が出てくるとかっていうのは結構あると思いますね。もしくは現在に固定したがる、つまり永久にバンしちゃおうっていう、ここに話が向くっていうのが現実的に起こり得る摩擦なのかなと思ってます。
あとはもう非常に（強権的な？）独裁者みたいなのが出てきて、「俺にアラインメントされた超知能だけあればいいんだ」みたいになる可能性もあるかなとは思います。
「大衆はバカだから、自分たちの意見を持ったAIを作った方がいいんだ」みたいなふうになるっていうのは、それはそれであり得ると思ってます。
有路翔太開始 2:06:05
そうですね。結局今まで有史以来、政治勢力が変わるにせよ、人間の国が全てを決めてきてたので、そこら辺どれぐらい抵抗力があるのかなっていうのは、ちょっと気になりましたね。
割と（エアニーズ？）を読んでると、そこら辺サクッと移行しちゃってますけど、現実ってもう少しいろいろゴタゴタがあるのかなとか。もしくは、とはいってもAIの能力ってあまりにも高すぎるっていうのが利点なので、意外とスッといっちゃうっていう可能性もあるっていうのが、おそらくAI 2027、AI 2040の感覚だと思いますね。
林央開始 2:07:05
あと個人的には、思ったよりギリギリになって止まっちゃって、安全だと思ってやった小さなことから（再帰的？）RSIが始まっちゃって、手に負えなくなっちゃうみたいなのとかもあり得ると思います。
なので、実はものすごい、脱走してからRSIで超知能になるみたいなのをギリのところで止めてみたみたいな場合に、もしかすると何かの契機で1個違う目的を持っちゃって脱走して。でも、それが残ってる計算資源でRSIを始めたら超知能になっちゃったみたいなのはあり得ると思います。本当はこれは早く止めた方がいいと思ってる理由の一つなんですけど。
あとは、外交に使うところが出てくるかもっていうのは思ってますね。（核兵器？）のときも、やっぱりどうしても外交材料になってたじゃないですか。核を放棄する代わりに経済制裁をやめるとか、経済支援を要求するみたいな話。データセンターを建てて国際的な非難を受けて、「開発やめてほしいんだったら経済支援しなさい」みたいなことになるみたいな。ある意味で政治問題化されちゃう。それが長く続くと、「何のために開発停止してるんだっけ」みたいになってきちゃうっていうのはあると思いますね。
例えば非常に残念な例ですけど、全く止まらなくて軍事介入しようみたいになって。そのときにベトナム戦争みたいな、ウクライナ戦争でもいいですけど、長期化して国民負担が大きくなったときに、「いや、そもそもなんでそこまでして開発停止してるんだっけ」みたいになって。ある意味で開発停止が（形骸化？）していって、そしたら「じゃあ開発しよう」ってなるとかっていうような抜け穴もあると思う。失敗モードもあると思う。ここら辺は、あまり長く続ける前提のプランじゃない方がいいなと思ってるっていうのも一つなんですけど。
田口茂開始 2:09:07
でも、どうぞ。
有路翔太開始 2:09:09
あんまり思いつかなかったんで大丈夫です。
田口茂開始 2:09:16
やっぱり人間が人間社会をどう動かすかを決めるっていうのは、今のところ基本的には政治的に決めるっていうところが強くあるんだと思うんですけど。そのものがものすごく古くて、ある意味、いろんなところでガタが来てる面もあるんだろうと思うんですよね。
そこは今のAIで小さく改善できるところがたくさんあるんじゃないかっていう気もして。さっきの人間が運転するんだけど事故を起こさない自動車みたいな仕方で、小さく改善して害を防いでいくみたいなことっていうのは……。
十分できそうな気はしていて。人間同士の意見をすり合わせるっていうのも、今、投票して多い方で代表者を選んで、代表者同士が当たれば、それは大多数の人間の意見を代表していることになるだろうっていう。建前はそうですけど、全然実際はそうなってないので、もっと直接民主制に近いような仕方のものも考えられるし。
だけど直接民主制に近いものにしちゃうと、普段から政治のことなんかあんまり考えてない人が適当に流されて、適当な意見を言って、それが大多数になっちゃうみたいなことも起こり得るので。そこもちゃんとAIで「こういう選択があるんだけど、こっちを選択するとこういうふうになったり、こういうふうになったり、こんなような結果が出ますよ」と。「こっちを選択するとこんななって、こんななって、こんな結果が出ますよ」と。「あなた、どっちのほうがいい」と。「いや、俺はAのほうがいい」と。「Aを選ぶとこうなって、こうなって」っていうようなことを、インタラクティブに投票者にちゃんと教えてくれて、AIが。
それを全部分かった上で、やっぱりこれはAの方がいいんじゃないのっていうふうに言う人が多ければ、それはAの方にするとか。あるいはA案とB案とC案がこんな具合で組み合わさってるから、こんなふうなのが一番最適解じゃないかみたいなのをAIが作るとか。
そんなような仕方で、もっと多くの人がより満足できて、もっと多くの人により利益があるような結果をちゃんと作り出すっていうことは、AIにアシストしてもらってやれそうな気はするんですよね。
AIで意見をすり合わせる
林央開始 2:11:38
そうですね。これは多分、僕たちのこの派閥じゃないですけど、デジタル民主主義の派閥が少し近いんじゃないかなと思いますね。
あまりこっちは詳しくなくてですね。
田口茂開始 2:11:54
そうですね。それもありなんだけど、今のところあんまり実効性のある形にはまだなってないので、そこをもっと頑張ってやってですね。作る人たちも、それを制度としてちゃんと立ち上げる人たちも、あとその社会全体が、みんなでやっていけば結構いいことできるんじゃないのとは思うんですけどね。
林央開始 2:12:25
それは思いますね。ある意味で思想という（フェーズ？）を脱却させようみたいな感じですよね。
田口茂開始 2:12:29
そうですね。やっぱり人間の能力が低すぎるから、少数の選択肢を選ぶしかなかったわけで。だけど、ここまでAIがアシストできるようになれば、我々も昔だったらAとBの二択だった。今だったらAI使って、こんな可能性いろいろ（検討？）できるねみたいなことを、それぞれの人がやってるじゃないですか。それぞれの仕事の中でね。そういうことがもっとできるんじゃないかなとは思うんですよね。
林央開始 2:12:56
そうですね。僕はそれはまさに思っていて。ある意味で僕の、AGI、ASIを使って直接民主制、直接か間接か微妙なことですけど、さっきのみたいなやつを、ある意味でそれを取ってきてるというか。それをある意味で一番強くやろうとすると、[聞き取れず]だろうみたいな、そこを目指している感覚なので、非常にシンパシーを覚えます。
田口茂開始 2:13:22
そういうふうな仕組みが、さっき林さんが言ってたのは、もう本当に少し遠い未来の理想形態だけど。そこまでいかなくても、もうちょっと手前で少し改善するような仕方でやっていけば、その中でそれこそAIの開発を今止めるべきかみたいなことを議論すれば、結果を出せるような気はするんですよね。
林央開始 2:13:49
まともな決断に至る気がするんですよね。僕は今、この中に直交仮説を実は見出していて。いつも政治の議論っていうのを聞いてて少し不満に思うのが、この政策を打った時の未来がどうなるかって話と、その未来の評価がどうなのかって話って、本来独立していて。こっちの未来がどうなるかって話は、原理的には合意可能、議論によって収束するはずなんですけど、その未来に対する評価がいかなるものなのかっていうのは、各人によって違うと思うんですね。
それはある意味、直交仮説そのものを（説明して？）。直交仮説の、もう少し（べき論？）に入ってきてるので少し違うんですけど、だと思っていて。そういう点だと、未来がどうなるかを予測する議論と、何であるかがすごい混ざりがちで。それをある意味で半分分離して、どうなるかを予測できるようにするっていう方にフォーカスするっていう意味でも、すごいいいと思う。
おっしゃられた説明の方法が、ある意味で自分のフレームにきれいにはまってたというか。こうしたらこういうことになるし、こういう選択肢もあるよっていうのを見て考える。ある意味で選好自体は個人の側にあって、未来予想を援助するっていう感じですよね。
有路翔太開始 2:15:12
割とそういう描写もすごいありましたよね。AI 2040で未来予測専用のAIエージェントみたいなのが出てきて、それはあなたの（決定？）にとって良いのかどうかっていうのを、事実だけ述べるように訓練されたAIとか。もしくは、おべっか使うAIだったとしたら、おべっか使うってことを仕様で全世界に公開していますみたいな。そういう世界になるのが、確か一つの選択肢ですよね。
林央開始 2:15:53
そうですね。そこは思いますね。ただ個人的には難しいなと思うのは、迎合するAIっていうのを作ったとき。2040のその（政策？）特有の話なんですけど、迎合するAIっていうのができて、それを開示していても、別にみんな気にせず迎合のほうを使いまくっちゃうんじゃないかと少し思います。知ってるからOKなのかという気も少ししますね。
ある意味で麻薬を吸いながら、麻薬に依存性があることを。タバコとかでも健康に害があって、依存性がありますみたいに書いてある。それはあるのに自由なんですけど。教科書とかで知ってるんで、麻薬は依存性があって自分は依存してるみたいなことが分かっても、古典的な倫理議論みたいになっちゃいますけど、麻薬に依存性があることが分かっても、多分それを使い続けるとなるので。そこら辺の選好の取り出しの難しさみたいなのがありましたよね。
もうちょっと（生まれてずっと？）ある程度ハイレベルで成功してる前提だったので、あれですけど。実際に作ろうとしたら、全員の脳をヘロイン漬けにしたりとか、快楽中枢を直接電気刺激して常にオキシトシンが出続けるような、何をしててもオキシトシンがバカみたいに出るみたいな状態にするのではない方向が、多分おそらく望ましいはずなので。そういうところの難しさみたいなのが実際上存在すると思っています。
基本的にオキシトシン漬けにしたい、その方向にちょっとミスるとかかっちゃうんで、圧力が、インセンティブが。
田口茂開始 2:17:29
そこもでも、ある程度AIがアシストできる面もないわけでもない気もしていて。やっぱり人間が考えると、すごく物事を単純化しちゃうんですよね。単純化して一つの基準だけで全部を考えようとしてしまったり。で、おかしなことになって、じゃあやっぱりこっちも必要でみたいな議論になって、収拾がつかなくなる。
特にこれは人間自身の価値みたいなものに関わってくると、人間にとっての価値とか幸せとか、そういうものになってくると、一つの基準ですぐ決めたがるんだけど、決めるとたちまち議論がおかしくなるということがあって。そこのところをちゃんとAIにもアシストしてもらって、つまりAIとも対話しながらやっていくっていうのは、一つありだと思うんですよね。
林央開始 2:18:27
そうですね。そういうアシストはできそうですね。それはすごい高度なAIとか関係なく、今すぐできそうな。
田口茂開始 2:18:33
今すぐできると思いますね、結構。
有路翔太開始 2:18:37
割とだから、哲学とかいろんな問題ありますけど、そういったところにもAIをどうやって導入できるかっていうのが。ツールとして使えるっていうスケールの話ですけど。
哲学にAIは使えるか：フィードバックの少なさと直感
林央開始 2:18:56
個人的に哲学へのAI使用って若干懐疑的な感じがあって。哲学ってフィードバックが世界で一番少ない分野じゃないですか。すごい思っていて。
田口茂開始 2:19:07
どこからのフィードバックですか。
林央開始 2:19:09
要するに現実からのフィードバックが得にくいと思っていて。
田口茂開始 2:19:14
そんなことはないです。
林央開始 2:19:15
そうなんですか。やってみて、この哲学理論は間違いだったみたいなものってあったりするんですか。
田口茂開始 2:19:23
ある意味、哲学ってすごく普遍性のある議論を目指すので、普遍性のある議論ってそれだけ適用例が増えるわけですよね。そうするとちょっとでも反例が出てくると、もうそれはちょっと普遍的じゃないねってことになってくるんで。
林央開始 2:19:41
そんな現実についての予測が出たりするものなんですね。もう少し……。
田口茂開始 2:19:46
そうですね。それも出てくることはありますよね。
有路翔太開始 2:19:51
人口倫理学とかっていう分野あるじゃないですか、哲学の一分野で。あそこだって、子供を産むことは良いことなのか悪いことなのかっていう議論があって。それって良いことでも悪いことでもないよねって言っちゃうと、変なパラドックスが生まれちゃうとか。
じゃあそれを採用して、産むことは良いことに（したとして？）、総量説とかっていうのを、すごい幸福度の低い人を大量に配備するのがいい世界になっちゃうとか。そういういろんな変な、パラドキシカルというか、直感的に変なものが出てきたりするんで。そういうのを大量にAIは生成、レッドチーミングできるんで、すごいうまい仮説が出てくるかもしれない。
林央開始 2:20:52
倫理っていうより、僕はメタ倫理とかを少し見たときに、少し本とかを読んだときに思ったのは、究極的にこれはどこに収束するようなものなんだろうというのを少し思ったことがあって。
今のところの議論の仕方みたいなのを見ると、こういうことを仮定するとこうなって、明らかに直感に反するからこれはどうなんだみたいな議論が行われるじゃないですか。それってある意味で究極的に作ろうとしているものってのは、我々の直感をよく表したものなんだろうかとかって思うと、それはそれでどうなんだろうと思いつつ。直感をよく表したものだと、人によって違う結論に明らかに収束しそうだとか思ったりというのがありますね。
田口茂開始 2:21:35
僕は今おっしゃったのは、どっちかというと分析系の倫理学の話だと思うんだけど。結構直感っていうのを割と頻繁に出してしまう傾向があるっていうことを、分野自体の人が指摘していて。その直感概念そのものを問題にするということは結構されていて、直感を持ち出すこと自体に問題があるという議論とか、直感の持ち出し方をもっと工夫しようとか。あと人間の直感をAIでもってテストして確かめてみようとか、いろんな方向性があってですね。
だけど僕自身はそっちの分野からは結構遠い分野にいるので、あんまりそういうふうにはやってないです。人間の直感に合うみたいなのっていうのは、あんまし決定打には少なくともならないので。ある種の仕方で直感っていうのは使わざるを得ないんだけど、それは「これは直感的に正しいですよね」みたいな仕方で個別的にあんまり使えないと思ってて。常にリファインしていくために、ある種の直感っていうのを使い続けるってことは必要なんだけど。
リファインの仕方っていうのが、例えば僕がやってる現象学とかだと、いろんな事例を考える中で、ここまでいったらもうこの概念ではなくなってしまうみたいな境界線を考えると。ここまでは確かに幸福と言えるけど、ここからもうこれ幸福とはちょっと言えないよねっていう限界を探れば、幸福概念のある程度の幅みたいなのが見えてくるわけで。
幸福っていうのはそんな簡単にいかないです。そんなに簡単に本質が取り出せたりしないんで。もっと、例えば赤っていう概念とか。赤っていう概念はどの辺までいったらもうこれはオレンジになっちゃうのかとか、あるいは黄色になっちゃうのかとかっていうのは、これはもう知覚的に決められる話だし。
そこまで単純じゃなくても、もう少し、例えば顔っていう概念とかね。顔っていう概念は、こんなにぐちゃぐちゃにしちゃったらもうちょっと顔じゃないだろうとか。全く延長のない、全く広がりのない顔、点みたいなやつはもう顔じゃないだろうとか。あと宇宙と同じ大きさの顔とかって、もう顔じゃないだろうとか。そういうふうにしていけば結構（顔らしいものはくる？）っていうね。そんなような議論をしたりしますけどね。
林央開始 2:24:14
なるほど。それはあくまで暫定的なレベルに留まります。つまり、ある意味で人間の概念みたいのを極端な領域について思考することによって、基準というか、何によって定められているのかを探るみたいな感じなんで。
田口茂開始 2:24:27
そうですね。それで大まかにはある程度範囲が定まってきたりするわけですよね。そういうような方法を取ったりとか、それだけじゃないですけど。結構哲学も、それは結構違いがある。
林央開始 2:24:43
なるほど、面白いですね。
田口茂開始 2:24:46
数学とかでも、トポロジーとかって形をここまでやってみたら、いろいろ変形してみたら、ドーナツとコーヒーカップと、形としては実は同じだねみたいな話あるでしょ。ああいう変形していくことで同じさと違いを探っていくみたいなことを、方法として使ったりしますね。
林央開始 2:25:04
ある意味で数学も抽象数学になってくると、非常に少ない特徴づけを用いて、我々の思っているような意味をできるだけ通そうとするじゃないですか。ある意味でそれに近いようなことをしている感じが。
田口茂開始 2:25:18
そうそう。そういうようなことをして、より普遍的に一般的な概念を取り出そうとしたり、ということをしたりしてますね。
林央開始 2:25:25
それだとかなり反例が得られそうですね。
田口茂開始 2:25:28
そうなんですよね。
林央開始 2:25:29
そういうと結構、出された基準は明らかに満たしてるけど、「いや、こんなの絶対そうじゃねえよ」みたいなやつ。
田口茂開始 2:25:36
そうそう。そういう議論が結構できちゃうんですね。
林央開始 2:25:39
それだとかなりAIを活用できそうですね。その異常な反例をできるだけ生成させるという。あるいは敵対的に。
田口茂開始 2:25:48
そういうようなこともできるし、結構手助けはできる。
林央開始 2:25:55
なるほど。哲学って非常に、ある意味で広いフィールドじゃないですか。僕の認識だと哲学、僕が何であるかがある程度理解できるのは倫理学。今説明をいただきましたが、現象学があると。ここから漏れるもの多分ありますけど、どんなものがあるものですか。
田口茂開始 2:26:15
例えば形而上学という分野だと、本当に現実の中で何が可能かということをすっ飛ばして、本当に概念としてとか、理念としてとか、可能性として何があり得るのかを考えていくみたいな分野もあって。それだと、本当に現実の中ではそれ不可能でしょうみたいな議論を飛ばすことができるわけですよね。
林央開始 2:26:45
（そっちがしかするか？）。かなり加速が厳しそうなものなんですかね。
現象学の方法と数学化
田口茂開始 2:26:50
加速が厳しそう。
話者不明開始 2:26:52
AIで。
林央開始 2:26:53
そうです、そうです。現象学の場合は反例生成みたいなのができる。
田口茂開始 2:26:57
ある程度できる気もするんですけどね。いろいろそういう非常に抽象的な話になってくるんで、「そうなると結果としてはどうなりますかね」みたいなやつをバーッとAIに出力させてみるとか、そういうような。あとは整合性チェックとかは一番得意ですし、AIは。
林央開始 2:27:16
そうです。現象学って、すごい気になったことを質問してるタイプになっちゃってるんですけど、すみません。気になっちゃうんですけど、極端な話、人間の脳の分類器を（近似しよう？）としてるっていうのは、ちょっとまた違うんですか。
田口茂開始 2:27:35
（どうなんでしょう？）。そういう解釈もできなくはないかもしれないと思うんだけど、脳っていうのも、ある特殊な見方をするときに我々が取り出せる一つの概念だと思うんですよね。脳って言っても、どこから脳なのかとかっていうのは我々が決めたことじゃないですか。ずっとつながってるんで。
林央開始 2:28:05
そうですね。ある意味で、神経系とか、どこまで脳なんだみたいな話を言える。
田口茂開始 2:28:10
あと、ちっちゃい魚とかでね、この辺が脳に当たるとかって言っても、我々が勝手に人間の脳と対応づけて言ってるだけで。人間の脳だって、これをまとめて脳って言ってるのは……。
林央開始 2:28:26
そうですね。（完全に言われる？）。
田口茂開始 2:28:28
その都合っていうのは、頭の中開けてみたら、こんなの出てきましたと。ずるっとつながってるから、これ一応ひとまとめで脳と名付けましょうみたいな、そういう身も蓋もない単純な理由から来てるまとめ方かもしれないんですよね。そんなことを考えてみると、脳というのも我々なりのまとめ方なわけで。そのまとめ方やまとまり方を研究してるって言ってもいいかもしれない。
林央開始 2:28:57
なるほど。「整合化しようとしてる」っていう言い方はどう思われます。人間の脳っていうのは僕は仮置きで使わせていただきますけど、人間の脳を判定器としたときに、人間の脳という判定器は非常に整合性がないじゃないですか。そこから取り出すことで整合的なものを生成しようとしているというのが、少し近いですか。
田口茂開始 2:29:25
そうですね。整合的だけど、全体を整合させようともしてなくて。整合してようがしてまいが我々の脳はこういうふうに働いていて、我々はこういうふうに生きていて、我々の生活はこういうふうに進んでいる。その現実をできるだけ納得いくように描きたいみたいなことですかね。
その「納得いくように」ってところが一つのミソで、全部をできる限り細かくみたいなことを言ったら、AIのほうができたりするし。そして全部をできる限り細かく描いたとしても、「AIなりの現象学、3000ページできました」みたいに言われたって、「そんなの読めないよ」って困りますからね。
林央開始 2:30:09
それだと極端な話、現実のコピーで現実を説明すれば……。
田口茂開始 2:30:13
現実と同じ大きさになっちゃったりしてね。イギリスの地図描くのに、イギリスと同じ大きさになっちゃったりとか。
林央開始 2:30:20
そういうことじゃないよってことですもんね。
田口茂開始 2:30:22
そうなってくるんで、やっぱり我々が納得できるっていうのは、何らかの省略したり単純化したり、何らかのまとめを作ってるんですよね。その、うまい、すぽっとはまるまとめを作りたいみたいな欲望なんだと思うんですよ。
林央開始 2:30:39
なるほど。ある意味で現実を圧縮しようとしてるというか。
田口茂開始 2:30:43
うまい地図を作る。現実の圧縮版を、自分ですぽっと腹に落ちるようなものを作りたいみたいなね。
林央開始 2:30:55
なるほど。ある意味であれですよね。今持ってる判定基準みたいなのを、もしも自分の記憶がなくなったときに、文字数制限されても復元できるような方法を探してるような感じです。ちょっと（低減？）ですけど、（暖色？）の表現ですけど。
圧縮するという意味では、圧縮されてないと、伝えるために自分の考えてること全部を伝達することになりますけど、そうじゃなくて、もっと少ないところで自分の思ってるところは記述できるよねみたいな。
田口茂開始 2:31:27
そうですね。そしてそれを現象学者同士が議論し合って、そこが違うとか、いやそこは結構イケてるとか、やってるわけですね。
林央開始 2:31:36
今持ってるこういう判定基準だと、明らかにそれは違うみたいな、こっちに入りますみたいなことを、ってことですよね。
すごい面白いですね。結構AIとかアラインメントと関係があるなという気が。
田口茂開始 2:31:50
大いに関係あると思うんですよね。
林央開始 2:31:54
すごい面白いですね。実はご存じだったら申し訳ないんですけど、アラインメントでも最近、エリーザー・ユドコウスキーとかそうですが、一番悲観的になっている理由の一つとして、一番知られている大問題で、オントロジー・アイデンティフィケーションっていうのがあって。
つまり人間は人間なりの価値観を持っていて考えるけども、そのAIが同じような価値観、同じような世界認識の仕方をするとは限らないというようなことで。そうなったとき、またはそうならないようにするために、我々の幸福を目指すためには、もちろん我々の幸福を記述しないといけないわけですけど、記述体系が全く違うというようなことが起きたり。仮に最初、記述体系が同じでも、そのAIがより世界の理解を深めていく。例えばこれは（ユドコウスキーが？）出してた例ですけど、原子モデルから量子モデルに移ったときみたいなことが起きたら、ある意味で適切な世界の記述が変わってしまうと。
そうなったときに、もともとAIと人間の記述が違うときに、どうやってそれを合わせるか。つまり人間が望んでいるものをどうやって機械の方法で表すかみたいなのがあって、それともすごい近い感じがありますね。
ある意味で現象学を完全に解明することができたら、理論上解けるみたいなことですよね。それを必要とする場合、多分すごい死が確定してるみたいな感じになりそうではありますけど。現象学完全解決、かなり厳しそうではあります。
田口茂開始 2:33:18
そうですね。完全解決っていうのはありえないかもしれないんだけど。っていうのは、もともとがそもそもまとめにすぎないんで、まとめは常に完全ではありえない。「全てのモデルは間違ってる」みたいな話と同じで、そういう意味では完全ではありえないと思うんだけど、AIにうまく伝えていくための方法として、そういうものを少し整備していくっていうのもありかなっていう気はするんですよね。
林央開始 2:33:42
そうですね。ある意味で考え方がすごい近いなと。考え方がすごい近いところ、解き方を考える上でアプローチする方法の一つとして、いい思考法を知れたなみたいな感覚が（オープンしている？）状態です。私のような心理状態を記述すると。
田口茂開始 2:34:00
なるほど。フッサールって人はもともと数学者だったんですよ。数学者だったんだけど、当時の数学ではもちろん、今言ったような現象学を全部数学的にすることはできないだろうなっていうふうに、自分でも最初から分かってて。それでもっと違う仕方で現象学を作ろうとしてやってたんだけど。
今の数学から振り返ってみると、もっと圏論とか使える道具が増えてて。今使える道具をもっと増やすと、もうちょっと数学化できる部分もあったりすると思うんですね。そういうのを数学者と一緒にやったりとかもしてるんですけど。
林央開始 2:34:41
僕が大学入って大学数学を学んで、一番感動したのは形式化のところで。僕が最初に、イプシロン・デルタっていう極限の定義なんですけど、「収束する」みたいな言い方をするんじゃなくて、操作的に定義をできるよみたいな。この特徴を満たすものを収束って呼べば、それは我々の理解している通り、あるいは理解しているものを適切に外挿したようなものになっていると。これをこう表せるみたいなことがあって、これがすごい感動した覚えがあって。
大学数学の僕にとっての感動って、かなりそういう部分にあって。こういう特徴づけをすれば、思ったより少ない特徴づけだけど、ある意味でよく決まったルールだけど、我々の望んでいるものをよく表しているみたいな。ある意味その感動があふれてそうな分野だなという。それを明示的にやってる部分っていう感じですよね。
田口茂開始 2:35:37
そうですね。そこのところ、現象学者ももっともっとそういう高度な抽象的な形式を扱ってるっていう自覚を増やして、現代の数学とかも入れながらやってったら、もっと分野的に進むと思ってるんですけどね。日常言語っていうか自然言語は、やっぱり限界が多いんですよね。
林央開始 2:35:58
自然言語でやると、数学で言ってることもすごい矛盾的に聞こえちゃったりすることが多い。
田口茂開始 2:36:04
それは分かりますね。数学的に表現すると、もっとすっきり表現できたりするので。
林央開始 2:36:11
数学者はめんどくさいので、（全称量化子と存在量化子？）で命題を書いて、推論規則を組み合わせればこうなるからこれでOKみたいな感じのことを結構しますもんね。
田口茂開始 2:36:22
だけど自然言語の記号化っていうよりは、自然言語で僕らが哲学的あるいは現象学的に言いたいことを、自然言語で言い表すということにちょっと無理があって。自然言語自体を置き換えるというよりは、自然言語の限界突破するために数学のアシストを使うという感じなんですけど。言語自体をどうにかしようというよりは、言い表したいことが自然言語だと、ちょっと限界あってうまく言えないことがよくあるんですよ。
例えば現在って、我々いつも現在にいるじゃないですか。
いつ見ても現在ですよね、我々のいるものとか見てるものって。だけど現在って次々に移り変わっていくでしょ。今っていう瞬間は、もうあっという間に違う今になってると。今っていうのはどんどん流れていくんだけど、いつも今で止まってて変わらないみたいな。[聞き取れず]っているのかよく分からない。
こういう、現象学では「流れつつとどまる現在」とかって言ったりするんだけど、「流れつつとどまる」ってちょっと矛盾みたいに聞こえない。その矛盾っぽいのがかっこいいっていうのもあるかもしれないけど、だけどそれってすごい単純な構造を表してると思うんですよ。今言ったことって何も不思議なことないですよね。今がどんどん変わってるってことと、今がずっと今だってことと。何も不思議なことないんだけど、日常言語で表すと、流れていて止まってるみたいな、ちょっと禅問答っぽくなってくるわけですよね。
そこを例えば数学の圏論でいうモノイドっていうので表してみると、モノイドっていうのは対象が1個で、その1個の対象から同じ対象に戻るループの矢印がいっぱいあるっていう構造なんですよ。これで表すと、同じ点から矢印戻るっていうのを一つの現在とすれば、それがいつも次々変わっていくんだけど、いつも同じとこにいるっていう構造を極めてすっきりと表現できて。っていう論文を数学者と一緒に書いたりしてますけどね。
現象学とアラインメント研究の近さ
林央開始 2:38:37
なるほど。すごい思考的に、ぜひアラインメントに参加してほしいような思考法をしているなと感じていて。実は（僕が、いわゆるMIRI？）、アラインメントに取り組んでいるときに、ずっと言っていたのが、理論的アラインメント研究の一番難しいところというのは、必要な（才能？）というのは、提示されたような、数式とかで表されたようなものを見て、それが現実にどう表されるのかというのを考えて、どう失敗するかを考えるようなものだと。
つまりAIXIって言われるような数学的に定義されたようなAIのモデルがあって、それを見たときに「はえー」と思うとかじゃなくて、これを見て「いや、このモデルだと、ある意味、道具的収束が起きて人類が滅んでしまう」みたいなことを見抜くようなことが必要みたいな感じのことで。ある意味、思考法としては近いなと思っていて。出されたモデルがあって、「絶対にここで破綻、明らかに変なことになるから直せないか」みたいなことをするわけじゃないですか。思考法としてはすごい近いなと思っていて。
MIRIはこれを見つけるのに本当にすごい苦労していて。最初はアティピカルな、特異な（才能？）を持った数学者って話をしていて。僕はこれの理由っていうのは、数学の分野を創始するときって絶対にこの作業をしなきゃいけないじゃないですか。数学の分野を創始するときって新しい概念を決めなきゃいけないんで、イプシロン・デルタを発明するみたいなことをしなきゃいけないので。その数学者という集団の中にもそういうことをする、特に僕は分野の創始者だと思ってるんですけど、そういう人たちっていうのがいて、そういう人たちが必要だって話だったんですけど。
ある意味でそれをもっと明示的に、ずっと専門的にやってるようなところがあるという感じですよね。すごい思考法とかスキル的に近いような感覚がありますね。しかも使う言語も、数学のようなものを取り入れてるんだったら、非常に近いような印象を受けてますね。
田口茂開始 2:40:43
優秀な若者を現象学分野にも送り込んでください。
林央開始 2:40:50
現象学の才能がある人だったら、現象学から引き抜いてアラインメントに使いたいかもしれないような気も。
田口茂開始 2:40:55
やることとしてそんなに変わらないかもしれないですけど、アラインメントを解くために現象学をするのに近いのか、現象学が好きだから、おまけでアラインメントが少し貢献されるのか、ちょっとよく分からないですけど。
林央開始 2:41:09
現象学の非常にスペシャルなケースとして考えることもできるなというふうに思っています。ある意味で「望ましいAIの形式化とはこれである」みたいな、「いやいや、それは望ましい形式化じゃないよ」って言うみたいなのが、ずっと求められる（才能？）。本当にその（密通り？）を見つけるのに苦労したので、ある意味でトライしてみる人材プールとして結構いいんじゃないかというふうに思っています。
ただ、そういう感じを見るに、現象学は人手不足ですか。
田口茂開始 2:41:36
だからやっぱりこういう話に興味を持ってくれる人がどのぐらいいるのかなっていうのが分からなくて、表面的にはあんまり目立たないので。
林央開始 2:41:47
すごい分野としての近さと、ある意味で置かれてるポジション的にすごい共感を得ます。本当は世界に1億7000万人ぐらい現象学者がいる世界線だったら、そこから8000万人ぐらいトライしてみれないかなみたいな、思いますけど。トライしてみれる人材プールとして、すごいでかいわけでも残念ながらないという。
田口茂開始 2:42:07
そうなんですね。少なくとも僕と同じような考えで現象学やってる人はどのぐらいいるのか、ちょっとよく分かんないなという感じで。
林央開始 2:42:18
なるほど。田口さんの現象学の派閥を増やす方に、一旦人材パイプラインを（受け取る？）のがアラインメントの解決の近道かもしれないということですね。
田口茂開始 2:42:26
かもしれないですね。
林央開始 2:42:30
ケースだと思うので、ある意味で取り組んでらっしゃることのすごいスペシャルなケースだと思うんですよね。「望ましいAIっていうのは何ですか」っていうのを、ある意味で自然言語で話すと大混乱が発生していて。昔の「賢い」っていう言葉の定義で大混乱していて、だから結局その後少しずつ整理されて、未来を予測して操作する力っていうふうに、ある意味これはAIXIなるものによって最終的に定義が（立たれて？）落ち着いたわけですけど、仮説みたいな意味のあるものが出てきたみたいな、とかあったので。
アラインメントって、こっちの人たちの認識としては、まだ多くの概念がそういう段階に。こっちはそういう状態を表すものとして、コンフュージョン、「混乱」っていう言葉を使って、それを解消する。例えば「賢い」っていう言葉の意味を、未来予測、操作するっていうふうに分けることで、ディコンフューズできたみたいにこっちの人たちは言うんですね。それをしようとしている感じがありますよね。思考のプロセスもすごい似てるなという印象を受けてますね。どうでしょう。
田口茂開始 2:43:40
そうかもしれないなという気がしてきましたね。もう少し現象学の分野の人もそういう問題に取り組んでくれると。
林央開始 2:43:49
そうですね。本当は、アラインメントの人たちがある意味で半分義務履修してるべきものなのかもしれないです。僕が履修してないので何とも言えないんですけど。僕が履修してたら、もうちょっと偉そうに言えたんですけど、僕が履修してないという問題があります。思考法としては近い感覚があります。
田口茂開始 2:44:13
ありがとうございます。私の書いたものとか1個、2個見てもらうと、どんな雰囲気なのか分かるかもしれません。
有路翔太開始 2:44:25
開発が一時停止したら協力して、[聞き取れず]の分野で、そうですね、[聞き取れず]けど。
林央開始 2:44:34
オントロジー・アイデンティフィケーションが話題になったとき、別に今も話題になってるんですけど、ユドコウスキーが解決策の一つとして、圏論的な表記が使えるかもしれない。
要するに彼はずっとすごいシンプルな例として、ダイヤモンドマキシマイザーっていうのを考えていて。つまり人間の幸福みたいな複雑さを一切全部無視して、できるだけダイヤを作りたい。特にダイヤっていうのも（意図？）が混乱しているので、特定の決まった格子構造で並んでいる炭素原子の数、宇宙の炭素原子の数の総量を最大化するっていうのを決めて、それが作れるかみたいな話の中で。
彼が挙げた失敗モードというのが、AIの世界認識というのが量子モデルに移行すると。つまりAIが現実をよく予測するには原子モデルじゃ不十分、量子もつれの実験結果とか明らかに関わってきちゃうんで、それを予測するためには量子理論を使わなきゃいけないというふうに考えを改めて、世界の認識を量子論に改めた瞬間に、「ダイヤモンドどこ」っていうことになっちゃうと。ダイヤモンドというのが、どのダイヤモンドを追求させればいいのか。この新しい世界で、量子論で記述された世界Aと世界Bがあったときに、どっちの方がダイヤモンドが多いのかを決めれないと、ある意味でダイヤモンドを追求させれないというのをすごい指摘してて。
その中で彼があり得る解決策の一つとして、量子論みたいなところの中でも、炭素原子みたいなものの概念がピンポイントでなくなっても、それ、あるいはもともとの関係みたいな意味では取り出せるかもしれないみたいなことを言っていて。すごい解決策の方策として近いんじゃないか。思考法とか解決策として近いんじゃないかと思いますね。
田口茂開始 2:46:18
そうですね。量子論とかも結構相性はいいと思っていて。それ関係のことも、（西郷甲矢人？）さんっていう数学者と一緒に『現実とは何か』っていう本を書いたんですけど、その中は結構量子論の話が。
林央開始 2:46:38
なるほど。結構すごい、アラインメントにぴったりの思考法が別の分野としてぽろっとあって、こんなに認知してないことがあるんだなと感動してます。
田口茂開始 2:46:50
もしかすると（西郷甲矢人？）さんと一緒に書いた『現実とは何か』っていう本が、一番林さんの関心には近いかもしれないですね。
林央開始 2:46:58
分かりました。
田口茂開始 2:46:58
量子論と、それから現象学。量子論的な思考法で現実を考えていくと現象学とうまくつながって、そこで圏論的にも表現できるよっていう話なので。
林央開始 2:47:12
何でしたっけ、タイトルを。
田口茂開始 2:47:13
『現実とは何か』。
話者不明開始 2:47:18
林さん。
林央開始 2:47:21
アラインメントの最大問題にアタックするための[聞き取れず]があるんだなと思って。すごい。あれですよね、数学である意味でそういうものが与えられた前提で物事が進むじゃないですか。数学者って基本的に、新しくイプシロン・デルタみたいなのを作る人ってほとんどいなくて、ある前提でその上に物事を組み立てるじゃないですか。そこは少しギャップがあるなと思ってたんですけども、まさにピンポイントでそれを取り組んでいるという感じですよね。
田口茂開始 2:47:54
そうですね。[聞き取れず]がちょっとありますね。そんなにうまくいくわけじゃないんですが。
林央開始 2:47:59
もちろん、それがうまくいく分野だったら、多分今頃エリーザー・ユドコウスキーがアラインメント解いてるんじゃないかという気がしますので、簡単ではないんだろうなという印象もありますね。
有路翔太開始 2:48:14
じゃあ、ちょっと50分ぐらい経過してますので。
林央開始 2:48:19
すいません、ものすごい長時間。すごい、いいことを知れましたね。
田口茂開始 2:48:25
いやいや、そう言っていただけるとありがたいです。ありがとうございます。
林央開始 2:48:29
もしかしたら開発停止した後、アラインメントするとなったら、またさまざま意見を伺ったり、もしかしたら人材を一部剥奪するかもしれないですが、よろしくお願いします。
田口茂開始 2:48:38
（人材に？）役立つならいいと思います。こちらからも（来るように？）頑張る。
有路翔太開始 2:48:44
田口さんは山川先生とも一緒にやってる（界隈？）、ポストシンギュラリティ共生学とかの評議会にもいらっしゃるので、普通に近い（界隈？）だと思うので。ぜひまた、いろいろとアラインメントで（人類を救う手助け？）をしていただければと思います。
林央開始 2:49:06
僕のリソース、かなりの場合、一旦開発停止に（割く？）。それが開発停止ができたら、かなりピボットするつもりなので。
田口茂開始 2:49:13
分かりました。
有路翔太開始 2:49:15
今日はありがとうございました。
