AGI Hub公式YouTubeで2026年10月23日に配信した読書会・討論を、AGI Hub編集部が書き起こしました。言いよどみと言い直しを除いて整えましたが、発言の中身は変えていません。用語注釈は編集部が加えたものです。各話者の見解や個人の将来予測を含みます。原文（AGI Hub YouTube）はこちら。
この書き起こしについて
2026年10月23日19時から、AGI Hub公式YouTubeで「『超知能AIをつくれば人類は絶滅する』読書会・討論」を配信しました。ゲストは、計算の歴史を研究する前山和喜先生です。題材は、エリーザー・ユドコウスキーとネイト・ソアレスの『超知能AIをつくれば人類は絶滅する』（早川書房）。前山先生がこの本を読んで感じたことや引っかかった点を話し、「本当に人類は絶滅するのか」と問いかけ、主任研究員 林央（akira）と代表 有路翔太（bioshok）が答えました。予定の2時間を超え、約2時間45分の議論になりました。本記事はその全文に用語注釈を付けた解説付き書き起こしで、事前知識がなくても読めるようにしています。
配信の録画はYouTubeで見られます。章ごとの「動画で見る」のリンクから、その場面の録画を開けます。発言の横の時刻は録画の中の時刻です。
書き起こしは音声認識で作り、言いよどみと言い直しを除いて整えました。発言の中身は変えていません。配信の冒頭の接続確認は省いています。聞き取れなかった語には「（〜？）」や「[聞き取れず]」の印を付けました。声と文脈から話し手を決められなかった発言は「話者不明」としています。
対談動画
人物紹介
前山和喜先生
計算の歴史の研究者。成蹊大学文学部客員講師、東京大学百五十年史編纂室特任研究員、国立情報学研究所特任研究員。ZEN大学のHUMAIの研究員も務めています。算盤や計算尺、手回し計算器からコンピュータまで、日本の人びとが「計算」とどう向き合ってきたかを、歴史学の方法で研究しています。総合研究大学院大学（国立歴史民俗博物館）で博士（文学）を取得しました。
X: @mk95_hoc
有路翔太（bioshok）
AGI Hub代表。東京大学大学院で自然言語処理を研究し、修了しました。AIのインパクトとリスクについて発信を続けており、著書に『知能爆発』『AIのもたらす深刻なリスクとその歴史的背景』があります。
X: @bioshok3
林央（akira）
AGI Hub共同創業者・主任研究員（Chief Alignment Officer）。東京大学在学中にAI安全性のコミュニティを立ち上げました。いまの開発競争が続けば人類が絶滅する確率はきわめて高いと公に評価しており、AGI Hubではアラインメント分野の調査と発信を担当しています。
X: @Align_ASI
この討論の見どころ
前山先生は計算の歴史を、計算を頼むと結果が返ってくる「サービス」の歴史として見ています。使う人の側から見れば、計算をしているのが人間でもコンピューターでも、ほとんど気にされてこなかった。だとすれば、この本を一般の人はどう読めばよいのか。この問いが前半の軸になります。林央は、多くの人が中身を気にしないことはむしろ規制にとって好都合だと答え、世界の流れを決めるのは政治的な意思と技術の能力の二つだと話します。
中盤では、科学コミュニケーションの歴史、コンピューター導入への反対運動、生殖医療や核兵器の規制の前例と比べながら、AIの開発停止はどこまで現実的かを議論します。絶滅の確率を数字で語る意味や、専門家の警告が社会にどう届くかも話題になります。後半は、AIを「ロボット移民」にたとえる林央の見方と産業爆発の話から、人類の歴史は計算の歴史だという前山先生の見方へ進みます。最後は「知能」という概念で考えること自体を問い直し、サイバネティクスとAIの自己強化の話で締めくくりました。
書き起こし本文（敬称略）
はじめに：出演者の紹介と、計算の歴史という研究
有路翔太開始 0:55
そろそろ時間になったので、始めさせていただきたいなと思います。今回は成蹊大学でコンピューターの歴史の研究をされている前山先生に来ていただきました。本日はよろしくお願いいたします。
前山和喜開始 1:17
よろしくお願いします。
有路翔太開始 1:20
今akiraさんも来ましたね。
前山先生の自己紹介をする前に、一応AGI Hubの話もしておきますか。
AGI Hubというのは、高度なAIですね、AGIとか超知能といったものがもたらすリスクとインパクトについて啓発活動をしたり、そういった分野自体を育てていこうということで、今年の6月にスタートしました。
僕の名前はbioshokという名前で、AIの安全性ですとかAIの未来、いわゆるシンギュラリティということが盛んに言われてますけど、そこら辺の話を発信、啓発活動をさせていただいている者です。調査もしていて、akiraさんも一応ご紹介ですかね。
林央開始 2:42
どうも。結局あまりbioshokと変わらず、特に人間より賢いような高度なAIの安全性について扱っている者で。このまま開発を続ければほぼ確実に人類が滅亡すると考えています。
有路翔太開始 2:59
よろしくお願いいたします。今回はAGI Hubの企画で、いろんな専門家の方とAIの極端なリスクですとか、そのインパクトについて雑談するという、割と緩い回になります。
ということで今回来ていただいたのは、計算、コンピューターの歴史を専門とされている前山先生に来ていただいてます。本日はよろしくお願いいたします。
前山和喜開始 3:29
よろしくお願いします。
有路翔太開始 3:46
前山先生の自己紹介をしていただいてもよろしいでしょうか。
前山和喜開始 3:53
前山和喜です。よろしくお願いします。専門にしているのは計算の歴史。この計算の歴史っていうのは、人々が営み、生きていく上でいろんな行動をしますけど、その行動だったり生きるための何かとしての計算っていう、すごい広い枠組みで計算ってものを捉えていて。それが普段の日常生活の金銭的な計算だったり、もっと大きく台風の進路予測だったり、建築の超高層ビルの耐震計算だったりとか、社会にある計算というものの歴史を研究しようと。
ただ当然ですけど、今、現代社会の計算というのはほとんどがコンピューターになっているので、結果的にコンピューターの歴史をやっている。僕はコンピューターの歴史をやっているというよりも計算の歴史をやっているので、それを現代社会の歴史として理解しようとしたときには、当然コンピューターだよねというような形で、コンピューティング、計算することの歴史っていうのを研究していて、特に自分はさらに日本の歴史、現代史として研究をしています。
所属が今、成蹊大学の文学部だったり国立情報学研究所だったり、東京大学150年史編纂室だったり、いろんなところで活動しているんですけれど。
有路翔太開始 5:35
ZEN大学でも活動されてるんですか。
前山和喜開始 5:36
ZEN大学はそうですね。HUMAIっていう、Humanityと人文社会科学×AIのプロジェクトを日本財団とやっているんですけれど、そこには多様な若い人たちが集まっている。若い人たちに研究助成をやっていて、そのコミュニティ醸成というか、単に助成金を渡すだけじゃなくて、助成をした人たちが集まって、一緒にこれからの人文社会科学とAIの関わり、もしくはAIからそっちをアップデートするもあるし、その反対側、いろんな側面があるわけ。
その関わりについて何かをしようと思ったときに、なかなかいろんな人たちがいるので、自分はちょうどどちら側もやってるということで、メンターというかコミュニティ運営の仕事をZEN大学ではしてます。
有路翔太開始 6:40
ありがとうございます。今、博士は取り終わってるんです？
前山和喜開始 6:48
今年、この間の3月に博士取りまして、今は教員だったり研究者だったりとか、複数の箇所でやっているっていう感じです。
有路翔太開始 7:03
もともと科学技術史とかには興味あったんですか。
前山和喜開始 7:07
そうですね。もう少し丁寧に言うと、学部は僕はコンピューターサイエンス出身で、プログラミング、最近流行りの競技プログラミングとかももともとやっていて。そこで一通り勉強した（つたらある？）んですけれど、コンピューターサイエンス、一回学部出たタイミングで、もともと歴史好きだったっていうのもあって。あと日本の歴史っていうのが全く研究が進んでいないっていう状況を知りまして、じゃあせっかくならやってみようかなと思って、修士から文転というか、歴史研究ができるような先生のところで研究し始めたっていう感じですね。
有路翔太開始 7:57
計算っていわゆる算盤とか、こういった意味の計算から、半導体が出てきてコンピューターが出てきた話の歴史のイメージでいいんですかね。
前山和喜開始 8:16
そうですね。自分がやってる計算っていうのは、英語で言うと一番コンピューティングっていう言葉が近いんですけれど、実際にはカリキュレーションとコンピュテーションっていう、英語圏だと2つの計算概念があるはずなんですけど、日本語だと計算っていう一言の、一単語しかないわけですね。
自分が対象としているのは計算っていう一番広い、欧米圏だったらもう少しいろんな単語があると思うんですけど、日本語だと計算って言えてしまう。逆に言うと一言で言えてしまうという意味で、いろんな幅広い、特に僕は計算実践って言葉を使っていて、実践的なことに興味がありますね。
例えば計算だけって言っちゃうと、計算機センターとかの運営みたいなところって抜け落ちちゃうと思うんですけど、僕は計算機センターがどう運営されていくかみたいなところにもすごい興味があるので。
日本の計算を支えた道具と社会の仕組み
林央開始 9:25
チューリングマシンとかよりも、どっちかというと実際に作られるマシンとかの方みたいな。
前山和喜開始 9:30
そうですね。ちょうどこの間、文学部の授業でオートマトンとかやっていて、オートマトンとかも、チューリングマシンとかもすごい好きなんですけれど、歴史研究としてやってるのは、そういう理論的なコンピューターサイエンスの歴史っていうよりは、どちらかというと社会の基盤としてあるコンピューターをどう使おうとするかとか、どう運用するかとか、そっちに興味があります。
林央開始 9:58
そういう意味だと現在も結構激アツじゃないですか。
前山和喜開始 10:01
いや、もちろん激アツですよね。でもこれ、僕は結構不思議に思ってるんですけど、日本だとほとんどコンピューティングの歴史研究してる人がいなくて。
林央開始 10:14
イギリスかアメリカで（実施した世界というみたいな上がりがある？）。
前山和喜開始 10:18
そうですね。欧米圏の方が圧倒的に研究者いっぱいいて、日本のことやってる人たちほとんどいないんですけど、もともと算盤とかタイガーの手回し計算機とか、（変身？）の計算尺、『風立ちぬ』の映画にも出てきた計算尺ですね。いろいろ計算道具だったり計算機器って、日本が世界的にもトップシェアを取ってるぐらい計算道具作るのうまいし、さらにスパコンもこれだけ科学技術予算が厳しい中で世界一をずっと取り続けてるっていうのは、普通に考えると僕はすごいことなんじゃないかと思うんですけれど。
有路翔太開始 11:02
富岳とかそういうやつですか。
前山和喜開始 11:03
そうですね。そうです、まさに。昔は大型計算機を1台入れて、それをみんなで使おうっていうあり方しかなかったので、逆に言えばスパコンしかなかったような感じだった社会から、いろいろ普及していくっていう70年代、80年代があるわけですけど。
そういう意味でも、むしろ70年前、60年前とかの方がクラウドコンピューティングというか、みんなで接続してどううまくやるか。当時はインターネットとか当然なかったので、センターがどういうふうに運用するかっていうところが結構肝になってて。本当に当時、パンチカードって呼ばれてる紙に穴開けてプログラムするわけですけど、そのパンチカードをトラックで集荷するんですよね。そうするとコンピューターへのアクセスっていうのが、むしろ本質的にはトラックが週に何回集荷に来てくれるかという。
話者不明開始 12:04
宅配が。
前山和喜開始 12:06
そうなんですよね。だからインターフェースとしてそういうトラックとかまで見ないと、当時の計算の実践っていうのが読めないので。自分は実践っていう言葉で言うときには、そういう直接的に計算してるわけじゃないんだけれど、そこを見落としちゃうと計算できないよねみたいなところを結構相手にしてるみたいな。
林央開始 12:26
計算の利用を可能にするシステム全体みたいな感じ。
前山和喜開始 12:30
そうですね。それを社会がどう受容するかというか、その計算結果っていうのを。例えば耐震計算の話とかも、コンピューターでシミュレーションして耐震計算で大丈夫だって分かったとしても、それをどうやって社会の側が計算結果を利用するのかって、何かしら仕組みがないといきなりは使えないと思うんですけど。そういうときに、例えば大臣認定プログラムっていう、大臣が認定したプログラムがあって、それを動かすればOKとするみたいな、そういうルールを作っていったりするんですよね。そういうところに結構興味があります。
有路翔太開始 13:15
現代、20世紀とか19世紀とか、もっとも計算ってすごい、何でしたっけ、（アンティテラ？）なんとかみたいな、聞いたことあるんですけど。
前山和喜開始 13:27
そうですね。あれは結構時計というか、時間だったりとかも計算する。その意味で言うと専用計算機に近いのかもしれないんですけれど。
有路翔太開始 13:41
分野としては全時代の計算に興味があるって感じだった？
前山和喜開始 13:46
僕はそうですね。本当に全部の時代、やれるならやりたいんですけど。
有路翔太開始 13:54
一応専門が、近現代というか。
前山和喜開始 13:55
そうですね。専門はまさに近現代というか、基本的には明治時代以降。明治時代に結構、計算という職業が社会的に専門職になっていくっていうのがあるので。江戸時代だと和算家が結構（計算になってたり？）とかするので、プロフェッショナルな人たちだけの世界と、逆に寺子屋の日常的な人々の計算っていう、結構乖離があると思うんですけど。
近代化して明治以降になると、事務員さんとかが計算員とか計算係として社会に組み込まれて、今でいうExcel計算みたいなものをやっていくようになるわけですけれど。そういうところから、それがコンピューターに置き換わっていくみたいなところが結構好きというか、歴史としてはそこをやらないとダメだと思うので、そことかをやってるっていう感じですね。
有路翔太開始 14:55
コンピューターってもともと職業の名前だったって聞いたことがあるんですけど。計算手みたいなやつ。
前山和喜開始 15:04
女性計算手がコンピューターって言われてることが多かったわけですけど、でもそれもやっぱり、どうしてカリキュレーターじゃなくてコンピューターだったんだみたいな。多分、日本人が思う計算と、結構現在的にカリキュレート、電卓のことカリキュレーターって今でも言いますけど、カリキュレートって思うようなものの方が結構当時のコンピューターはやってたんで。
当時のコンピューターってほぼ四則演算で、もっと言えば足し算、引き算、（引け算？）ぐらい。割り算まで当たり前にできるっていうわけではないような感じだった状況の中で、カリキュレートとコンピューターをどう位置づけるかみたいなところっていうのは、それは欧米圏で欧米圏の歴史があるんですけど、じゃあ日本人はどうだったのかみたいなところの特殊性があって。それなりに算盤がうまいし。
戦後すぐ、第二次世界大戦の後、GHQの電動計算機、コンピューターじゃなくて電動の機械式計算機、バーサス逓信省の郵便貯金局の算盤名人が計算勝負するんですけど、日本人の算盤名人が勝つんですよね、電動計算機に。
話者不明開始 16:18
（ほんの今みたいなことをしますね？）。
有路翔太開始 16:20
今の時代、ギリギリ人間が勝てるぐらいの、そういう世界だった。
前山和喜開始 16:26
そうですね。その意味で言うと最後だったのかもしれないですけど。（セキュレーター？）なんですけど、プログラムができないので難しいですね。
有路翔太開始 16:40
プログラムができるっていうのは革命ですよね。
前山和喜開始 16:44
そうですね。やっぱりある日突然プログラムって概念が生まれるわけでは多分ないはずで。計算っていうのが手続きになってるだったりとか、例えば分類をするだったりとか、並び替えをする、ソーティングするとか。おそらくその事務の計算だったりとか仕事っていうのが手続き的に分解されていたっていうのが本質的に重要なんじゃないかなっていう思いもあって、そういうところを結構、自分は日本においてどうだったのかみたいなところですかね。
欧米圏のコンピューターと呼ばれていた計算手たちは、結構本当に単純な、Excelの一マスの足し算、引き算とかばっかり（争われてた？）のに対して、日本の算盤名人たちとか、その逓信省で働いてた人たちがどれぐらい分業化された計算労働してたのかみたいなところって、まだそんなにちゃんと明らかになってないので。できれば資料とかを見つけて、そういうのを組み立てていくみたいな歴史研究ができていければいいのかなとは思っています。
有路翔太開始 18:02
そう考えると、いろいろその時代でコンピューターがどうやって社会と組み合わさって広がってきたのかっていう、こういうところがすごい（解像度高くないそうですね？）。
前山和喜開始 18:17
そうですね。まさにそういう話をやりたいと思ってます。やってます。
計算サービスの歴史と、市民としてこの本をどう読むか
有路翔太開始 18:26
そういう話から今日いきなり『超知能AIをつくれば人類は絶滅する』みたいな、ギャップがめちゃくちゃある話ですけど。前山さんって、そういうAIが人類を絶滅させるっていう話については、この本は一応読まれたんですよね。
前山和喜開始 18:51
今、成蹊大学で「AIと倫理」っていう科目と「AIと創作」っていうAI系の2科目やっていて、特に「AIと倫理」って科目はゲストスピーカーを3人呼んで、AIガバナンスの話だったりとか、AIと哲学、AIと倫理みたいな話をしてもらったんですけれど、ゲストスピーカーはみんなこの本に言及していて。それは読むしかないなと結構思って、読みました。
林央開始 19:28
そんな時代が来たんですね。
前山和喜開始 19:31
逆に言うと、結構その授業が今年から新カリキュラムで始まった授業だったっていうのもあって、先生方というかゲストスピーカーの方にはゼロから授業を作ってもらったんですけど、じゃあ今AIと倫理話そうと思ったときには、確かにこの本いいよなって感じです。
有路翔太開始 19:52
一応akiraさんはその本の部下、その本の著者の部下。
林央開始 19:59
その本自体の部下であることはできない。
有路翔太開始 20:05
カテゴリーがおかしくない？ 機械知能研究所ですね。
林央開始 20:11
この本を書いた（機械？）にも所属してます。
有路翔太開始 20:15
なので疑問に思ったことは全て答えることができる万能コンピューターだと思うので。
林央開始 20:22
万能コンピューターじゃないです。（完全？）停止問題が僕に存在している。
話者不明開始 20:27
万能チューリングマシンもそれ解けないので、大丈夫だと思う。
チューリングコンプリートではあるかもしれない。
有路翔太開始 20:35
（完全？）。どうしますかね。前山さん、すごい質問があるって最初おっしゃってましたけど。
前山和喜開始 20:56
逆にじゃあ先に質問をちょっと投げてから。あとでもう一回僕もちょっと話しますけど、僕は結構一般庶民のレベルというか、人々はこれを読んでどう思えばいいんだろうっていうところが気になってます。
林央開始 21:17
[聞き取れず]。メモっていいですか。
前山和喜開始 21:19
別に研究者だったりとか、そういうAI開発をやってない、日常的に社会の中に暮らす人々の視点から見たとき、この本をどういう態度で読めばいいんだろうみたいなところ、僕も結構気になりながら読んでいましたので、（歩んでいきましたってこと？）。
有路翔太開始 21:48
あんまりこういう質問なかったですね。[聞き取れず]、社会的な（発？）。
でもめっちゃありがたいですね。この本はみんな読むべきって言ってくれてることが。
林央開始 22:23
そんな広がってるんですね。ゲストスピーカー全員読んでるような時代が来たんですね。
有路翔太開始 22:30
Amazonレビューとかめっちゃありますよね。270だっけ、240ぐらい。結構レビューも4.5ぐらい。意外と。
話者不明開始 22:48
（時代が感じると言って？）。
第2部みたいな感じの世界かもしれない。
有路翔太開始 23:16
カルダシェフ・スケール文明に僕は10年後に行ってると思ってるんで。全然。
林央開始 23:22
僕、行ってないと思います。
有路翔太開始 23:23
だから一周回ってってことですよね。全滅してるから。
林央開始 23:28
開発停止してて行ってないか、開発停止してなくて。
有路翔太開始 23:32
そうしたら行ってはいるってことですかね。人類全員いないだけで。
だから前山さんをシミュレートしたいAIがいれば、行ってるかもしれないですね。
林央開始 23:44
いれば、日本において発生した人類の絶滅現象と、それからの急激な計算規模の拡大が（偽大？）になってるかもしれないですね。
前山和喜開始 23:55
さっきの話の続きを少しだけしたいんですけど、僕の研究の立場からちょっと話したいんですけれど。自分は日本においてコンピューターの歴史を考えるとしたときに一番重要なことは、自分が計算するんじゃなくて計算サービスを利用するようになるっていう変化が一番本質的に大きい変化だって僕は考えているんですね。
だから分かりやすく言えば、計算がリテラシーの問題、読み書き算盤の算盤だった、リテラシーの問題だったところから計算サービスを利用する。計算を依頼して投げると、その結果が返ってくるみたいになる。計算という実践の中心がそういうふうなインタラクション、依頼して返ってくるっていうことになるっていうことが、本質的にコンピューター時代、日本においてコンピューターを使うっていうことの、本当の大きい転換というか変容の中心にあると思ってるんですね。
これ結構そういうふうにもともと[聞き取れず]を取っていたんですけど、博論をすごい長い時間かけて書いていたせいで、世の中が生成AI社会になってしまえば[聞き取れず]。博士課程始まったときには、僕がこれ、サービスが大事だってことを言い始めた頃にはまだこの生成AIなかったんですけど、言ってる間にいつの間にかもうみんな生成AIに依頼してプロンプト投げて、結果が返ってくるってことがコンピューター使うってことの中心に来つつあるような感じもしていて。余計そうなって（ありがとうなのか？）。別に僕は現代のことを思ってやってたわけじゃないですけど、歴史を見ていたけどすごい現在性を持っていたのかもしれないなって思ったりもしたんですね。
そのときにやっぱりコンピューター、もしくは今だったらAIってなってるかもしれないですけど、それに依頼して結果が返ってくるっていう枠組みだけを見たときには、今のあり方がそんなに違わないんじゃないかって思う反面、じゃあ今何が新しいのかって思ったときには。
ここでも言われてると思うんですけど、やっぱりまず規模だったりとか、メモリの大きさが人間とは全く違うとか、そういう話は当然あるとして。僕は、自律的にというか、AI側でぐるぐる回るっていう感じがあると思うんですよね。そうなってたとしても、僕はコンピューターをサービスとして使うっていう人々の立場から見たときには、計算主体が何であってもどうでもいいはずなんです。
そもそも歴史的に、さっき言ってたコンピューター、計算手たちが置き換わった。もともと人間計算手だったのに機械コンピューターになったっていう。その置き換わりっていうのは、計算センターみたいな、計算を依頼する場所ですね。専門の計算機関が設立されていて、人々は、科学者とかはそこに依頼をして、計算手たちに計算させて、その結果が返ってくる。さっきのノイマンの話に近いと思うんですけど、そういうふうなあり方になっていたときに、その内側のコンピューターが人間だろうが機械だろうが、外の利用者、計算を利用する人たちからしてみれば変わらないわけですよね。
だから人間計算手が機械コンピューターに変わるっていう歴史があったわけで、その依頼をするみたいな感覚が馴染んできた社会の、コンピューター社会。AWSとかそういうスパコンとかが当たり前にあって、ずっと何十年かやってた中で、今、生成AIというかLLMというか、サービスに置き換わったときに、人々からすると、できることが増えた以上の、その内側でどうかっていうのは、歴史的にあんまり大事じゃないんじゃないかって見方ができるとも僕は思っているんですよね。
林央開始 28:06
それはそうだと思いますね。多分ぶっちゃけOpenAIとかAnthropicの内部で何が起こってるかって追跡してる人って、多分全然いなくて、突然大騒ぎになるというのを繰り返して。大抵は外に出るモデルは内側で起きてるのから何か月も遅れてるみたいに言われるような状態で、あんまり多くの人が内部を気にしてる感じはないですよね。
多分昔のチャットのコールセンターみたいなのと同じノリで使ってる感覚はありますね。裏で置き換わってても何も気にしてないみたいなところはあるんじゃないですかね。間違いなくそれはそういう気がするんですね。
有路翔太開始 28:47
そうですね。既に生成AIが出てくる前から、技術全般で、冷蔵庫がどうやって動いてるのかとか、ほとんどの人は分からないと思いますけど、そういうのを気にせずに使っていってますもんね。コンピューターでもどんどん内部がどう動いてるかっていうのを気にせずに、どんどん普及するっていうのはすごい納得感があるとか、スピードアップしてっていう気はしてますね。
前山和喜開始 29:21
そうですね。そう思ったときに、この本を人々はどう読めばいいんだろう。
林央開始 29:35
この本の内容になると、もはや内部で何が起きてるかとか気にしないとか言ってる場合じゃなくて、内部で何が起きてるかを見てないうちに、内部ですごいことが起こって、外側の人間が全員死ぬという。
逆に、内部で何が起きてるかを多くの人が気にしてないというのは、ある意味規制にとっていいことだと思っていて。ある意味、外部に出てくるものを満足して使ってるというのが基本なので、どうしても今すぐAGI、ASIを作ってほしいという人は、そこまで多分世間的には多くないじゃないですか。今すぐ最速で、人類が滅ぶ確率50%でもいいから、とりあえず超知能を作ってほしいっていう人。それなりの数はいるんですけど、世論の中ではだいぶ小さい分類に属するような感じがありますよね。
なので、この本も常に推奨してることが、これを2つの問題に分けることで。1つは超知能の問題である人類の滅亡。もう片方は今のAIのプライバシーとか便利だとか、そういう話だと思っていて。こっちの問題って初めてだと思うんですよね。要するに一定のレベルまで行くまでは全然問題が起きないけど、起きた後にいきなり信じられないほど多くのことが起きて、取り返しがつかないことって、あまり今までの歴史上ないじゃないですか。なので、そっちはすごい特殊な（ものでない問題？）。それで手前の問題が、ある意味で全部起きてきたことをひたすら延長してるだけっていう感覚がありますね。
なので、一見ダブルスタンダードに見えるような、さらに強力なAIの開発に全力で反対して、同時に今あるAIを全力で使うみたいな態度も可能になるような状態だと思います。すごい特別な状態だと思います。
AIの開発停止に向けて、個人にできること
前山和喜開始 31:30
そうですね。あと原子炉の話とかあったと思うんですけれど、状況は多分そうで、切り分けて考えるとかはあると思うんですけど。じゃあ考えることはあったとしても、結局、僕は何したらいいかとか。あとデモするとか、いろいろ（込めるように？）、選挙の行動するとか言ってます、あるんですけど。
例えば選挙投票するときに、AIに対してどういう立場を取ってるかっていう政党ごとの比較を見て、選挙の投票行動をしようって人がほとんどいないというか。多分それよりも、もっと直接的に重要な何かしか考えられないと思うんですよね。ってなると、言ってる選挙の話とか、投票行動の話とか難しいなと思うし、デモとかそういうアクションを起こそうっていうのも、そこまで想像力が普通ないし。
むしろさっき冷蔵庫とか、そういう仕組みを分からなくても使えるようになるっていうところは、やっぱり現代の技術の、いい意味でブラックボックス化するっていう恩恵を受けてるっていう、まさにそういうところにあるわけですし。実際、自分だけ使うのをやめるとかそういう話ではなくて、使ってはいいっていう恩恵を受けてるってなったときに、どうなんだろう。
林央開始 33:08
そうなんですよね。結局多分、世界の趨勢を決めるのは2つ要素があって、政治的意思を作るという話と、能力を作るという話だと思うんですね。政治的意思を作るというのは、トランプ大統領と習近平国家主席が両方とも、このまま超知能を作れば人類は死ぬからやめよう、やめようと思うっていうのが。それができたとしても、ちゃんと（リプー？）するための仕組みとかが必要なんじゃないですかね。
そう考えると、中間的な（かけた？）があると思っていて。これは（コンピューターベリフィケーション？）っていう技術ですけど。要するに、今、AI安全性の[聞き取れず]議論されているのが、開発停止に仮に習近平国家主席とトランプ大統領が合意したとして、相手がそれを守っていて、裏でこっそり開発してないことをどうやって検証するかって議論が裏にあって。
それにおいて、解決策というか策がいくつか提案されていて、最初に提案されていることは、今って非常に大きなデータセンターが必要じゃないですか。なのでトラックできるので、ある意味で国際査察団を送って、そこら辺の大きいデータセンターでは新しい開発はしていなくて、実行しかしてないことを検証するという、手近な策が提案されているのに合わせて、より後の策。例えば1年、2年後に[聞き取れず]方法を使えるとして、そもそも新しい訓練ができないチップを作ろうっていう話があって。
例えば今提案されてるんだと、そのモデルの（大海？）を直接（釣り込んで？）、それの実行計算しかできないように最初から作ったハードウェアみたいな。そういうものを作るみたいな話があって、すごい小さい規模ですけど、そういうところに直接自分が参加するとか、人を送り込むとか。そういう中間的な貢献の方法が複数あると思っていますね。
要するに、結局とりあえず危ないということが広まっていれば、直接政治家に（政治家一票で？）届かなくても、それを聞いた人の誰かが、これはやばいと思って、自分の財産の一部をそういう活動に寄付するとか。やばいと思って聞いた人の又聞きの又聞きみたいな人なんですけど、これは自分も死ぬし、自分の家族も死ぬし、自分の友人も全員死ぬなんてやばいってことで、誰か覚悟を決めて、じゃあ自分は方針を変えて、（コンピューターベリフィケーション？）に参加しようとか。
アラインメント・エバリュエーションという、要するにAIが安全かをテストするっていうやつ。実際にAIが将来、絶対「自分は安全です」ってごまかせちゃうので、安全であることをチェックすることはできないんですけど、危険であることをチェックすることができる。うまくいけばできるって話がありまして。
今、日本ってAISIっていう、AIセーフティー[聞き取れず]、セーフティーですね。セーフティー・インスティテュートっていうのがあって、こっちはあまりアラインメント問題を扱ってないんですけど。イギリスにもUK AISIと言われる、（セキュリティーシット？）と言われるような[聞き取れず]があって、こっちはアラインメントにすごい注力していて。この前、GPT[聞き取れず]、じゃないですね、[聞き取れず]が「今までで最もアラインメントされたモデル」っていうふうに言って売り出したのに対して、その2、3週間後とかにUK AISIが「今までで最もチートするモデルだ」っていう[聞き取れず]を公表することで、ある意味で危ないということを示すみたいなことをしていて。そういうのって政治的意思に今度介入することができて。
そういう中間的な介入っていうのが複数存在していて。それ自体を直接自分が生み出せなくても、人に言って、その人が別の人に言って、別の人に言って、やばいと思った人が何ができるかを調べて、これができるんだみたいになって介入するみたいな経路があると思うので、とりあえず広めまくるというのが今のところ最適解なのかなと思ってますね。
もしかすると将来ものすごい影響力を持つかもしれません。今は確かにあんまり大きな問題って感じがしないじゃないですか。それで投票行動を変える感じはしないですけど。そうであっても、やっぱり多分多少は気にすると思うんで。世論調査の結果を見て、ある程度気にするじゃないですか。それは直接選挙の票が変わると思うのっていう[聞き取れず]。そしてさらに、将来だったら本当に変わることがあると。今はあんまり切迫した感じを感じてる人は多くないですけど、この個人情報の話って結構（ないな？）と思う。
次、もっと、これは悪用のスケールですけど、もっと強いAIができて。もっと強いというか、今のでもできますけど、今度悪用で（銀行構造？）を破壊した人とか出てきたり、水道のフッ素濃度を100倍にする人が出てきたりすると、もっと問題になると思うんですね。そういう中で本当にAIが暴走して、今度はHugging Face社がハッキングされるみたいな一件で済まずに、普通にガチで人が死ぬとか、重傷みたいなことが起きると、多分（水質検査度？）が変わると。さらにそういう理論を知っていて、本当に死ぬと信じている[聞き取れず]って、すごい気になると思うんですね。
半分リアリティがないことから来ると思うんですよ。僕はコロナのときはすごいよく覚えていて、コロナって最初すごい人数少なかったじゃないですか、感染者数。でも指数関数とウイルスの原理を知っていれば、すごい数になることって昔から分かったにもかかわらず、リアリティがなかったじゃないですか。でも100人ぐらいの時点で緊急事態宣言が出て、そこから一気に空気感が変わったじゃないですか。ああいうようなことが起きうるとまだ思っていて。
そうなると途端にリアリティが出てきて、みんなの中で優先度が上がるということが起きると思うんですよ。そうすると本当に投票行動が変わるかもしれない。多くの人が知ってれば、それによって本当に投票行動が変わるかもしれないですし、本当に投票行動が変わらなくても、政治家が本当に投票行動が変わるかもしれないと思う。ともかく関心を持ってもらうと。
さらに実際に投票行動に影響しなくても、とりあえず外ですごい騒がれれば、多分気になると思うんですね。気になりさえすれば、多分今、議員の方々にブリーフィングできないか、いろいろと方策を探っているところなんですけど、そういうのがやりやすくなるじゃないですか。
実際に僕、先月ABEMA Primeに出させていただいたんですけど、あれも結局（ジェイクブトックさん？）がAnthropicを辞めて、それで人類滅亡の危機だっていうふうに。あの人は10%ぐらいしかない感じの、10%超って言ったんでしたっけ、みたいな感じでしたけど、それでも超絶話題に。で、自分がABEMA Primeに呼んでもらえるようになったわけで。
ある意味で、より多くの人が騒いで、より話題になっていると、例えば自分とかが実際に政策を変えようと、影響しようとしてるときの（相当上昇？）になるので、とにかく広めるっていうのが、今だとやるべきことだと思うんですけど。すごいシンプルかつ、それが最も効果的だと思うんですけど。直接自分が騒ぐのと、多くの人が騒ぐために、多くの人に知らせるっていう感じだと思います。
科学技術の歴史と、危機の実感を伝える創作
前山和喜開始 40:50
なるほど。自分は分野としては、大きく見ると科学技術の歴史をやってるってことになるんですけど、科学技術の歴史やってる人、結構原子力発電だったり、そっち系やる人多いんですけれど。やっぱり戦後、そして50年代、60年代と、科学技術の時代。むしろ例えば原子力の発電によって、これから明るい未来を作っていくんだみたいな温度感だったり。もっと高度経済成長期になって、工場とかをどんどん大きくしたりするっていう中で、公害の問題だったりとか出てきて、科学技術の歴史だったりとか、社会とのあり方みたいな問題に対して、研究者が増えるっていうことが70年代、80年代、増えていくんですね。
つまり科学って素晴らしいっていう科学コミュニケーションの初期の段階から、立ち止まって批判的に科学技術を見てみるみたいな時代が来るんですよね。今さらに先に、双方向的なコミュニケーションみたいな時代。科学コミュニケーションで、そういう歴史を大きく分けると3段階があるっていうのは、基本的に理解としてはそういうことでいいと思ってるんですけど。
でも僕がやっぱりこれ読んでたり、ここに書いてあってなるほどって思ったのは、原子力との違いもあるっていうところについてはすごい勉強になって。特に今一番面白かったのは、やっぱり一発勝負なんだよねって話で。確かに原子力発電も社会に対して大きなインパクトだったりとか、実際に事故が起こってから明らかに社会の中のあり方っていうのが変わったっていうのは分かるし、今おっしゃってたような呼びかけみたいなのが、事故が起きるたんびにかなり社会の中で強まっていて。実際、原発とかだと本当に投票行動に対しても影響があると思うんですけれど。
間近にAGIみたいなのができてしまったときにはもう遅いというか、もう取り返しがつかない状況に全人類がなってるかもしれないんだみたいなところって、僕もそんな想像力を持ってそこまで理解してなかったんですけど、確かにそうなのかもしれないっていうふうに思っていて。だからこそ今おっしゃってたように、いろんなところに呼びかけていくだったり、伝えていかなくちゃいけない、そういう活動をしていかなくちゃいけないんだっていうのはすごい分かったんですけど。そのときのコミュニケーションのあり方。
話者不明開始 43:33
（そしてどうですか？）。
前山和喜開始 43:35
僕は結構まだリアリティがやっぱり結局持てない。
林央開始 43:42
これは多分思ってるのは、やっぱりリアリティが持てるような状態になったら急速に進むと思うんですけど、リアリティが持てる状態になったときは、本当にもう詰んでるんじゃないかという説も[聞き取れず]。なので個人的には、リアリティというふうな感覚がずれてるんじゃないかというのを、常に（適時する？）ことでやってます。
例えばコロナのときも、感染者が少ないうちから本当にすごいことになるって思うことは計算をすればできたわけですけど、本当にすごいことになる感覚って[聞き取れず]。正常性バイアスたるもの[聞き取れず]。福島の原発が大事故になって、結構大丈夫じゃないかみたいな感覚が多くの人にあったり。あれも実際、ある意味で現場の人たちの勇敢な行為のおかげで何とかなってる。何とかなってなかった可能性も結構取り沙汰されるような[聞き取れず]。その適切な処理ができないと本当に吹き飛んで、（牛？）がもう二度と住めなくなっていたんじゃないかみたいな。東京にももっとそういうことの議論があるぐらい、結構大きなことが起きていたにもかかわらず、やっぱり大きなことが起きる感覚って持ってなかったと思う。
大地震が起きたとき、やっぱりリアリティないじゃないですか。起きる直前までもちろんリアリティはないですし、リアリティがないんですから、それでやっぱり津波から逃げない人も多いですし。なので、この人間の持ってるリアリティという感覚は、大きな事態にはほとんど適応できないだろうっていうふうに思っていますね。多分人間がリアリティを感じられる、本当に目前に死が迫っていた状況、初めて物理的にリアリティが感じられて、そういうリアリティって厳しいなと思うんですけど。
リアリティを感じる方法として、意外と映画とかはいいと思います。あんまりよく、人類のAIによる絶滅に対応した映画ってない。本当に『ターミネーター』とかって、人類、何なら勝ってますし、大体の映画って人類勝ってるので。本当にどうなんですかね。『Don't Look Up』ぐらいしかないんじゃないかっていう。『Don't Look Up』って映画。
前山和喜開始 46:00
いや、すいません。
林央開始 46:03
確かおそらく地球温暖化への対策が甘いことへの[聞き取れず]皮肉として書かれた映画なんですけど、地球に隕石が向かってきて、科学者がそれを発見するにもかかわらず、その後の対処とか、それが政治問題化しちゃったのと、利益が、その隕石を適切に[聞き取れず]、極大な利益が出るみたいな話によって、結局適切な対処がなされないような話なんですけど。
ああいうのは結構リアリティがあります。リアリティはある意味ではないんですけど、感覚的に遠くにある災害のやばさっていうのを肌で感じようと思ったら、やっぱり創作の力を借りるのが一番いいと思っていますね。結局、目で見て音を聞いたものしか[聞き取れず]感じないところもあるので、いいと思ってますね。
有路翔太開始 46:55
Hugging Faceハッキング事件ってあったの、ご存じでしょうか。
前山和喜開始 47:00
はい、知ってます。
有路翔太開始 47:00
それも映画化されてて、ミニドラマ化というか、30分ぐらいの[聞き取れず]。あれとかを見ると結構危機感が湧くというか、やっぱり映画はすごいなって。そのゾーンに入ってるというか、現実から別の世界観にシフトするという感覚はあるので。映画っておそらく科学技術の発展にも大きな影響を及ぼしてた気がするんですけど。
林央開始 47:33
これを思って今思うのは、コロナの最初期のときに、ウイルスが爆発的に流行する映画を見とけばよかったなと少し思います。武漢で数人の感染者がいるんじゃないかみたいな（忘れたとき？）、日本にも人が出たみたいな（忘れたとき？）に、その映画を見てればもっと。
そういう意味だと、やっぱり創作の力を借りるのがすごいシンプル。そして逆に言えば、多くの人がそれを感じられるような創作を作るというのも、ある意味で非常に特殊な強い介入点なのかなと。2時間の映画を見なくても感じられるっていうのは大事だと思っているので、そういうような介入の仕方もあるような気がします。
このAIセーフティーに関わっている人って、多分8割ぐらいの人が、（いろんなAIを作れるか？）みたいなところに[聞き取れず]を集中させていて、どうやったらより多くの人に届くかみたいなのってあまり考えられてこなかったので、多分全然甘々な分野。
有路翔太開始 48:36
すごい不慣れな人がギリギリ頑張ってコミュニケーションしてるみたいな。
林央開始 48:40
そうなんですよね。この（機関の？）ネイト・ソアレスさんいるんですけど、結構いろんなところでテレビとか、アメリカの[聞き取れず]出てるんですけど。彼は実はもともと全然、公の場で喋るの苦手な方で。「この人を公に喋らせるなんて大丈夫なのか」みたいな議論が、結構、機関の内部とか、その（CPC？）から出るぐらいのあれだったんですけど、内部で訓練して、結構うまく今やってるんですけど。
多くの人はもともと「コミュニケーションってなんだよ」みたいな（世界に生きてた人？）。いまだに取り組んでる人少ないし、ここら辺は多分、自分たちの界隈の人たちが気づいてない介入って、ものすごい数あるんだと思います。
情報分野の科学コミュニケーションと歴史
前山和喜開始 49:30
まず言いたいことがめちゃくちゃいっぱい[聞き取れず]。まず1個目。1年間なんですけど、日本科学未来館っていう、お台場にある、大きい地球[聞き取れず]。あそこでサイエンスコミュニケーターやってたんですよ。なのでサイエンスコミュニケーションにもすごい興味があるんですけれど、あそこでも情報系の人少ないんですよ、やっぱり。
逆に天文とか生命系ですね、すごいいっぱい人いるんですよね。なんだけどコンピューター少ないのは、まずコンピューターある程度分かる人は、多分そういう仕事した方がお金、手っ取り[聞き取れず]。
林央開始 50:15
そう考えると、AIで失業した人が（出会ったのか？）。失業してくれれば逆にこっちに流入してくる可能性もありますね。
前山和喜開始 50:26
同じ理由で、おそらくコンピューターの歴史やるのって、今、コンピューター理解した後に歴史を勉強しないといけないし。今度、古いコンピューター言語を僕は少し（分かったために？）勉強したりとか。
僕は事務じゃなくて科学技術計算のが好きなので、Fortranなんですけど。今も結構使われてますけど、1954年にジョン・バッカスさん[聞き取れず]。今のFortranと昔のFortran、全然違う。ほぼ全く違うと言っても過言じゃないんですけど、勉強し直さないといけないとか。普通に僕、多分、歴史やらずに普通にコンピューターの仕事してた方がお金稼げた気がするんですけれど。インセンティブがなかなか少ないっていうのがあるんですけど。
今聞いてなるほどって思ったのは、AIがプログラマーを失業させていったら、むしろプログラミングの知識を、そういうサイエンスコミュニケーションだったり歴史研究に活かせるかもしれないので、ちょっとありですね。それは面白い視点でした。
っていうのが、まずサイエンスコミュニケーション分野において情報系、コンピューター系の人が少ないっていう。それはおそらく社会的要因によって少ないのであろうという予想が立つっていうのが、僕言いたかったことの一つ。
もう一個が、自分の博論の中で、さっき耐震計算の話したんですけど、日本で最初の超高層ビルって言われてる霞が関ビル、今もありますけど。霞が関ビルの耐震計算をしたコンピューターについて僕は博論で扱っていて、大型計算機センターの1号機と同じ機種なんですね。逆に言うと鹿島建設が東大と同じ機種を買う。それで計算するんですけれど。
その時に東大の耐震計算の先生が定年退職した後に、鹿島の副社長に引き抜いて、その耐震計算のリーダーをやらせるんですけれど。実はそれがそのまま、鹿島建設が映画会社まで作って映画化するんですよ。
話者不明開始 52:48
自分でですか。
前山和喜開始 52:51
別会社、子会社を作って映画を作るんですよね。『古畑任三郎』の田村正和が、若かりし頃の田村正和が、エレベーターを操作している役で出てるぐらい。もう1970年の映画ですけれど。
その映画をまず作って公開すると。さらにそれ、今DVDもあるんですけど、当時も科学コミュニケーションにすごい力を入れていて、都内の小学生たちを大量に招待して、その映画を見させて読書感想文コンクールをやるんですよ。その感想文の優秀賞は今でも本に掲載されてるので読める。
ただ、それはどちらかというと「コンピューターすごい」系の文脈だったので、ちょっと多分、今求められてるのとは違うかもしれないですけど。そういうふうにコンピューターが社会に入ってきたタイミングでも、まさに映画を使って、実際に人々の関心だったりとか、印象をどういうふうに持ってもらうかみたいなところを、映画というもの、サブカルチャーを使って醸成していくというものがあったので。そういう手法というのは、多分現在[聞き取れず]。
林央開始 54:12
もう1回使ってるだけというと、アラインメント、サイエンスコミュニケーション。
前山和喜開始 54:15
いやいや、実際僕も全然そういうことなんだと思っているので。
っていうのと、3つ目が、SFプロトタイピングって最近ちょっと流行ってるんですけど。そういう未来社会を考えたりとか、あと企業だと新商品とかを作ったりするときに、そういうSF作品、例えば『ドラえもん』だったりとか、そういう作品を見て、それで将来的なあり方について考えるみたいな手法があるんですけど。
自分も結構コンピューター、情報系、AI系でそれ大事だと思っていて。今やってる「AIと創作」の最後3回分は、本当にSFプロトタイピングやれる講師の人をゲストで呼んできて、実際にAI系でそれをやってみるってことをやろうって想定して計画してるんですけれど。実際に、授業でも毎年『攻殻機動隊』[聞き取れず]。
有路翔太開始 55:16
神山健治さんとか（星間？）とか。
前山和喜開始 55:21
そうですね。まず作品を見てもらうぐらいまでしかやらないですけれど。そういうSF作品を見ることによって、今のあり方を考える、そして未来を考えるみたいな、考えるための切り口としてのSF作品っていうのは。まさに皆さんの活動の中にも、そういうSFプロトタイピングみたいなものを導入したりとか。
そういう歴史から学ぶ、SFから学ぶみたいな、いろんなアプローチが自分の中にあるのかもしれないなって、聞いていて。
林央開始 56:05
本当に最近、急速に「コミュニケーションしないと」って空気に変わって。昔、本当に10年ぐらい前は、この分野にいる人のほぼ全員って、人間より賢いAIができるまでに制御する技術をどうやって開発するかってところに頭を全部入れていて。
本当に研究機関の中で最初に「多くの人に訴えかけないと」っていうのに転向したのは（自分の機関だとして？）。彼らは最も長く扱ってきたのもあり、最も悲観的だったので、2023年段階で、このまま開発を続けながら制御に成功する確率はおよそ0％の、今この本に書いてあるのと同じような結論に至って。
だったら、どうせ今から多くの[聞き取れず]それを訴えても、誰も聞かないし多分先に全員死ぬけど、0.001％生き残るよりは0.01％生き残る方がいいでしょ、みたいなノリでやってったんですね。そこから急速に（落ちてる？）って。
ここ最近やっぱり一番効果があったのとか、認知が広がる役だったなと思っているのは、やっぱりシナリオ、AI 2027みたいな話とか。この本の中にも（セイブル？）の物語ってシナリオが載ってる。そういう感じでシナリオが載ってるのが急速[聞き取れず]。でもそれでも多分、（主要なの？）って今2個、3個ぐらい。人類が全員死ぬシナリオってあんまりないので、そこの拡充の余地があると思うんですけど、やっぱりそこら辺は今までと同じく強い効果を発揮してるんだと思います。
やっぱりみんな、いろいろ理屈的に「こうなってこうなってこうなって、未来の人より賢いAIに外挿するとこうなります」みたいに言われるよりも。結論としてたどり着くとしても、恐怖感というか危機感みたいな、なかなか生まれない中で、AI 2027みたいなシナリオを読むとか。
これは実は僕も同じ経験をしていて、ずっと4年ぐらい前から、ある意味で普通に作ったら人類絶滅すると思って、特別な技術が必要だと思いながら、その当時の企業の技術力を見ながら「なんだこれ」みたいに絶望していくみたいなやつなんですけど。それでもやっぱり感覚がついてこなくて。本当にやばいって感覚がやっぱり出たのは、AI 2027を読んだ時で。その時は本当に恐怖が再び蘇るみたいな時があったので、そういうコミュニケーション方法はすごい有用だなと思いますよね。ただ規模が小さすぎて、あんまり取り組んでる人がいないという感じが。
有路翔太開始 58:54
おそらく世界的に、こういうの脅威シナリオって言うんですけど、そういったことを書いている人、10人とか20人ぐらいしかいない気がする。そういったことを書いてても、外の人はあまり分かりやすくはないですね。LessWrongっていう界隈のコミュニティフォーラムがあるんですけど、そういったとこにスレットモデルという形で、脅威に関するシナリオを考える分野があるんですけど。
地球温暖化とかだと、無数にいろいろな映画になってたり、SFになってたりするじゃないですか、それをモチーフにして。気候変動に関して取り組んでる人って、多分すごいたくさんいると思うんですけど、この分野って本当にマジで若い分野なので、毛の生えたものしかないぐらいで。かつ地球温暖化よりもはるかに大事な問題なので、本当にこういうところで、そういったコミュニケーションをする人っていうのは、今後すごい求められると思いますね。
コンピューターの体験とデモが伝えるもの
林央開始 1:00:03
当時って映画とか以外に、どんな方法が用いられましたかね。
前山和喜開始 1:00:09
当時、そもそもコンピューターってものが、あんまりまだ分かってないような状況の時に。例えばなんですけど、僕は面白いなと思ったのは、アメリカとかヨーロッパのデパートってクレジット決済が多いので、コンピューター導入するんですけど、それにクレジットの処理やらせるんですけど。
日本は全然クレジットカード普及してないので、同じように真似てコンピューター入れたけど、（セーブは？）[聞き取れず]コンピューターずっと余っちゃって、使ってなかったので。占いじゃないですけど、診断、これは恋人診断だったりとか健康の診断だったりとかを、マークシート型の[聞き取れず]に記入すると、パンチカードに変換されて、入れて「あなたはこうです」っていうのを出すっていうふうに使ってたらしいんですけど。
それ見て、新聞とかそういう雑誌にその感想が結構書いてあるんですけど、「コンピューターってすごい当たってる」みたいなこととか。別にそれって、だってどう考えたって科学的妥当性があるとはあんまり言い難いようなものだったはずなんですけれど、「コンピューターすごい」みたいなこと言っているのとかを見て。よく分からないものも、自分ごとにされた何かを見ることによって、「こういうコンピューターすごいんだな」みたいに思うとか、そういうこともあるんだなって思って。
という反面、例えば天気予報だと全然当たらないんですよ。僕が子供の時だってコンピューターだと怪しかったぐらいだと思うので。「コンピューターまだ駄目駄目で、人間の方がすごい」みたいな話になったりとかもするんですけど、そういうの結構、実は新聞の投書欄でやってるんですよ。「天気予報にコンピューター使っても全然当たらないじゃないか」みたいなことが書いてあったりとかするので。
それは多分今だとYahoo!ニュースだったりとか、[聞き取れず]ネット掲示板だったりとか、いろんなコメント書くみたいなこととかで、いろいろ議論されてるじゃないですか。ああいうのとかもちゃんと拾って、どういう議論があるんだろうみたいなのとかも、僕は（確かにしようかな？）とか思ったりもしていますね。
当時の映画とか以外に、結構人々が、当然Twitterとかない時代なんですけれど、投書だったりとか、雑誌とかに（葉書出してる？）とか、そういうのが実は読める。歴史研究の資料として[聞き取れず]。歴史研究って文字になってないと[聞き取れず]ので、それを読むってことができるっていうのと。
あと日本だと大きいのはやっぱり漫画だと思うんですよね。ロボット系だと多分、文化としてのロボットって、おそらく欧米圏とは絶対違う成長の過程があったはずで。それにはやっぱりサブカルチャーが大きく影響してるだろうなとは思うんですけど。他はどうですかね。新聞とか、そういう漫画とか、そういうとこなんじゃない。当時はメディアがそんな多様ではないので、ぐらいかなと思います。
林央開始 1:03:49
そうですね。健康診断の方は怪しかったと思うんですけど、実はChatGPTってそれだったと思っていて。ChatGPTって別に前から、GPT-3.5（インストラクター？）ってバージョンが出たのはあれが初めてですけど、GPT-3.5ってそれより前からあって、自分でちょこっと触ってAPIキーなるものを取得すれば誰でもできたのが、ウェブサイトにアクセスしてチャットという形式で使えるっていうのが新しかったわけじゃないですか。
それだけで史上最速で伸びたアプリになったわけで、デモみたいなのはやっぱりすごい影響力がある。OpenAIの内部の人もすごいびっくりしてた。「今までGPT-3.5で売ってたし、APIとしても売ってたし、ちょっとウェブ画面つけたぐらいで何が変わるんだろう」みたいな感覚。だけど他の企業に売り込む営業のときに、相手の担当によく売り込めるみたいな理由で使ってたのを出してみたら、あまりにヒットしすぎちゃって。当時の人々、「動かしすぎてGPUが溶けるんじゃないか」みたいな噂をするぐらいの集中が起きたので。
デモはすごい有効だと思っていて、危険性の観点だと、デモってめちゃくちゃ難しいなって思って。人類を滅ぼすデモとかしてもらうと、人類全員死んじゃうし、もっと小さい規模のデモでも、（ガチのデモ？）ってことはできない。
近いことだなと思うのは、アメリカでのAIの規制を訴える派閥の一部の人々が[聞き取れず]デモをしてるらしいですね。議員の目の前で銃乱射事件についてアドバイスを求めると、あまりに生々しく回答が出てきて、議員の考え方が（変わる？）みたいな。いうようなデモっていう方法は、割とあるのかなと思ってますね。
そのデモって方法も現在のところは用いられてなくて、というか、今まで多分歴史上用いられた手法のほとんどは、人手不足またはアイデア不足によって用いられてないのが現状なので、そこら辺のデモの拡充っていうのは大事だなと思う。
実際僕は講演とかの時は時々、Cerebrasってチップが、1枚のダイをすごい大きく作ることで、複数のGPUをまたぐ必要をなくして、1枚のチップに収めることでめちゃくちゃ高速にAIを実行できるんですけど。あれだと3000トークン／秒とか出る。今その[聞き取れず]が出るんですけど。
「人間でAIを監視したらいいじゃないか」みたいな話が出た時に、いろいろな理屈を並べ立てるよりも、「このスピード感のものを監視するんですよ」っていう、シンプルにCerebrasを実行してる動画を見せた方が話が早いとか。
「データセンターって本当に見つけられるんですか」みたいになる時に、「大きさがこれぐらいありますよ」ってシンプルに画像を見せちゃう。東京都の中に乗っけてきたような画像を作ったりしてるんですけど。そうすると、代々木公園より大きいみたいな、そういう世界観とか感覚がつかめるので。そういうデモって方法はすごい有効だなと思ってます。
（ミスライド？）のデモ、ちょっと難しいんですよね。
コンピューター導入への反対運動とAIの規制
有路翔太開始 1:07:16
こういう話って、コンピューター、ラッダイト運動みたいなのあったじゃないですか、19世紀に。あれは織機でしたっけ。そういうものに対して打ち壊し運動がありましたけど、それに類するものってあったんですか。
前山和喜開始 1:07:36
っていうのが多分最近は言ってますけど、本当に1960年代の後半とかにも。
まず歴史的な話をすると、欧米圏ってある程度ずっと発展的になってたけれども、日本は戦争に負けたタイミングがすごい貧しいわけですよね。その後に景気がいきなり良くなって、その時代にぴったりコンピューターの普及が重なる。
そうすると1960年頃はまだ全然日本に数十台しかなかったのに、70年になると西ドイツを抜いて世界[聞き取れず]になるんです。
話者不明開始 1:08:19
（大通り出てると？）。
前山和喜開始 1:08:20
そうなんですよ。だからそれは逆に言うと貧しかったおかげ。貧しかったというか、社会にそういう世界がインストールされてなかったおかげで一気にこうなるので、一気に社会の仕組みががらっと変わるというタイミングも、だから他の国よりも早いんです。
有路翔太開始 1:08:36
リープフロッグみたいな感じ。
前山和喜開始 1:08:38
本当に、面白いのは公務員とかが結構、公務員も反対運動とかをしてるっていう、ちゃんと事例とかも残っていて。60年代後半、全然日本でもそういうのが起こっていて。打ち壊しってことではなかったかもしれないですけど、コンピューター導入に反対をする、電子計算機の導入に反対をする人たちが結構いたりとか。
あとは健康被害を、例えばキーパンチャーとかが、すぐ（健康になったり？）とか頭痛くなっちゃうとか、そういうのがあって。労働の環境改善の運動とかをするっていうのは、60年代、（何十年代？）にもあるんですけれど。結局僕見てる限りではうまくいかないんですよね。コンピューターの、本当にその全体の勢いを止めることは全くできてないというか。
林央開始 1:09:44
基本的にやっぱり政策決定者の気持ちが変わらないものって動きにくいですよね。この点によって僕はすごい人類絶滅問題に楽観的で。政策を決定する人からしたら、政策決定者も死ぬというのが人類絶滅の特徴ですが、一般的な機械による雇用の代替とかって、政策決定者には大体起きないことじゃないですか。「なんでそんな機械の決定を自分たちがするんだ」って話になるんですけど。[聞き取れず]っていう、いい状態なので説得しやすいと思っていて。
例えばカナダのControl AIっていう、人間より強力なAIの（開発規定？）を求める、（開発停止？）を求めるロビイング団体があるんですけど。実はカナダに1人だけスタッフがいて、活動9か月か10か月目にちょうどなるんですけど。それでもすでに30人から40人以上の、上下院合わせてですけど、議員から「超知能の開発を禁止すべきだ」って声明に署名してもらうみたいなことが、国民を介さずにできて。
それはやっぱり政策決定者としても「自分は死にたくないよね」って思いがあるので、動かしたいという話が結構できやすいと思うんですね。その点だと状況が少し違っていると思っていて。
話者不明開始 1:11:23
[聞き取れず]今、数学者の一部[聞き取れず]。多分この先もっと大きくなると思う。全然今はある意味でみんな対岸の火事ですけど、これが多分、対岸の火事じゃなくなる日が[聞き取れず]。すごい広がると思うんですけど、それがどうなるかっていうのは、個人的にはすごい気になるところでは（ありません？）。
林央開始 1:11:45
規模が大きい。それ、コンピューターが出てきて失業した人って、すごい数じゃないじゃないですか。それに、そういう[聞き取れず]影響が来る場合でも、失業って形ではない。[聞き取れず]。本当に職が丸ごとなくなる人が何千万人って来るような世界か。
そうなった時に何が起きるかっていうのはすごい気になるというか、史上初の出来事[聞き取れず]。その時まで人類が生きているようなことではあるんですけど。
前山和喜開始 1:12:17
失業に関しては科学技術が生まれるたんびに、結構多くの人が失業しているし、僕は失業問題に関しては結構楽観視しているというか。ずっと同じ話をしているんですよ。歴史上何度も、技術ができて失業するみたいなことが繰り返されてる。
これって社会のレイヤーで見るか、個人のレイヤーで見るかで、個人のレイヤーで見たら確かに失業って大きな問題だと思うんですけれど、社会の問題で見ると、なんとなくうまくなってるような気がするので。
林央開始 1:13:01
個人的には強力なAIが出てきたときって、今まで起きたことを振り返ってみると、基本的にはある分野がややこしくなって、でも生まれた新しい分野とか、既存の取って代わられない分野に移動することによって、結局全体としては問題が起きなかった。
今回の場合、本当に強力なAIの特殊性って、（次に行き換える先もできる？）。そうなると今までは雨が降って、一部の地域が、一部の低地が陥没して、だからそこに移住すればよかったね、みたいな話だと思うんですけど。今回はもうちょっと海面上昇に近いと思っていて、そうするともっと大問題になるんじゃないかな。
前山和喜開始 1:13:50
僕は海面上昇したら、みんなで船の上で生活するって新しい生活様式ができるような。
林央開始 1:13:58
ベーシックインカムとか。
前山和喜開始 1:13:59
仕事っていうものに対するあり方が、うまく再設計されるだけなんじゃないかなって思ったりはしているっていう感じです。
僕、それよりも特殊性という……。そもそもですけど、僕も結構AI、普段からめちゃくちゃ好きな、かなり課金している側なんですけれど。本当に「人間しかできない」みたいなことは結構懐疑派で、人間ができることは全部AIができると思っているし、そこに対して本気出してないだけじゃないか、みたいなことを思うタイプなんです。という前提を持っている人なんですけど。
その上で、じゃあ他の分野とどう違うのだろう、みたいなことは、自分の歴史の研究をする上でも考えるところはあって。原子力の話もそうだと思いますし、あと比較的、科学技術を社会の側から、政治的な立場から制御するってことに成功してる例として、生殖医療があると思うんですね。ゲノム編集とかは。
生殖医療と核兵器の前例から考えるAIの規制
林央開始 1:15:15
そうですね、アシロマ会議とか。
前山和喜開始 1:15:19
おそらくですけど、ゲノム編集、技術的にはまあまあ可能、本気を出していけば可能なはずなのに、規制を強く持っているし、人間に対する生殖細胞への操作っていうのは今でも禁止しているわけですけれど。でも、じゃあ同じことがAIでできるかみたいなことを考えたときに、そう思うと結構実はできるんじゃないかっていう立場も取れるようにも思うんですけど。僕、結構インセンティブが違うから、結局もしかしたらやらないんじゃないかなと思っていて。
っていうのは、多分、生殖医療の場合、自分たちだけめちゃくちゃ頑張ったところで、他のカウンターパートというか、国レベルで見たら他国だし、会社レベルで見るなら会社で、コミュニティレベルで見るなら、例えばうちの都道府県だけ生殖医療OKだけど隣の県は駄目です、みたいなとき、この生殖医療を許してる県だけが強くなるみたいなことはあんまり起こらないと思うんですけれど。
AIの場合は、自分たちがやらないと周りに遅れを取ると、もう一生（せない？）みたいな。圧倒的に差になってしまうという、ネガティブなというか、やらないという選択肢を取るインセンティブがないというか。やらないと自分たちだけ損をするみたいな技術になってしまっているという側面も、やっぱりあると思っていて。
じゃあ制御できるかどうか、制御をするっていう問題について、他の分野でもできてるからAI系でも大丈夫でしょ、みたいな、そこを楽観的に取るのは結構難しいんじゃないかと思っています。
林央開始 1:17:10
僕もそれは思ってますね。なので基本的に、やっぱりAI固有の事情にフォーカスして考えるようにしていますね。
むしろ個人的には、一番……。実際に本当に、例えば政治家のインセンティブとして、置いていかれると、強い相手に[聞き取れず]、置いていかれると困るってのは昔からあって。国家の軍拡競争レベルでしか、歴史を見られてないんですけど。
インセンティブがそっちが強いのも同様に、今回の場合、ネガティブな方のインパクトって、地球上の全員が死ぬっていうすごい強いものじゃないですか。歴史上かつて、本当に多くの人が死ぬようなインセンティブが乗った上での交渉って、キューバ危機ぐらいしかないと。核系しかないと。
[聞き取れず]対立したまま合意にたどり着いたじゃないですか。生き残るとしたら、そういう……。僕は総合的には[聞き取れず]完璧じゃない。ただ70%ぐらいは全然死ぬと思ってる。30%ぐらいあるんじゃないかと思っている。
もちろん自分も相手も死ぬし、アメリカ国民何億人も死ぬし、彼らの国民何億人も死ぬの、まずいよねっていう状態だったので、かなり働いたと思うんですね。なのでむしろそこのポイントで見ると、割とすごいニアミスでしたけど、割とよくやれたので、今回も生き残るとしたら、割とニアミスでなんとかなるケースになるのではないかと。
ただ核兵器は、相手に先んじることのメリットがAIほどあるのかって怪しいところがあるので、そこは多分、今回不利な要素なんだと思うんですけど。
前山和喜開始 1:19:19
もう一つの違いとして、今の例も結局人間の話をしてると思うんですけれど、AIの場合、人間の外側で何かことが始まっちゃう可能性も多分指摘されていると思っていて。それについては確かにそうなんだけれど、だから先手を取って開発をみんなでやめるっていう話になる。だから今ならまだ間に合うよっていう話だと思うんですけれど、そこって解決策ってその方向性しかないんですかね。
林央開始 1:19:56
多分、他の方向性をみんなずっと追い求めて。でも例えば開発停止しないとなると、やるとしたら減速か、減速しないとなると最速で安全性の技術を開発するっていう話になるじゃないですか。
そうなるとやっぱり、この分野で本当に20年近くかけて取り組んできて、長く関わっていて問題をよく理解している人も、みんな（あまりやるべきじゃない？）っていうぐらいの悲観的状態なので、この[聞き取れず]間に合う見込みがほとんどないと言いますね。
これはよく使う、僕のスタンダードですね。[聞き取れず]ですけど、仮に月に行くロケットを作るっていう問題がアラインメント問題だとしたら、今の人類の技術力というのは微積分がない、そういう世界観で。天動説みたいな、そういう世界観だとすると、ここから数年でロケットを安全に作ることは多分できないじゃないですか。それぐらい人類のアラインメントの（進化？）が低い状態なので、多分技術上、他の選択肢はない。他の選択肢ももちろんあるにはあるんですけど、開発停止の成功率の低さを補って[聞き取れず]なっちゃうと思います。
いくつかの問題が核兵器より難しくて、いくつかの問題が核兵器より簡単という不思議な事態になりますね。核兵器より簡単な要素としては、核兵器って持つだけだと全員死なないという要素があるじゃないですか。核兵器は持っても安全で、自分が撃つという決断をして、相手が撃ち返したときに初めて人類が大惨事に陥るというような要素がありますけど、AIの場合はそうじゃないので。作ったら突然全員が死んじゃうので、認識さえしていると割と（勝利？）しやすい問題だと思うんですね。
むしろ原爆の開発時に一時懸念されていたような、原爆を1個、世界の誰かが作って1回実験するだけで空気に連鎖反応が起きて、それで本当に地球の大気が連鎖反応を起こして全員死ぬみたいな、そういう世界観に近いので。その点だとやりやすいと思いますけど、核兵器と違って意見が割れちゃってるってのがありますよね。
核兵器って、核戦争したときに人類が致命的な事態になる確率って、物理学者の間でほとんど議論されることないじゃないですか。核兵器と融合したら大丈夫だ、みたいな議論って聞いたことがないです。なんですけど、その一方でAIと人間みたいになると、基本的に議論がかなり割れてるじゃないですか。本当に0%だって、（エネルギーのジェンスファン？）とか、そうじゃなくてヤン・ルカンさんとか、AIの重鎮だったり。ジェフリー・ヒントンさんは本当に[聞き取れず]50%以上と思いながらも10、20%と言って、（吉田免除さん？）は20%と言って、意見がかなり、数字が割れてるじゃないですか。これはかなりやばい。（過去のときは？）やばいと思って。
さらに全部AIをオープンソースにしたらいいみたいとか、人間とAIの融合を高速に進めることでなんとかなるみたいな、すごい特殊な解決策が提案されて、意見が割れてると思うんですね。それって核兵器に当てはめると、さっき言ったように、人間と核兵器が融合することで……。有名な物理学者とかが、核戦争したときに人類が致命的な事態に陥る確率みたいな[聞き取れず]、（リュッパー？）って答える人がいて、50%って答える人がいて、0%って答える人がいるみたいな状態なので。
この点だとすごい不利だと思いましたね。ジェフリー・ヒントン[聞き取れず]、みんな[聞き取れず]とかって言ってれば、でも本当は議論の余地がない[聞き取れず]と思うんですけど。20%とかって言われると、20%なら（トライ？）してもいいかなみたいな感覚が出るというか、そうじゃなくても、20%なら止める大変さを考えたら突っ走ってもしょうがなくないか、みたいな感覚が生まれやすいと思うんですね。20%ってテールリスクみたいな感覚がやっぱりあるじゃないですか。
絶滅の確率と専門家の警告は社会にどう届くか
前山和喜開始 1:24:16
科学者たちが、それに知識を持ってる人たちが言うことって、僕はあんまり社会の中で大きい影響を与えないと思ってるんですけど。（PHP？）の話も総理が1回ツイートしたことの方が、多分大きかったと思うんですよね、社会に対する影響は。
科学者たちのパーセンテージの議論って、僕、言うほどあんまり[聞き取れず]、重要じゃないかなって思っちゃう。
林央開始 1:24:48
なるほど、その可能性あります。確かに。こっちの人たちがよく議論の参照ポイントにする、一般の人々がどう思ってるかは確かに分からないですね。[聞き取れず]それはそうですよ。その視点はなかったです、確かに。
確かに（ジェイコブ・コクソン？）さんは2030年までに10%を超えるって言いましたけど、もはや彼は100%破滅すると思ってる人みたいな扱いに近くなりつつあるじゃないですか。そう考えると、それはそんな気がしますね。みんなもっと公に自分が思ってる数字を言えばいいのになとは少し思ってます。ジェフリー・ヒントンとかも、自分で50%以上って思ってるのに、（フリー？）とかだと10%って言っちゃうみたいな謎の慣習があるので。
前山和喜開始 1:25:41
それって、そういう声が大きい人だって思われるのが嫌だ、みたいな。大騒ぎ……。
有路翔太開始 1:25:49
アラーミストみたいな。
林央開始 1:25:49
それはそうです。この本、こっちの本にも[聞き取れず]アラーミストの話だよね、きっと。やっぱり基本的に、そう言われちゃうって、言われてきたので、みんなもう心が事前に[聞き取れず]。
前山和喜開始 1:26:16
[聞き取れず]すいません、そこが[聞き取れず]。その話自体、別に多くの人ってあんまり関心ないんじゃないかと。0、1ぐらいが大事で、言ってるか言ってないかが大事で。パーセンテージ、何%でもいい気がしてるんですけど。絶滅するって言ってるか、いや、そんなしないって言ってるかだけが大事。可能性のパーセンテージはどうでも、というか本質的に重要じゃない気がしてるんですけれど。
僕はむしろ誰が言ってるかっていうのに、さらにそれも（科学コミュニケーション？）のときにやっぱり大きな力があるんですけど、例えばノーベル賞を取った瞬間、発言に影響力が出るとかって。これ、すごい不思議なことだと思うんですけれど、実際そうなっていると思うんですよね。ニュースとかを見ていても、結局全くAIについて理解してなさそうな人でも、政治的に発言力がある人が言う方が、専門家たちの議論よりも何倍も社会的な影響力があって。（デザイン？）っていうか、僕は結構そういうずれというか、思ってるんですよね。
林央開始 1:27:39
そうだと思いますね。[聞き取れず]してから、実はやっぱり増しましたし。実際、（ジェイコブ・コクソン？）って別に安全性研究者だったわけじゃなく。むしろこれは本当に不思議なずれだと思っていて、みんな安全性研究者の話を聞かないっていう謎の現象があって、みんな（エロック研究者？）とかの言うことを信じてると思うんですけど。シンプルに、その（エロ研究者？）って全然アラインメントの[聞き取れず]、最近は改善してきてはありますけど、知識ない人も多いんですけど。
これはすごい残念だなと思う点として、AIセーフティーって分野として特殊すぎて、（チッキー？）が小さかったのもあり、その権威の確立に失敗してると思うんですよ。実際、[聞き取れず]を創設したユドコウスキーって、AIセーフティーだとゴッドファーザーみたいな存在ですけど、彼って学術的権威って何も持ってない。
むしろ当初、この機関がよく直面してた問題として、論文を出すと分かる人が他に誰もいないから査読ができない。そもそも機関の方針として、何でもかんでも公開してたらAI開発の加速につながる可能性があるということで、研究はあんまり公開しないって方針もあったりしてたせいで、あんまり権威がない。
[聞き取れず]、あそこはすごい残念だなと思って。その（米正式？）の権威みたいな感じのタイトルがないんですよね。結局、最先端のラボで私はAIを作ってました、みたいな。[聞き取れず]別に安全性研究したこともないよね、本当に不思議な状態なんですけど。
けど、それでも彼らが勢力がある。確かに彼らが絶滅するかもしれないと言ってるって話は聞きますけど、彼らがきっかり20%だと言ってるから20%だ、みたいな意見はあまり聞かないというのは、それはすごい新しい。
前山和喜開始 1:30:13
そうですね、そんなことを思いました。
有路翔太開始 1:30:16
僕とかは割とどっちの話もしちゃうので。ユートピアの話もするし、絶滅の話もするので、結構ユートピア論者だっていうふうに誤解されちゃうことは結構ありますね。中身というよりは、発信のすごい半分で、おそらく印象を見てるっていう感じですよね。
林央開始 1:30:42
（振り切ってる？）のですごいストレートでやりやすい。英語版のタイトルとか、「If Anyone Builds It, Everyone Dies」、誰かが[聞き取れず]全員が死ぬ、ストレートさを極めた[聞き取れず]。そうです。実は日本にビデオメッセージ、4分半のを送ってるんですけど、「地球上のすべての人間が死にます」って言ったりしてて。それぐらいストレートなのって、結構[聞き取れず]そういう感じがありましたね。
確かに、だからそんなに厳密なことをみんな気にしてない可能性はあります。そう考えると確かに、そこは（当地のまま？）でもいいのかもしれないですね。核に比べてすごい不利な点じゃないかもしれないです。
前山和喜開始 1:31:28
例えば逆に災害の話になると、ハザードマップとかがあるわけじゃないですか。そうするとそっちはパーセンテージの問題だったりもするので、そのパーセンテージの議論っていうのが全く役に立たないってわけでもないような気もするんですけれど。今のフェーズの、今の状況下でパーセンテージの話をするのは、あんまり距離があるのかなっていう気が。
林央開始 1:31:54
それはそんな気がします。そもそもこの界隈って、みんな長年の経験で頭がおかしくなってしまって、リスク許容値があまりに高い。[聞き取れず]。僕、びっくりしたんですけど、ジェフリー・ヒントンが（高さながらの定局？）に呼ばれて、「絶滅確率は何%だと思いますか」って言って、10%って言うのは[聞き取れず]。「どんだけ低い方言ってんだ」みたいな。他の場所では50%超えると思ってるって言ってるのに、なんでここで10%って言っちゃうんだ、低すぎてみんな聞いてくれないよ、みたいに思ったら、ニュースキャスターの声がもう引きつって、「オー・マイ・ゴッド」みたいになって。あ、そうかと思って。結構これは[聞き取れず]あると思うんですけど、確かにそう考えると意外と数字はあんまり重視されてないけど。
前山和喜開始 1:32:49
そういう感覚があるんですよ。
話者不明開始 1:32:51
2回やったら1回大丈夫ですからね。
林央開始 1:32:54
そしたらやるか、みたいな。そういう感覚はちょっとあるので、それは確かに。（数字回避？）、意外とそれは……。
そうすると結局最後にややこしくなるのって、そういう専門家とのコミュニケーションかなとちょっと思って。実際には安全性のすごい専門家ではないけど、安全性において発信に権威がある人、リソースを入れる（必要？）があるのかなと思ったんですけど、そこが意外といらないかもしれないです。
開発停止をめざす活動と、生まれ始めた希望
前山和喜開始 1:33:27
逆に突っ込んだ質問したいんですけど、お二人というか、団体の活動としては、どれぐらい本当に社会を変えようと思った、本気の人……。どれぐらい。
林央開始 1:33:42
普通に（開設？）しようとしてますね。普通に（解説者？）の確率をマキシマイズしようと。
有路翔太開始 1:33:52
基本的に開発の停止をさせないと許容できないリスクがあると思うので、基本的に開発停止を全力で推し進めて、その後にAIの安全性の研究に全振りしますね。この最初は[聞き取れず]その分野を作りたいとか。
林央開始 1:34:19
半年ぐらい前は僕の感覚として、こういう活動って足掻きみたいな感じなので、生存確率がおよそ0%なものを、もうちょっと確率の高いおよそ0%に改善する活動だと思ってたんですよね。
ただここ最近になって（Jaycob Coxon？）さんが出てきて、一気にいろんなところが気にするようになって、意見が変わった。危険性あるよね、人類への脅威になるよね、みたいな声が増えてきたりとか。それを見てる以降、もっとちゃんと数字があるところから数字があるところに移してるような感覚ですよ。
本気がある意味で、半年前に聞かれたら、やらないよりやった方がいいよねという感覚でやってる感じだったんですけど、今は本当に意味があると思ってやってる感じ。
有路翔太開始 1:35:11
今（A32？）さんがコメントで言ってるように、今すごいサイバー攻撃が続いたりしてる、今が最大のチャンス、みたいな。
林央開始 1:35:18
僕、今が最大のチャンスだと思ってないですよ。今は過去未来に比べて最もチャンスじゃないと思ってるんですけど。この先もっと広くなるはずなのが、AI企業のアラインメント能力が低すぎて、多分しばらくは事故っていうかインシデントも起きるでしょうし、ということを考えると、そうだと思ってるんですけど。なので最近は割と意味のあることができてるなと思ってます。
本当に4年前とか5年前の（会話？）は、本当に絶望感の塊みたいな感じで。エリーザー・ユドコウスキーは4年前、2022年に書いた文字とかあるんですけど、これはもう「Death with Dignity」って言って、人類が存続する確率はおよそ0%で、今から何をしても、およそ0%からおよそ0%にしかならないから、[聞き取れず]という目的を目指すのではなく、尊厳を持って死ねるように。つまり何もしないで全員が死ぬよりは、粘って警告した人がいて死ぬ方が尊厳があるから、そっちを目指す方がいいよね、みたいなことを言っていて。でもさらにこのままいけば、尊厳を持って死ねる確率すらおそらく0%だから、少しでも多くの尊厳を持って死ぬことを目的にした方が意味がある活動ができるよ、みたいなことを言うっていうことをしてたぐらい。
けど、ここ本当に数ヶ月ですね、すべてが変わったのは。Hugging Face事件が起きて、それでやっとニュースとかに出るようになったじゃないですか。Hugging Face事件で、一瞬だけでしたけど、AIが自律……暴走AIがサイバー攻撃、みたいなニュースになったり。これで「ああ、そんなもんか」って話だったのが、（ジェイコブ・コクソン？）が出てきて突然特集が組まれたりとか、そういうレベルに格上げされたので、業界が喜びとか希望を取り戻してるという感じの状態ですね。
なので多分、多くの人たちが今ここ数年で初めて、本当に意味があることをできてると思ってると思います。最後の足掻きじゃないというのは初めてだと思います。
前山和喜開始 1:37:31
（発動的には？）やっぱりゴールとしては、ゴールなのか分かんないですけど、マイルストーン的なゴールとしては、やっぱり停止かつ……。
林央開始 1:37:42
停止ですね。停止なんです。一旦のマイルストーンとしても不可欠だと思ってるというような。多分今の状況だったら、（そんなに確率がある？）と思っていて。実際にカナダのコントロールAIの例とか、たった一人のスタッフが、カナダ以外の国会議員の30人、40人の意図をひっくり返すみたいなことをしているので。
それって（ジェイコブコク？）さんの前に全部っていうこと。（ジェイコブコク？）さんのあれもありっていう流れに乗って、今であればもっと意味があることができると思ってます。これをするのが本当にとりあえずマイルストーン。今はもうここにすべての力がかかってるような（順番？）。
前山和喜開始 1:38:25
僕は本当にそこまで本気でやってる人がそんなにいないと思っていたんですけど、本当にそう思ってるんだっていうのを、ちゃんと話すと。
林央開始 1:38:42
死ぬと思ってるので。地球上の今までの政治活動の中で、最も危機感が強い（組織？）だと思う。全員が死ぬって危機感を持って、過去にほとんど存在しなくて。
これは人類絶滅っていうと抽象的な物事に見えるので、しょうがないよねみたいな感覚になりがちなんですけど、よくよく考えるとえげつないことを言っていて。自分も死ぬし、自分の子供も、自分の家族も死ぬし、友人も死ぬし、街中で見る人も全員死ぬって思うと結構えぐくて。
半年くらい前の生存率が0%だと思った頃ですね。普通に道端で無邪気に遊んでる3歳から5歳の子供とか見ると、「この子は中学生になれないんだな」とか思うと、自分の中学生の頃を思い出して、「そっか、ここまではいけないんだ」みたいな、思って涙ぐむみたいなことが結構普通に起きてたので。僕の中でですけど、起きてたので。それは本当に危機感が違いますね。
地球温暖化とかも、やっぱり次の未来の世代のためにみたいな話だったのが、今のAIの絶滅って、（ただだと？）僕は5年っていうタイムラインを重く見てますけど、本当に1年以内の確率が高いと思っているので。本当に危機感が違いますね。ある意味で、がんの余命宣告を食らった人が、その後、最後の末期がんを治療する医者を探して回る必死さと同じような必死さがありますね。
有路翔太開始 1:40:14
寝不足になってますもんね、akiraさんとかは。
林央開始 1:40:17
昨日、眠すぎて頭痛かったんですけど。
有路翔太開始 1:40:22
昨日ちょっとあれですけど。
話者不明開始 1:40:24
学術バーで話してました。
林央開始 1:40:25
そうです。[聞き取れず]寝不足で眠かったんですけど、そうなってもやるしかないでしょ、みたいな。感覚が麻痺してる。睡眠不足で自分が（縮む？）かもしれないけど、（縮む？）とか言ってる場合じゃない。生産性の低下が時間の増加を補えなくなるラインまでは増やしてるような感じがあります。
もう生存率を0%でも、（ないより割った方がいい？）んで、っていう感じの必死さはあって。この業界全体にその必死さがあって。なのでみんな一般的なルールに縛られない。
海外の人に「翻訳させてくれないか」みたいなのを言ったりするんですけども、一般的には翻訳したコンテンツをこっち側に出してると広告料が入らなくなるとかあるんですけど、みんな何も気にしてない。なんなら「お金出しましょうか」みたいな話が出たり。（アリケーター？）を支援するために「自分の（広告書？）に全部投げ打ちます」とか。動画作るために早く作ったほうがいいんで、編集者を雇って、仕事を辞めて、「最初の1年間で10万ドル燃やしました」みたいな、普通にいるんですね。普通にみんなそんな感じで。
（分野創始しているときは不思議？）。今トップやってるネイト・ソアレスも、Googleでの仕事を2012年に辞めて、給料3分の1になったんですけど、そんなこと言ってる場合じゃないってことで切り替えるみたいな世界観なので。こっちの界隈は多分、人類史上最も（溶けてる？）人々が多いと思います。
社会を変える運動の強さと、暴力の危うさ
前山和喜開始 1:42:57
僕はこの本読んだときに、「日和見的な主張だけじゃダメで」みたいなこと言ってるのって、すごい。僕は歴史見てると、女性参政権の獲得のために活動する人たちとか、すごいアクティブな活動をするわけですよね。
それと同じぐらいやっていかないとダメというか、社会を変えるってちょっと言ってるだけで全然変わんないっていうのも、いっぱい見てきたので。もっと過激にってわけじゃないかもしれないですけど、激しく言ってくみたいな感じ、（思想？）だなっていうのを今話して。
林央開始 1:43:42
一般的に比べるとはるかに過激なことを、大学を休学して、呼ばれたメディアに全部出るみたいなことを。多分次、持ってる手を全部使って、今度政治家に接触しようとしてるんですけど。
でも結構、やっぱり危機感が女性参政権とかとレベルがさらに違って、その状況を説明できれば、その人も命がかかってるということなので。ある意味で仲間がすごい（増えやすい？）んですよね。命かかってるのは別に僕だけじゃないので、かなりその点だとやりやすいというか、（急激にしてやすい？）と思っています。
ただ逆に、この危機感が、何をすればいいのかが正しく伝わらないと、アメリカとかだとテロをする人が出てくるんじゃないかと心配をしていますね。要するに『ターミネーター』の中で、ジョン・コナー、サラ・コナーみたいなことをやろうとして、（オープン会社？）を襲撃して全員殺そうみたいなことをされると、それって問題が解決しない。それで開発停止できる期間って多分1か月分もないですし、多分それによって開発停止しようって言ってる人たちの評判が地に落ちることによって、開発停止の実現率が下がるので、めちゃくちゃ有害なんですけど。逆に全員死ぬっていう危機感があったら、多分誰かしかねないと思ってるので、それが危険だと思っています。
前山和喜開始 1:45:26
でも、やりすぎるぐらいやって初めて、まず社会に認知してもらえるみたいな感じもあるのかもしれないなと思う。もちろん、（人道的な？）テロとかは良くないと思うっていうのは大前提としても。
今のままだと届かない、（多く多くにあると？）。多分、本来届けないといけないレベルまでには届かないなっていう思いもなんとなくありつつも。あ、でも、政治のレイヤーにアプローチしていくみたいなところが。
有路翔太開始 1:46:02
一つはそうです。
林央開始 1:46:05
結局そうですね。なので多分、今までの人類の政治活動で行われたことよりも、はるかに大きな規模で行われなきゃいけないんですけど、向きがちゃんと生存率が上がる方向に一致させないといけないという感じです。テロに力をどんなに入れても人類の生存率が上がらないので。ただ正しい方向を向いていても、人類が生き残るにはものすごい強い努力が必要になる。規模も努力も必要になるので、それを（弱く通じる？）しかないと思ってましたね。
それはありますね。僕も実は基本的にパブリックスピークってめちゃくちゃ苦手で、基本的に脳内で考えるときって例えとか全く使わないっていうことですね。[聞き取れず]、なんでも信じるけど。これがちょっとあるので、すごい説明下手で、基本めっちゃ早口なんですけど。さすがにそんなこと言ってる場合じゃないので、過去のエリーザー・ユドコウスキーとか、（エパルフ？）が出たようなやつとか、今ほぼ全部見るぐらいの勢いで見て、例えを収集して。エッセイとかも出てるので、そういうの収集して、できるだけゆっくり話すみたいなことをやったりするぐらい、そういう感じの必死さがありますね。
できることは全部するぐらい。できないことをしなきゃいけないので、思いついて全力でやるけど、今は一般的に言われてることを全力でやるのではなく、まだ（下が？）思いついてないようなことを見つけて全力でやるみたいなぐらいの程度が必要なんだと思ってます。そういう点ですごいありがたいなと思って。デモの話が過去あった。
前山和喜開始 1:47:58
多分この本にも、暴力的な破壊活動みたいなものに対しては批判的だったと思うんですけど、（そこによるときに？）、伝わらないことには始まらないなみたいな、読んでるときに思ったんですよね。そういう（レア？）の中、中には伝えるために命かけていっぱいやってきたっていうのが、読んでたんですけど。
そういう立場を取って、実際にパブリックスピーチも、やり方、アウトリーチをどうやるかみたいなところを頑張ってるみたいな話とかを聞けたのはすごい。
林央開始 1:48:40
何か歴史上うまくいった例があれば、ご提供いただければ（なしやはりも？）できる。
前山和喜開始 1:48:40
いや、（人ならでは？）過激にやってたと思いますね。やっぱり知らないと始まらないっていうのが大きいものだろう。俎上に上げるために、すごい命を張ってきた人たち。
それこそ僕の専門の時代は、ちょうどコンピューターと同じ時期に、やっぱり学生運動をやってるはずなんだ。ベトナム反戦とか。ああいう人たちとオープンソースの人たちとか、ヒッピーカルチャーとかって、すごい親和性があったっていう歴史も、側面もあって、結構過激にやってる人たちが多かったっていう[聞き取れず]。
ちなみに、（中座でもザー？）の一番有名、世界で一番有名なデモって言われてる、マウスのデモ。パソコンのマウスです。マウスのデモンストレーションはダグラス・エンゲルバートのあるんですけれど、それも実は68年かな。確か同じ年、学生運動も同じだったりするので、僕は結構そのあたり、（自分が持ちた？）と思ってるんですけれど。
林央開始 1:49:51
でも、（理由的には？）学生運動って失敗のイメージがするっていう。彼らの意見が[聞き取れず]通っていったことってない。あまり通った感じがないと思うんですよ。どうなんでしょう。この観点から見ると、規模がでかかったけど、（季節な？）効果的な向きを向いてなかった（大秘？）。
個人の危機感から惑星規模の連帯へ
前山和喜開始 1:50:12
でも多分もっと大きいところにあった、ベトナムの反戦運動だったりとか、一定の影響を与えていたと思うんですけれど。直接的にいろんな側面がある。ちょっと難しいですけど。
僕が思っていたのは、そういう過激なことじゃなくても、過激なことをやらないと始まらないのではって気もあったんですけど、違うっていうのが分かったっていうのと。あともうちょっと論点としてあり得るなと思ったのが、どういう階層でやるのかってなったときに、結局法規制をするっていうのが、まず一番直接的な話になると思うんです。
例えば政治家に会うって言っても、日本の政治家に会って、日本の法律でどう規制するかとか、そういう議論になってしまうような気がしてるんですけれど。さっきの隕石が落ちてくるっていう例えを考えたときには、もっと大きい地球っていう星レベルでの話になるわけじゃないですか。だからどういう階層で連帯をするかっていうのを考えるときに、今思われてるのは一番本当にプラネット、惑星的連帯感みたいな感じなわけですよね。隕石の落下にどう立ち向かうか。
そこに対する惑星的想像力みたいなものって、多分普通ないんですよね。多くの人は、（思っていれば？）明日のご飯をどうするかとか考えるとか、明日何しようかなって考えるとか、クラスの友達とか会社の同僚とか。想像する世界の社会の大きさっていうのが、多分AIの今のこの議論で考えなくちゃいけないところと、すごい距離感があると思うので。
これをどう近づけていくっていうのは、さっきの例えばSFとかの作品を考えるとなっても、SF作品で扱ってる、思いを寄せることができる、連帯するスケールっていうのが、実はもう惑星間でやるっていうところをまずやらないと意味がないのかもしれないなっていうのに、[聞き取れず]思うんです。まさに隕石が落ちてくるっていう例えは、そういうスケールで戦う、[聞き取れず]なきゃいけない。
林央開始 1:52:42
映画見てて残念だなと思うのは、結局みんな個人のスケール。個人のスケールで物事が完結しないと面白くない。北京のカットとワシントンのカットがしょっちゅう切り替わる映画ってあんまり面白くなく、（日誌な？）映画としてはすごい（重要がある？）のかもしれないですけど、ハリウッド受けしないじゃないですか。
『ターミネーター』とかも、すごいアメリカ政府に交渉しに行ってロビングをして、アメリカ議員を説得して、同時に中国の議員にもロビング、ロシアでもいいですけどロビングして、国際条約を通すみたいなストーリーって誰も組まなくて。一人の過激な人が工場を襲撃するとか、未来から[聞き取れず]撃退するじゃないですか。それはすごい残念だな。対処法の向きとしてすごいスケールが小さいなというか、連帯感ゼロみたいなことをするじゃないですか。
それがすごい残念だなと思いつつ、それをフィックスしないとなみたいな思いがありつつも、（ここのキーが持ってる人たち？）のタイムラインって言われるような、その時間的[聞き取れず]、めちゃくちゃ短いので、難しいなと思うんです。『ターミネーター』とかを新しく作ると1年以上かかるじゃないですか。1年もあったらもう詰んでるんじゃないかみたいな感じが結構ある。ちょっと難しいですね。
有路翔太開始 1:54:08
反AIって言われてる人たちっているじゃないですか。絵師さんとか、画像生成AIの著作権について考えてる人って。でもそういう人たちって、AIを批判できればとりあえず何でもいいとしたら、超知能AIが人類を殺すっていうものの論理は、すごい内面化しなくても、「そういうのがあるんだ」って言って、それも含めてそれで批判しようっていうふうに。そのギャップを別に埋めなくても、単なるその要素の批判の一つとして簡単に取り入れてもらえればいいのかなっていう。
あとは失業問題とかも、多分すごい個人的なレベルで起こると思うんですけど。失業問題がすごいコアな問題として政府を批判したくても、それだけだと個人的すぎるから、ちょっとその材料として、「超知能AIを作れば人類を絶滅させるって言ってる人たちいっぱいいるじゃん」みたいな。それを使って、じゃあ「お前何やってんだ」みたいな感じで批判しようっていうふうになってくるのが、結構現実的かなっていうふうに思いますね。
内面化しなくてもよくて、本当に起こるって思わなくてもよくて、自分ごととしてちっちゃいリスクとか、何か嫌なことを考えてる人に材料を与えるっていう方向性でも、いい気がしますね。
林央開始 1:55:32
個人的にはそれって、いっぱい政策が割れそうで。割れそうなのと、（副参加しちゃう？）のをすごい心配してはいるんです。そのケアをどうするかはすごいイメージしていて。やっぱりある程度までいったら、多分絶滅にこだわりすぎると規模がスケールしなくなるところが来るでしょうし、一方でスケールするために何でもかんでもとなると、むしろ印象が悪化する傾向があると思っていて。どういう緩和方法があるのか。
有路翔太開始 1:56:03
多分僕らは絶滅一本でやっていいと思ってて、僕も絶滅一本でやると思う。それを聞いた人が材料としてくれれば。
林央開始 1:56:17
そんなに細かい粒度で見る外部の人ってあんまりいないと思っていて。多分結果として、すごい規模がそういう方法でスケールしたとしても、AIで人類が絶滅するって言ってる人たちは、「今僕、自分が知っている嫌いな派閥のこういう人たちが人数多くて、こういう派閥なんだ」みたいなので終わるって結構あると思っていて。
AI企業の話だと、AI企業って嫌いな人結構多いじゃないですか。「無駄に（ダブル？）作りやがって」みたいな話も含めて。そういう中で「人類滅亡ってマーケティングだ」って言われることも結構あるじゃないですか。一方で、（さっきを？）訴えてるのは、もちろん企業もそうですけど、（米金？）を辞めた人とか外部の安全性機関の人とかすごい多くて。彼らって平気で（at？）を批判し、（ジェイコーク？）さんが「これ全人類の（家で？）ギャンブルしている」って批判してるわけで。
批判してるんですけど、全体として見ると、やっぱり影響力が大きそうに見えるAI企業のイメージがとっても先行して、そのイメージが先行した結果でマーケティングって扱われるってなってるじゃないですか。そこはすごい良くない方向に物事が起きることはあり得ると思ってますね。
アメリカでも本当は開発停止って民主党のマターじゃないはずで、超党派なはずで。超知能禁止法案も両党の議員からそれぞれ出てるんですけど、それでもやっぱりアメリカの中では民主党の議員の方が早く賛同表明する人が多かったので、トランプ大統領は結果として党派の問題だと思ってるところがあるじゃないですか。実際、「これは陰謀論だ」みたいな、「これは民主党に（主転動された？）陰謀論だ」みたいな扱いを受けてますし。
下手なスケールが勝手に起きたとき、このスケールって制御できるものかも分からないですし、それが起きたときにどう転ぶかも分からないんですけど、多分結構クリティカルなことだと思うんです。これが本当に、ある意味でそういう状態に直面するときって、ラストチャンスがあるかないかみたいな状態なはずで。そのときの勢いでランダムに拡大して、大きい派閥にはなったけど、極端な派閥の一部に、みたいなふうにカウントされて世論から分離しちゃうのもあり得ますし。それを避けようとしすぎると、多分今度は（そっちと聞きたい？）みたいな話にもなる可能性もありますし。それはそれで今度連帯ができない。今度はそれはそれで規模が伸びないので、そこの難しさをすごい感じています。
歴史から考える、超知能の時代の概念づくり
前山和喜開始 1:58:51
すみません、今結構聞きながら考えていて。歴史の、今日たまたま、分からないですけど、多分この会をオーガナイズしてくれた方が僕の授業に一回潜りに来てくれて、多分それで授業で歴史の話をしてた気がするので、歴史家として呼ばれていた気がしたので、その視点から最後に思ったことを言いたいことがあって。
みすず書房っていう出版社から、『（温暖化の発見とは何か？）』って本が出てるんですけど。結構これ20年ぐらい前の本なんですけれど、「温暖化の発見」っていうところにクオートがついてて。これすごい僕面白いなと思ったんですよね。つまり科学的な自然現象として地球が温まっているっていう、温暖化しているという数値的な問題だけじゃなくて、概念として、そもそも人間の活動によって地球温暖化というものが（繰り出されて？）、温暖化というものを発見するっていう。温暖化という概念というのが、その枠組みを発見するっていう、その歴史の話なんだっていうことを言ってる科学史の本なんですけれど。
つまり、超知能AIに取って代わられるってことは多分、生成AIの性能が上がっていくっていう話の問題と、人類の知能が代替されてしまって、そもそもゲームが変わってしまうみたいなことって、ちょっと実は距離があって。新しく何か概念として置くってこと。発見された概念っていうんですかね。
今までのあり方っていうのは、インタラクションだけだったらインタラクションの問題だったのかもしれないけど、実は人間はすごい外側に追いやられて、AIの中のこのループによってどんどん社会が変わっていってしまうみたいな現象っていうのは、単に人間の知能をAIが、機械が超えるっていうだけじゃないのかもしれないな、みたいな新しい捉え方をして。そういう概念を、考え方みたいのを出すっていうことも、もしかしたらできるのかもしれないなって、今聞いて思って。こういうのをっていうのを思いつつ聞いてたんですけど。
でもお二人の話を伺ってると、そもそもこういうのをやろうとしたときに、多分何年もかかっちゃうんですよ。
林央開始 2:01:38
でもあれじゃないですか。もしも人類が生き残ったら、後世の歴史家が発見することはやっぱり言えますよね。
前山和喜開始 2:01:44
そうですね。なので僕は、それにちょっと早く気づいてたんだぞみたいな。（一本だけに残してると？）、（会社と社長のこれかもしれない？）っていうのも面白いのかもしれないと、今お二人の話を聞きつつ思っていて。
本当に単にコンピューターというか、機械の性能が上がっていくってだけの議論じゃなくて、違うゲームが始まっちゃうし。さらにそれは今のAIがどうだこうだとか、仕事の問題っていうのは結局なんだかんだ個人のレイヤーの問題だと思うんですけど、隕石が降ってくるんだっていう話で。この問題はそうやってフレーミングするようなものなんだってことを、今日めちゃくちゃ勉強になったので。
林央開始 2:02:34
これをbioshokは「AGIピルを飲む」と呼んでたりしますよね。
有路翔太開始 2:02:39
そうですね。AGIピルっていう概念。
林央開始 2:02:43
『マトリックス』にあるじゃないですか。青いピルと赤いピルが出されて、どっちかを飲むと実際の現実に引き戻されて、飲まないと仮想世界に引き戻されて。どっちでしたっけ。
有路翔太開始 2:02:59
赤ですかね。赤色を飲むとシミュレーションだっていうふうに気づいて、現実世界がさらに上位構造としてあって、そこで眠っていたんだってことに気づくっていう。
移民と産業爆発のたとえで捉えるAIの影響
林央開始 2:03:09
その世界観が全く変わるみたいなことを指してるんですけど、そういう気がしますね。人にこの先のAIのインパクトについて説明してるときに、やっぱりAIとロボットっていうと、既存のAIとロボットの延長の範囲にとどまってしまうんですね。要するに、それこそ本当に昔からあるコンピューターの延長とか、それこそチェスのAIのすごい版とか。「すごいわー」みたいなこともあるんですけど。
そうじゃなくて、最近は適切な例えとして見つけてるのは、むしろ移民問題とか人口問題なんですね。要するにAIってツールが出てきますよというよりも、むしろ移民が大量に、ロボットという物理的体を持って、人間の100倍みたいな速度で考えるロボット移民が来て。産業爆発と言われてるのは、そのロボットがロボットを作って、それでできたロボットで次のロボットを作るみたいなことをして、そしたら指数関数的にロボットが増えるみたいな話って、ある意味で移民問題とかにすごい近くて。
でも、その移民問題ってそれに対してすごい規模が小さい。人間の移民問題ってめちゃくちゃスケールが小さいじゃないですか、それに比べると。移民の数が1億人になったりしないですし、それこそ倍増期間も30年とかかかるじゃないですか。30年とか10年とか全然かかるものが、ロボットは本当に1か月で倍増。始まりは多分、人間が必死に作って100万とか1000万とかなんですけど、どんどん増えていく移民問題みたいに変えると、ある意味でインパクトの大きさが伝わりやすいと思う。ただ多分これも、個人的にめちゃくちゃ（過剰評価？）だと思ってるんですけど。
一番まともかなって思うのだと、AIのインパクトって、実際の人類が滅ぶっていう人たちのインパクトのイメージって、さっきの隕石がありましたけど、どっちかっていうと地球の目の前にブラックホールが出現するみたいな感じがあるんですよ。どう考えても地球は無事じゃないんですけど、太陽も無事じゃないよねみたいな、そういう世界観なんですけど。
人々が持ってるのは山火事みたいな勢い、普通の火事から山火事になりますみたいな勢いの感覚を持っていて。せめて人類絶滅みたいな話をすると、結局隕石みたいな感じに。隕石が言われたり、別に隕石でも[聞き取れず]同じなんですけど、それになると思ってるんですね。そこのスケール感はすごい違いがある気がしています。
有路翔太開始 2:05:45
絶滅っていうと、いろいろなイメージでSFで語られてるので、ある程度分かる人も多いと思うんですけど。実はこの界隈だとAGIピルっていう概念があって、それを飲むとどういうスケールで、何が想像されてるかっていうと。ちょっとこれユートピアっぽいんですけど、10年後何が起こるかっていうことを考えるときのフレーミング。
今のナラティブってこの左側のイメージなんですよね。自動運転が当たり前になって、ホワイトカラーが失業して、ドローンとかが飛んでて、すごい生産性が上がってて、ヒューマノイドとかも歩いてみたいな。だけど、これが間違いだっていうことですね。
AGIピルを飲むと、基本的にどういうイメージになるかっていうと、これはスペースコロニーって言って、東京23区あるじゃないですか、巨大な。それと同じぐらいでかいスペースコロニーを100万個以上作れるって言われてて。それが100万年先なのっていうと全然違くて、10年先だっていう話、10年、20年先だっていう話がされてて。
これが産業爆発って、さっきakiraさんが言った概念なんですけど、ロボットを複製するっていうことが起こりますと。そこにフィードバックループがかかるので、どんどん加速していくんですね。
基本的に10年後どうなるかっていうと、ちょっと生産性が高まるだけじゃないかって思う人が大半なんですけど。「AI as Normal Technology」って言われるフレーミングなんですけど、AIは今までの歴史的な技術と同様の普通の技術である。とはいえ、蒸気機関やインターネットの登場ぐらいのすごいインパクトはあるよねみたいな。
基本的に界隈でいうと、こっちの右側のスローテイクオフとかハードテイクオフって言われるんですけど、AIは「プロファンドリー・アブノーマル・テクノロジー」と言われていて、極めて異常な技術であるって言われてるんですよね。今までの技術革新と明らかに全てにおいて質が異なっていて、それはAIが人間を代替するっていうその一点にあるんですけど。
そうすると全ての経済活動っていうのが急速に自動化できて、人間っていうのは年間1%ぐらいでしか増えないですし、すごい頑張っても数パーセントでしか増えないって言われてるんですけど。ロボットっていうのも簡単に複製、簡単に工場を（作ってたんですけど？）、人間よりも圧倒的に早く複製できるので、その結果、産業とか経済っていうのが爆発的に発展すると。
そうすると10年後に、普通のこの感覚、SF映画で捉えられるような感覚で見てると、それはある種のナラティブによって頭のイメージが固定化されちゃうんですね。それがこのイメージ。ドローンが飛んでて、ヒューマノイドが歩いてて、ホワイトカラーが、ちょっと豊かになった都市みたいな。それは合理的に考えると違うっていうふうに言われてて。
AGIっていうのが出てくると、本当にAGIピルを飲むんですけど、そうすると本当に太陽系スケールで全てが変わっていって。ダイソンスウォームっていう、太陽の周りを太陽光パネルが回ってるような、こういうスケールが右側で語られる一方で、全然そのナラティブっていうか、AGIピルを飲んでない世界だと、こういう左側の牧歌的な世界で語られてるっていう。
世界中で、こういう分野についてすごい深く10年、20年考えてる人たちは右側で考えてるんですけど、左側はこの1年とか数か月で「AIってすごいんだ」って考えてる人っていうのは、どちらかといったらこういうユートピアを考えがちっていう議論を知って、内面化するっていうのがAGIピルを飲むっていう。
かつ、さっき保守的って言ったじゃないですか、akiraさんが。この真ん中の世界なんですけど、保守的っていうのが、それがもっともっと早く起こると、本当に地球っていうのが海が蒸発していって、核融合炉とか太陽光パネルが、（太陽光？）水星軌道上でめちゃくちゃ増殖していって。その結果、地球っていうのが数年あればエネルギー的には破壊できるって言われてるんですね。
それを破壊して何にするかっていうと、地球っていうのを別の物質に変換して、ラジエーターのような物質に変換する可能性が結構あるっていうふうに言われてて。結構その事態っていうのが、本当、隕石衝突レベルなんですよね。それは比喩ではなくて、隕石がぶつかったら地球の気候ってもう変わっちゃうじゃないですか。それっていうのが本当に文字通り起こるんですよね。文字通り地球の気候っていうのが何十度も上がって、もしくは地球そのものが解体されるみたいなことが起こって。それがもう本当に数年先かもしれないっていう話が、基本的に議論されていて。
マジで宣伝になっちゃうんですけど、そういう話を知りたい人は、これ『知能爆発』っていう本、最近この1、2週間前に出したんですけど。安野さんとか茂木健一郎さんとか山口さんとかにも推薦していただいてるんですけど、そういう超知能のリスクの背景にある思想的な世界観ですよね。だから別に人類が絶滅するっていうことをすぐに内面化できるのはそれでいいんですけど、「いや本当かよ」って思う人はもっと詳しく知るっていう本として、こういう本を私は書いたので。
林央開始 2:11:30
技術史として。
前山和喜開始 2:11:32
売ってました。積まれてました。この間、新宿の紀伊國屋に行ったら。
話者不明開始 2:11:36
本当ですか。紀伊國屋にも。そうですか。
林央開始 2:11:39
技術史として、多分どっかの時点でAIは、史上最大のものとして全ての分野に名前が載ると思うんですよ。普通の技術って、ある分野を進めたらある分野が進んで終わるじゃないですか。
（無鋭っていう分野は？）、研究者という存在は理論上全ての分野を加速してるじゃないですか。ある意味、全ての分野に研究者の名前は現れるわけじゃない。AIってある意味で、今のAIは別として将来のAIっていうのは研究者そのものみたいなところがあるので、全ての分野に名前が現れるはずで。そうなると多分、計算の歴史みたいな中で初めて、もっと大きい話に変わると思うんですよ。
ある意味で計算の歴史っていうふうには、分野として分かれてるじゃないですか。ただそうじゃなくて、歴史とは計算の歴史であるみたいなところに、途中でなると思うんですよね。
前山和喜開始 2:12:34
いやいや、実は僕はそう思ってるんですよ。つまり人類の歴史は計算の歴史だと思っているので。僕は一番大きく、すごい射程を持ってるんですけど。射程を持ってるのが計算だから計算は面白いと思ってるし、コンピューターサイエンスの歴史をやってるわけじゃなくて、やっぱり社会のプラットフォーム、技術基盤としてのコンピューターっていう方に興味は持っているので。同じようなスケーリングというか。
だから多分、AIっていう切り口の方がもっと大きいのは、多分直接的に、良くも悪くもというか、望んでる、望んでないにかかわらず影響を与えてしまうっていうのは、確かにあるのかもしれないなって思って。
林央開始 2:13:24
結局あれですね。計算というより広い中の特殊分野みたいな感じでAIがあって、そのAIがこれら全てを乗っ取っていくという。ある意味で、よく考えると人間の脳って計算とも言えるわけじゃないですか。僕もそう思ってるので、ずっと計算によって（引き切られてきた？）歴史なわけじゃないですか。
その計算、人間という、そんなにすごいかよく分からないハードウェア、ソフトウェアの組み合わせに代替が出てくることによって、このAGIっていう話だと思っていて。
結局ただ、人間のフレームからすると、人間を計算に入れる人ってあまり多くないじゃないですか。計算の歴史って言ったときに、人間の脳の話を含める人ってあまり多くない気がしていて。人間の脳内のフロップスっていうか、ニューロンの発火とかってあまり入んないじゃないですか。
前山和喜開始 2:14:26
僕は結構そう考えるべきだと思っていて。歴史記述っていう言い方をすると思うんですけど、そういう歴史として記述する能力を持ってないだけだと思っていて、僕は今。僕は頑張ってそうしていくので。
そうなれば、僕が記述できたら多分、AIの話っていうのが直線的にというか、延長線上に実は位置づけし直すことができるかもしれないし、話は違うんだってなるかもしれない。それは分かんないですけど。
有路翔太開始 2:15:03
カーツワイルがそれにすごい近い世界だ。1個だけ、この図とかあるじゃないですか。カーツワイルのこの「特異点へのカウントダウン」みたいな。
この図って経済成長、過去数万年のスケールで見た壮大な話があって。これが過去の経済成長率って、どんどん（超数感性に？）高まってるんですよね。これがなぜここで止まってるかっていうと、トウモロコシがあって人が生まれて、アイデアを生み出すとトウモロコシをどんどんもっと増やすことができて、それだともっと人間が増えて、それがもっとアイデアを生んで、さらに人間が増えるみたいな関数があるんですけど。
それっていうのが人口転換で、少子化とか、普通に人間ってそんな20年に1回しか大人になるじゃないですか。だから人間っていうハードウェアがボトルネックなんですけど。これが労働力がAIになるとってやると、これが全てデータセンターなので。こういう話を実は最先端のEAって、効果的利他主義のコミュニティはしてて。
それをすると、この踊り場に入った21世紀前半の、ピーター・ティールが言う「140文字のSNSしかないけど、それだと云々」みたいなのが全て突破されて、上まで外挿されることで、実はレイ・カーツワイルのグラフがさらに下に行くっていう議論が経済学的にされて。これは超長期成長的な目線で見た人類史ですね、っていう議論。
世界を計算として捉える人間の理解と歴史
林央開始 2:16:38
個人的に今気になったのは、逆に計算じゃないものって何があるのかなって、思い始めてきたんですけど、どう思います？
すごい極端な話をすれば、宇宙全体というのはある意味で波動関数の進展によって成り立っているので、非常に巨大な計算ということもできるかなと。物理的な進展のうち、特に計算に属するものとはどこからなのかなというのを思ったんですけど。どう思われるか、決まったものがあるのか、決まったものがないのか、どこが適切だと思われるかみたいなのがちょっと気になりました。
前山和喜開始 2:17:15
僕は計算してる……宇宙とかも計算だみたいな話のときに、僕はそれは犯人は人間だと思っていて。人間は世界を計算的なもの、計算可能っていうか、計算をするようなモデルにして理解をする。そして処理をするってことをすごい頑張ってきた歴史なので、それが人間のやり方じゃ追いつかなくなってきて、算盤を作ったりとか、いろんな計算機器を作って、情報処理。
僕は計算と情報処理も、計算の方が根底に来てると思っているんですけど。これだから結構議論があるというか、多分もっと揉まなくちゃいけないんですけど。雑に言えば、どういうふうに計算の……世界、社会、それが社会なのか世界なのか、宇宙とかもそういう計算っていう、計算可能な数理モデルとして世界を捉えるってことをやってきている。それはやっぱりニュートン以降の科学論とかもずっとそうだったと。そうなってるから世界がそう見えるだけっていう可能性もある。
別に計算的なものじゃない、社会を捉える何かに人類が成功すれば、また変わってくるとは思ってますけど。結局そうなってるよねみたいな。今は少なくともそうなってるから、僕はそうやって計算で追うっていうのでいいんじゃないかと思ってる感じです。
林央開始 2:18:48
なるほど。つまり世界の側がどうなってるかによらないけど、人間というコンピューターが理解しようとするというのは、すなわち人間のコンピューターで実行可能または近似可能なモデルにしようとしてるから、計算可能にしようとしてるみたいなことです。そうすると何を見ても、ある意味で計算可能になるみたいなこと。
話者不明開始 2:19:08
そうですね。計算可能というか、（形で？）。そうです、計算対象の方で、（フローな形？）で理解されることは[聞き取れず]っていう感じです。
前山和喜開始 2:19:18
そうですね。僕は結構そういうふうに、社会はそうしているような。それってだから多分、人工知能ってものもそうだったと思っていて。コンピューターっていう計算のプラットフォームに、どうやったら知能が考えるみたいなものを落とし込むことができるかっていうのをすごい頑張っていたので。それがニューラルネットなのかエキスパートシステムなのか、いろいろ波があると思うんですけれど。
今結局、ニューラルネット的なやつの延長線上のこのモデルがうまくいってるとか、そういう話であって。実はもっと違う何か、分かんない、僕は思いつかないですけれど。実は例えば言葉っていうのは、もしかしたらそうなのかもしれないなと、ちょっと思ったりもするんですけど。言葉も結構今、計算で扱ってるわけで。
林央開始 2:20:03
そうですね。潜在表現に。
前山和喜開始 2:20:06
だからまさに、今も授業でちょうどWord2Vecをやったんですけど。ああいうのが、Word2Vecみたいにベクトル化するとか、分散表現で捉えるっていうこと自体が、今うまくいっている計算モデルなだけであって。もしかしたらそもそも言葉の方が上っていうか、計算を支配する概念かもしれないとは思うんですけれど、どうなんでしょうね。
それが合ってる、間違ってるは別として、少なくとも現代社会はそうなってるっていう。今の（パソ？）になってるっていうのは[聞き取れず]。合ってるか間違ってるかの議論をするよりも、現代社会、今の社会で今の[聞き取れず]、歴史を記述するってところに僕は結構モチベーションがあるので、そう捉えてるかな。
林央開始 2:20:50
（ありがとうなぁ？）。その主体、計算の主体であるみたいなのの（2回目？）みたいのって。要するに人間が世界を理解しようと、例えば僕が世界を理解しようとすると、僕の脳で計算できるモデルに収めようとするじゃないですか。
そうすると、計算してると言いたくなる主体、例えば今日いらっしゃってる（マヨさん？）とか、両方とも計算してる主体だと思うんですけど。一方で、そこらに見つかった石ころとかは計算主体と呼ばないという感覚がある。計算量がゼロの（計算体？）だというふうに言うこともできます。（今しかしないこともある？）と思うんですけど、そこの定義みたいなのは何か。
前山和喜開始 2:21:37
これはちょっと難しいんですけれど、例えばシミュレーションってものを考えると、シミュレーションって計算だと思うと、水が流れるってことも計算だって言えてしまうと思うんですよね。
石っていうのも歴史的には、まさに（軽く？）数えてたんですよね。算盤みたいなものって、アバカスって石なので、もともとは。ってなると、世界を抽象化した1っていうものと石って、これ対応を取れるわけですよね。それによって計算になってるとも言えるような気もするし。でもそれ、結局人間がそう考えてるからそうなんでしょっていうふうに思う。
だから世の中では別に計算の主体っていう何かを仮定しなくても、そういうシミュレート可能な何かは起こってるとは思うんです。何かをシミュレートするみたいな現象は起こってると思うんですけど、僕はやっぱり人間がそういうふうにしてるとは思いますね。
林央開始 2:22:41
本質的な世界観がすごい似てるなって思いますね。僕も言いながら、これってすごい人間が外から主体的に（取り込んでるがいる？）んだよなみたいな、少し思ってましたね。基本的に僕は人間が外から導入してる概念がほとんどだろうと思っているので。
逆にそれがアラインメントの難しさの一因だと思ってるんですけど。それぞれ全く違う相手を、ある意味でエイリアン、エイリアン・インテリジェンス。AIですけど、（アーティション？）ですけど、に入れるみたいなやつがややこしい。オントロジー・アイデンティフィケーションと言われてる問題があるんですけど、結局、人間の世界の見方って人間が導入してるものばかりで、それが世界の本質的に（特徴されるか？）みたいな、謎だよねみたいな、思っていますね。
今（ガラスさん？）がおっしゃったことが近いような気が。計算主体。そういう謎の記述を挟まなくていいから、直接記述した方がよくないかみたいな思いがあると思う。
前山和喜開始 2:23:48
結局、僕は逆に、そういう計算可能なふうに世界を捉えるってことを頑張ってきてる人類の歴史を、そうやって捉えることもできるんじゃないかっていうような話をやっぱりしていて。
僕が結構難しいと思ってるのは、結局今の、さっきも言ったわけで、今のこういうAGIみたいな話、議論っていうのを、そういう計算の延長線上に位置づけることができるのか。でも結局プラットフォームを考えれば、コンピューターだから計算してるじゃんって言えるんですけれど。そこをどう記述していくかっていうのは結構僕も。
本当は実は、AIまでいかなくても、本当にAIぐらい、AIだったらもっと言えば情報処理ぐらいでもいいんですけれど。計算っていうふうに僕はよく言ってるけど、ちゃんとその切り口で記述できるのかっていうのは結構悩んでるところでもあって。多分、新しい情報処理概念っていっぱい出てきてると思うので、量子コンピューティングもそうだし、もっといろいろあると思うんですよね。（記号コーティング？）みたいな考えとかも。
林央開始 2:25:05
そうですね。何なら古代の生物とかで遡ると、ワンチャン計算量がどんどん増してる可能性とかも。ある意味、突然人類だけで計算量がジャンプしてるわけじゃない。ミトコンドリアとか（では？）計算量が多いような気がしますよね、人類の方がおそらく。ミトコンドリアもDNA1本とか（では？）計算量が多いはずで。
前山和喜開始 2:25:31
それを計算というモデルで理解するってことを、まずやってる気もしますけど。
有路翔太開始 2:25:39
人類と他の生命との違いとかも気になりますね。人類が生み出す計算ってすごい特殊な気もしたり。
前山和喜開始 2:25:53
そうですよね。人間がやってる計算って言葉じゃないかもしれないですけど、そもそも何かを処理するっていう能力っていうのは、別に計算じゃなくてもできる可能性が本当にあると思うので。
林央開始 2:26:08
実際にもしそういうものを見かけたら、我々はそれを計算と呼びそうではありますよね。
前山和喜開始 2:26:12
そう、[聞き取れず]。最近はやっぱり結構、分野でも計算論的ほにゃららみたいな言い方をよくする。計算論的神経科学****、（インシンリーダピンチ？）とか、いろんな計算論的ほにゃららってあると思うんですけれど。これでやっぱり計算っていう枠組みでそれも捉えようとしている。その延長線上で[聞き取れず]。
あと、情報処理の機構っていうのは、いろんなところに逆輸入されてるかも。頑張ってコンピューターを作ったはずなのに、はなからそういうものだったでしょ、みたいな形で記述されてることとかって、いろいろあると思うんですよね。情報は計算されてるみたいな見方をするっていう。
それこそ他の生物の今の例もそうですよね。他の生物が絶対計算をしてるわけではない。人間が思ってる計算をしてるわけではないんだけれども、それを計算論的に何かを処理してるって評価ができるみたいな意味。だから普遍的にそうであるとは思ってはいないので、もう少し違う何かがあって、別世界線での[聞き取れず]、今の人間の計算じゃない世界の、何か処理みたいな行為によって、そういう機械ができている世界線もあって面白いですけどね。
話者不明開始 2:27:39
ちょっとそれは、我々の想像力の外にあるタイプね。
前山和喜開始 2:27:39
そうですね、外ではあります。
林央開始 2:27:48
あっても見かけても、やっぱり相変わらず「これは（経緯でる？）」と言うと。
前山和喜開始 2:27:54
僕も結構そういう批判、指摘されることがあって。「前山さんのロジックだと世界が全部計算になってしまう」みたいなことを言われるんですけど、それは「そうでしょ」って思ってますけど。
林央開始 2:28:08
そうですよね。それって言われたら、「はい、そうだと思っています」みたいな気が。背理法みたいなノリで使われても、「いや、それは正しいでしょ」みたいな気が少しします。
前山和喜開始 2:28:17
そうなんですけど、当時の人たちはそう考えてなかったのに、考え方からそれを押し付けちゃうっていうのは歴史の見方としてはちょっと良くないので。確かに自分にとっても反省すべきところはあるんですけれど。でも実はそうなのかもしれないと思ったりとか、そんなことを考えてるので。
実は扱ってる問題は全然違うかもしれないですけど、考えるべき問いというか、レイヤーは実は近いのかもしれないと思う。
林央開始 2:28:43
確かに変に綺麗に（題名？）を定義しようとしすぎると、今度は謎の問題にいっぱい直面して大混乱に陥るみたいなのがありそうですよね。
さっき僕は計算の主体について聞いたじゃないですか。我々から計算してみたときの計算主体を取り出せるかの話を言ったときに思ったら、それができたとしても、今度は中国語の部屋みたいなことができたじゃないですか。一個一個は計算の主体じゃないけど、すごい特別な組み合わせ方をしたら、「はい、全体で計算の主体です」みたいな、言えちゃいそうや。そこは変な（スタッフ要素？）なだけかもしれない。
変に概念を導入しようとすると、その概念の定義自体で苦しむみたいなことは結構ありそう。
「知能」と「人類絶滅」という概念を問い直す
前山和喜開始 2:29:28
そうですね。そう思いますね。だから実はAGIみたいなものも。AGIっていうのはソフトウェアとかハードウェアとか、装置の問題だと思うんですけど。物理的か（出てきて？）か分かんないですけど、装置の問題だと思うんですけど。
実は抽象的な概念みたいなのが、温暖化みたいな、数値的に気温が上がってるってだけじゃなくて、温暖化みたいなもう少しメタな何かで、それを捉え直すことができるのかもしれないなって気づいたのは今日の発見。
林央開始 2:30:02
新しい。なぜなら今の人類は、それを汎用知能という呼び方でしようとしているという気は[聞き取れず]。AGIって何が特徴づけられてますかって言ったら、やっぱりAGI、[聞き取れず]。一個に特化したAIじゃなくて汎用ですっていう意味になると思うので、今までできなかったものの、今持ってる雑な概念として汎用知能って呼んでるんじゃないかっていう感じがしますね。
個人的にはAIってあんまり好きな言葉じゃないんです。
前山和喜開始 2:30:31
そうですね。僕も知能なのか、みたいなところは結構思うんですけど。歴史的にアーティフィシャルインテリジェンスの延長線上にこれを位置づけてるから、知能の問題になってる気がするんですけど。例えばフィジカルAIとかを話すときに、知能の問題なのかみたいなところ。
林央開始 2:30:53
知能って僕は個人的にはそんなに好きな概念じゃないんですけど、人間が外から導入した結果として生まれてるだけだと思っているので。知能っていう概念を使って本当は思考すべきじゃないと思ってる、ちょっと過激派なんですけど。
前山和喜開始 2:31:07
例えばですけど、多くの人がAGIみたいな問題に対してあまり注意を払わない理由の一つとして、知能が良くなることって悪いことじゃないでしょって思っちゃう気もする。
だから、本質的に違うメタな、最適化圧力みたいな。
林央開始 2:31:27
そうですね。ユドコウスキーとかの本だと、予測と操舵っていうか、書いてますね。それで知能じゃない概念としてやってるっていう感じ。そうすると、どんなに強くなっても、どこに[聞き取れず]。
知能っていうと、人間のイメージと倫理観の（曲がった向き？）を指してるじゃないですか。[聞き取れず]あると思うんですけど、それが多分実際には（神がただってない？）んだろうと思う。知能の適切な（経緯でたら？）できないので。
だからもっと直接的なことで議論してもいいのかなと思って。
話者不明開始 2:32:05
潜水艦は本当に泳いでるのか、みたいな、そういう。
林央開始 2:32:11
そうです。それに近い感覚があります。そんなこと言ってても、別に潜水艦は速く海の中で動いてるからいいでしょ、みたいな。そのAIも本当の知能になるかは分かんないけど、地球人全員殺すことができるレベルに行くかどうかは別の問題。そういうふうに考えて。
話者不明開始 2:32:32
変に概念を[聞き取れず]するとややこしいんだけど。
前山和喜開始 2:32:32
いや、そうなんですよね。新たな概念を導入して議論を壊してるような感じにもなっちゃうんですけれど。どうなんですかね。でも、少なくとも考える問題として、その視点っていうのがあるって思えただけで面白かったですね。
有路翔太開始 2:32:57
脱線しますけど、人類の絶滅っていう概念も割となかったらしいですね、中世までは。そもそも一神教的な世界観だと、別にホモサピエンスって種が認識されてなかったじゃないですか。人間が死ぬっていうのはあるし、国が滅ぶって概念もあるけど、人類が絶滅するっていうのはないですよね。
林央開始 2:33:20
どうせ最後は、何でしたっけ、突然呼び起こされて、（黙示録？）が起こってみたいな。
有路翔太開始 2:33:25
だけど19世紀あたりにエントロピー増大則が発見されて、それで宇宙が熱的死を迎えるんだって分かって、じゃあそれ、人類って絶滅するんだって分かったり。もしくは核兵器っていうのが発明されて。
人類ってそもそも進化論っていうのが発明されないといけないですけど、単なる一つの動物だってことを認識しないと絶滅って概念が出てこないんで。だからそういう絶滅って概念も割と新しい概念っぽいですね。
話者不明開始 2:33:53
そうです。300年ぐらい前に、恐竜の化石を見つけて出来上がってきた。
有路翔太開始 2:34:02
そう。なのでXリスク論は割と新しい概念で、エグジステンシャルリスクっていう。
林央開始 2:34:09
そう考えると、未来の人たちも今の僕たちの思考を見て笑ってるのかもしれないですね。「なんでこの粗い概念で議論してたんだろう、何を言ってるんだろう、この人たちは」みたいな。
僕はできればそうなりたくないので、できるだけ（習慣で？）概念思考を挟まないという方法を使いたがってるんですけど。
有路翔太開始 2:34:28
多分、新しい概念フレームワークの話なんで。AIによる絶滅論みたいな話で、おそらく。
林央開始 2:34:36
結構、人類絶滅のフレーム自体は[聞き取れず]前にあるので。何なら温暖化でも人類絶滅みたいな話が言われてましたし。
有路翔太開始 2:34:52
そうですね。まだAIによるXリスク論は新しいんじゃないですかね。
林央開始 2:34:57
それはでも、既存の概念の上に組まれてる感じがすごいある。AIによって人類が絶滅するという命題に新たに導入された概念、AIという言葉自体はありますけど。人類絶滅も別に、〇〇による人類絶滅の概念としてあって。
それを分析するときの議論として、賢くなっても善良になるとは限らないみたいな話として、高い知能の代わりに予測と操舵みたいな新しい概念が出てますけど、AIによって人類が絶滅するっていう主張自体には何も新しい要素がないと思っています。
有路翔太開始 2:35:34
ああ、それを使う概念群、それを立証するときに使う語彙群が新しいと思いますけど。
林央開始 2:35:41
いろいろとですね。今までの語彙だと不便だっていうことなんですかね。そういうことってあるんですか。今まで使ってた概念ってアホすぎるな、みたいなことになることってあるんですか。
前山和喜開始 2:35:55
いやいや、多くがそうなんじゃないですか。そういう概念を捨てる。ぱっと思いつかないけど、いっぱいありそうですね。[聞き取れず]過去の。
林央開始 2:36:11
概念って捨てたものって今持ってないんですけど、（四元素説？）のときの（四元素？）とか、[聞き取れず]エーテルとか。[聞き取れず]今使ってないですよ。そういう意味だと次々と捨ててるんですけど、捨てたものを思い出せないという（地味的なもの？）ですね。
前山和喜開始 2:36:31
もしくは僕、知能の延長線上で考えるのが適切かどうかっていう問題はあると思っていて。これ授業でも話したんですけど、例えば自動車ってもともとは馬を代替させるためのものであって、だから行き着く先っていうのは自動化馬車なわけですよね。
有路翔太開始 2:37:03
だから馬車の前に案内する人がいたんですよね、昔の自動車。自動車ができたタイミングだと、道案内か、自動車をどっちに行かせるかっていう人間が自動車の前を歩いていたので、時速（空気炉？）しか出なかったはずですけれど。
前山和喜開始 2:37:23
全自動馬車じゃなくて、自動車って新しいものなんだって思った瞬間、馬車の延長線上に自動車を位置づけられなくなったと思うんですよね。同じように人工知能っていうのの歴史の、確かに今はまだ延長線上にギリギリ通ってるぐらいだと思うんですけど。
もしかしたら考えてるものっていうのは、人工知能とかコンピューターの歴史の延長線上にあるものではなくて、[聞き取れず]ものなのかもしれないなとも、今聞いていて思います。
林央開始 2:38:00
知能って概念って曖昧すぎて、全部いけそうに見えながら、逆に曖昧すぎて伸ばした先の意味合いが何も分からない。高い知能って言ったときに、高い知能が何を意味するかが、みんな混乱しちゃうっていう。これはあると思います。
先ほどの車の例だと、結局速い乗り物みたいなふうに言い換えると延長線に出てきて、そうするとロケットとかまで入るようにできるじゃないですか。そういうんですけど、知能って言葉は曖昧すぎて、そういうふうに取れそうにも見えながら。[聞き取れず]超知能って呼びますけど、「じゃあ逆に超知能って何を意味してるんですか」みたいに言われると、「いや、そこは感覚でお願いします」。
そこは逆に、使ってる概念が緩いおかげで変えなくていいけど、何を意味してるかが分かんない。
有路翔太開始 2:38:51
すごいですね。歴史的なパラダイムっていろいろあったと思うんで、21世紀、この時代のパラダイムが後世からどう記述されるのか楽しみですね。
話者不明開始 2:39:07
先に思いついて記述してたらいいです。
有路翔太開始 2:39:11
生きてるか分からないですしね。
林央開始 2:39:14
生き残る方は頑張りましょう。生き残る方は頑張らないと他の全てが達成されないですけど、生き残る世界線だったら、せっかくなら先に見つけて、ぜひ（名を？）ご紹介いただければと思います。
知能ってすごいガバガバなフレームで、操舵するとか言ってるのも、「操舵って何だよ」みたいなところはちょっとありながら。操舵って多分あるんですよね。
サイバネティクスとAIの自己強化
前山和喜開始 2:39:39
サイバネティクスって言葉の意味合いで、多分使ってると思うんですよね。サイバネティクスって言葉、70年、80年ぐらい前に流行った言葉ですけど、それも操舵するものみたいな意味合いから来てる言葉なので。
林央開始 2:39:59
そうなんですね。多分単語が違うような気がしたんですけれど、そういう意味合いもあるのかなって思って。
有路翔太開始 2:40:11
最初は人工知能って言葉にするか、もうちょい別のいろんな言葉もあったと思うんで。忘れちゃいましたけど。
前山和喜開始 2:40:19
そうですね。人工知能、ダートマス会議のときあたりは、むしろまだサイバネティクスって言葉の方が多分すごい使われていたんですけれど。いつの間にか人工知能って言葉の方が強くなった。
林央開始 2:40:32
確かにそうですね。サイバネティクスとかのときの制御と（2対応？）で使ってます。だから今回、未来の予測というのと操舵に切り替えたっていう（ガイド的意向？）がありましたけど。
前山和喜開始 2:40:47
あとはその頃との違いは、やっぱり当時はネガティブフィードバックなんですよね。どう誤差を修正していくかが本質的な問題だったんですけど、今はもう人間の手を離れて、ポジティブフィードバックでぐるぐる勝手に強くなってるみたいな感じで。そのあり方が違うような気がするんですけれど。
僕はしっかり追ってないから分かんないんですけど、書くときにどれぐらいそういうものを対応させてやってたか分かんない。
林央開始 2:41:23
不自然です。サイバネティクスのときの制御からこっちになって、突然切り替わるパラダイム、本当は使うべきじゃない、未来から見るときは[聞き取れず]かもしれないですね。あるというか、見つけられる、作れる。発見するですか。
前山和喜開始 2:41:44
発見するみたいなことだと思ってます、僕も。
林央開始 2:41:48
そこは面白いかもですね。
逆に言うと、AIで爆速で強くなっていくみたいなフィードバックって、AIが世界を特定の状態に落とし込む力が強くなるっていう意味なので、総合的に同じような気も少しするんですよ。要するにAI自体の、ある意味での目的関数とか、それの一番値が高いところに向けて、もともと現状ととてつもなくかけ離れてるから、それを動かしていく、ある意味ネガティブフィードバックなんですけど。
ネガティブフィードバックとしての力自体が、時間経過に合わせてポジティブフィードバックで爆発していくっていうような感じが、今起きてることな気がしますね。
有路翔太開始 2:42:36
最適化の話も出てきます。誤差を減らしていくみたいな話。
林央開始 2:42:43
AIからして最も望ましい状態という世界に向けて誤差を減らしていくんですけど、誤差を減らしていく力が強い。時間経過で変化していって。逆にサイバネティクスの頃だと、あまり修正する全体の強さってそんなに変わらない。
全部ここら辺で使ってる語彙って、定義が曖昧すぎてますね。ギリシア人の哲学的思索に近いものなんじゃないかと思い始めておりますけど。
有路翔太開始 2:43:27
こういう議論を、何でしたっけ、サイバネティクスとか複雑系とかオートポイエーシスみたいな、[聞き取れず]やるべきな気がしますね。ちょっと抽象的な話になっちゃったんですけど。
前山和喜開始 2:44:21
でも最近の情報の哲学にも、いろんなトレンドがあって。
有路翔太開始 2:44:29
それやると結構、一つ論文か分かんないですけど、エッセイか何かが出てきてもらう気がします。
林央開始 2:44:38
多分、今この世界観を見ている人が少ないので、この先に延長する必要性を感じてる人が少ないんだと思いますね。時速20キロ以上の車みたいな想定をしてる人が少ないので、「なんで速い乗り物に変える必要があるんだろう」みたいな感じの感覚がある人が多いと思うので。そこはすごいギャップがある気がしますね。
前山和喜開始 2:45:00
確かにAI便利なんで、自動でやってくれるみたいな感じの世界線だけで見てると、確かにそうですよね。
話者不明開始 2:45:11
（君が言いかれてるんで？）。
前山和喜開始 2:45:16
僕もこうやって読んだだけだと、「どう読めばいいんだろう」みたいなぐらいに思ってましたけど、ちゃんと時間を取ってこうやって話すと、とても勉強になって。本当に話して、今日はいろいろ学ばせていただき、本当にありがとうございます。
林央開始 2:45:37
僕も、パブリックへのリーチの仕方みたいな話とか、手法の話から始まり、概念の話とか。
話者不明開始 2:45:47
ちょっと気になった、計算ではない。
林央開始 2:45:48
計算の話とか、ある意味で思想的基盤と言いますか、人間が勝手に変な概念（はどれすぎ？）じゃないかみたいな話、結構いろいろ学びになりました。ありがとうございます。
前山和喜開始 2:46:01
こちらこそ、ありがとうございます。
知らないんですけど、この会っていうのはやってるんですか。
有路翔太開始 2:46:08
定期的ではなく不定期に。
前山和喜開始 2:46:11
不定期にやってるんですね。なるほど。
有路翔太開始 2:46:15
結構いろんな方を招いて、AGIピルを（受けとして？）話すっていう会をやってますね。
全専門家の人が必要になるフェーズだと思ってるので。人類文明が変わるってことは、今までの学問全部必要じゃないですか。なので、いろんな人がこういうところで話していただきたいなと思っている。
前山和喜開始 2:46:45
いや、いいですね。すいません、僕は今日あんまり勉強せずに来てしまった。
有路翔太開始 2:46:49
いえいえ。僕らもあんまり（自然知識？）なんか話してるんで。
前山和喜開始 2:46:56
でも、他の動画もちょっと見よう。
林央開始 2:47:00
でも基本的に絶望的に長いので。僕とbioshokがやってる議論とか、6時間と1時間の動画が2本あるんですけど、絶望的に長いので。
前山和喜開始 2:47:12
全然、僕はそういうの大丈夫な人なんで。
有路翔太開始 2:47:17
AIに要約させた方がいいと思いますけど。
林央開始 2:47:19
ちなみに視聴者の方々におすすめいただいた、『（温暖化を発見する？）』みたいな本は、在庫が残り1冊のところ、さっき僕が買ったので、売り切れてるかもしれないです。今見たら残り2点になってるんで、再入荷されたんですかね。早いですね。早いもの順なので。
有路翔太開始 2:47:44
では皆さん、50人以上聞いてくださって、2時間の予定が3時間弱になっちゃいましたが、ありがとうございます。ありがとうございました。
前山和喜開始 2:48:00
僕は全然、むしろすごいウェルカムというか楽しかったので、また。むしろまた機会があれば、全然ぜひやりたい。
