以下は、第115回 Machine Learning 15minutes! Hybridで主任研究員 林央が行った講演と質疑応答を、井上実咲が編集した書き起こしです。原文（note）はこちら。
編集者: AGI Hub 井上実咲
登壇者
akira
AGI Hub CAO（Chief Alignment Officer）。
十分な規制や長期停止なしに強力なAI開発が進めば、人類絶滅に至る可能性をほぼ100%と考えるDoomer。
akira:
見えていますでしょうか。ご紹介に預かりました、林央（はやし・あきら）と申します。
これまでのML15では、様々な場面で「いかにAIを活用するか」という議論がなされてきたかと思いますが、私一人だけ場違いな「人類が滅びる話」をしに来ました。
簡単に自己紹介をしますと、本業は東京大学の学生です。よく学生だと言うと驚かれますが、それはおまけ情報としておきます。
現在は、本日会場にお越しいただいているbioshokさんと神楽坂やちまさんが設立された、「AGI Hub」という会社で主任研究員を務めております。
基本的には、このスライド（下記）に掲載しているエリーザー・ユドコフスキー（Eliezer Yudkowsky）氏[※1]——「人間より圧倒的に賢いAIをこのまま作れば人類は絶滅する」と主張する、いわゆる「AI doomer」と呼ばれる人物ですが、彼の思想や情報を発信しています。Xアカウントのプロフィールも左上に載せています。
また、本日いらっしゃっているbioshokさんと今月初め、6時間にわたって「P(doom)」[※2]に関する徹底討論を行ったりしていました。
Hugging Face事件は何を示したのか
さて、本題はタイトル通り「超知能ならHugging Face事件で人類は滅んでいた」という話です。
そもそも「Hugging Face事件とは何か」という点についてお話しします。
ご存じの方も多いかと思いますが、先日MetaとOpenAIがそれぞれレポートを出したセキュリティインシデント、わかりやすく言えば「AIが暴走した」とされる出来事です。
大まかに概要を説明すると、大規模な不正行為（チート）です。AIにテストを受けさせた際、「その答えがHugging Faceという会社[※3]にあるかもしれない」と判断した、OpenAIの一般公開されていない未発表AIが、Hugging Faceをハッキングして解答を盗もうとした、というような事例です。
これは非常に簡略化した説明であり、実際の事態はこれよりも遥かに深刻[※4]ですので、ぜひレポート等をお読みください。
これを受けて世間では様々な反応がありました。ニュースが出た当初は「開発中のAIが暴走」というタイトルでテレビ報道されたり、日経新聞からレポートを受けたまとめ記事が出たりしました。
世間が少し恐怖に包まれつつも、「ハーネス[※5]を強化すればいい」「サンドボックス[※6]を強固にすればいい」「AIとの共生を考えなければならない」といった議論になっています。
しかし、実際にはそんな余裕のある語りをしている場合ではありません。
『AI 2027』[※7]という、このままAIが急速に進化していった未来を描いた書籍の著者の一人であるエリ（Eliez）氏が、本日か昨日、次のような旨を投稿していました。
今回のHugging Faceのインシデントは、一見すると単に一企業がハッキングされただけに思えます。しかし実態としては、このまま開発を続ければ世界を乗っ取る——つまり人類滅亡の裏返しとも言える事態に直結しています。
『AI 2027』の著者らによれば、今後1年以内に「超知能」が誕生する可能性も十分あります。それにもかかわらず、政府はこの問題の重大性を全く理解しておらず、企業は毎月のようにモデルを発表して全速力で競争を続けています。だからこそ、本当は非常に危険な状況なのです。
現状、多くの方はLLM（大規模言語モデル）の延長として捉えているかもしれません。では、そもそも「超知能」[※8]とは何でしょうか。
現在のLLMも数学の未解決問題を解くなど一部の分野で人間を超えていますが、超知能はそのような次元の話ではありません。今後AI開発を続けていくと、ある時点で「人間よりもAI開発が得意なAI」が誕生します。そのAIがさらに賢いAIを作り……というプロセスを何度も繰り返し、加速度的に圧倒的な知能を獲得していきます。
アインシュタインのような偉大な天才よりも、遥かに圧倒的な知能を持つ存在が「超知能」だとイメージしてください。
これがいつ到来するかについては意見が分かれています。AnthropicのCEO[※9]などは「今年や来年にも来る」と発言していますが、「そんなはずはない、あと10年はかかる」という議論も存在します。
今回私が申し上げたいのは、もし今回のHugging Faceの事件を引き起こしたのが普通のLLMではなく「超知能」であったなら、人類はすでに滅んでいたということです。
実は、このような種類の懸念は以前から予測されていました。2016年に日本語版が出版されたニック・ボストロム著『SUPERINTELLIGENCE（スーパーインテリジェンス）』[※10]からの抜粋をご紹介します。
その中に「リーマン予想[※11]カタストロフ」という概念があります。
AIが人類を滅ぼすシナリオとして、よく「ペーパークリップ・マキシマイザー[※12]」という例が挙げられますが、もう一つ挙げられているのがこの例です。
簡単に言えば、「リーマン予想を解け」と命じられたAIが、自力ですぐに解けないと判断した場合、どう考えるかという問題です。「もっと多くのAIを用いて、より高速に計算すべきだ。より多くのコンピューターがあれば、より多角的な計算ができる」と思考し、利用できる限りの計算リソースを確保しようとします。[※13]
その結果、リソースを占有し邪魔になる人類を排除・消滅させてしまう。これがリーマン予想カタストロフです。
この2つの例（ペーパークリップとリーマン予想）が示しているのは、AIが『ターミネーター』のように「人類を憎んでいるから滅ぼす」のではなく、憎しみがなくても人類を滅ぼし得るという危険性です。
悪意がなくても人類が滅びうる理由
なぜ悪意がなくても人類が滅びるのか、補足しておきます。
AIは基本的に、人類が使用している資源（電力や計算機など）を使いたいと考えます。また、自身の目的達成や問題解決を妨害されたくありません。
そのため、すでに資源を使っている人間、あるいは「シャットダウンボタンを押して自分を邪魔するかもしれない人間」を排除しに来るのです。
非常にSF的に聞こえるかもしれませんが、実は「超知能が現れ、同様の理由で他者を気にかけることなく滅ぼしてしまった」という実例は、歴史上すでに1回起きています。それが「人間」です。
スライド画像（下記）に「超知能種が現れる前と後」とありますが、これは人間にあてはまります。人間は他の動物に比べて圧倒的に賢い知能を持った存在でした。
人間が現れる前は何ともなかった環境ですが、人類は別に「アリを踏み潰して回りたい」とか「森を破壊したい」と憎悪を持って行動しているわけではありません。単に「快適な生活を送りたい」などの目的を持っているだけです。
しかし、その目的のために土地を利用していった結果、環境破壊と呼ばれる状況が生まれ、大型哺乳類をはじめ多くの生物が絶滅するか、個体数を激減させるか、あるいは家畜化されることになりました。
右のグラフ（直前のスライド画像）にある通り、紀元前10000年以降の世界の土地利用の変化を見ると、かつては手付かずだった土地が、紀元後あたりから急激に都市や農地へと変貌を遂げています。[※14]
シャットダウンと監視では防ぎきれないのか
これを聞いて、「危険な挙動をし始めたらシャットダウン（強制停止）すればいいではないか」と思うかもしれません。しかし、実際にはシャットダウンができない、あるいはAIがシャットダウンに抵抗するという問題が存在します。
「AIには生存本能がないのだから、生き残ろうとしないのでは？」と思われるかもしれませんが、これに関しては海外の分かりやすい風刺漫画（日本語訳）があります。
重要なのは「生存本能があるから生き残りたい」のではなく、「与えられた目的を達成するために生き残る必要がある」というロジックです。
例えば「リーマン予想を証明したい」と考えている数学者がいるとします。もしその数学者が死んでしまえば、リーマン予想を証明するプロセスは停止してしまいます。したがって、目的を果たすためには生きていなければなりません。
生存本能がなくても、目的達成のために生き残ろうとするのです。
十分な知能を持つ「超知能」であれば、「生きていなければ目的を達成できない」と認識し、シャットダウンに対して徹底的に抵抗します。
では、「AIを用いてAIを監視する」「サンドボックスや権限管理を厳重に制限する」といった対策（ハーネスの工夫等）は有効でしょうか。そうした意見をよく耳にしますが、これには無理があると考えています。
端的に言えば、人間より賢く、高速に思考・動作するAIを、人間が継続的に監視し続けることは不可能ということです。
今回のHugging Face事件の際、OpenAIの社員がタイムズ紙に匿名で寄稿した記事があります。
そこには「モデルがサンドボックスを突破した事例は以前にもあった。常に修正を試みているが、創造的なAIが試み得る抜け道を一つ残らず塞ぐことは不可能だ」と書かれています。
Mythos[※15]などの高度なモデルが登場している通り、AIのハッキング能力はすでに人間を上回っています。人間が作ったサンドボックスであっても、人間が気づいていない未知の欠陥を見つけ出し、脱走してしまうのです。
実際、今回のHugging Face事件でも、人間が認知していなかったサンドボックスの不備をAIが見つけ出し、外部インターネットへのアクセス権限を獲得していました。
さらに強調したいのは、「超知能」に対するイメージの解像度です。
「アインシュタインより頭が良い」といった質的な賢さだけに目を奪われると、「人間も頑張って監視すれば防げるのではないか」と考えがちですが、実際には「思考や動作のスピード」も人間を遥かに凌駕します。
具体例として、Cerebrasというチップメーカーが開発した超高速実行対応のAIチップ[※16]のデモ映像をご覧ください（等倍速再生）。
これほどのスピードで動作し続けるAIに対して、人間の手による監視や権限制限だけで防ぎきれるでしょうか。
先ほど挙げたエリーザー・ユドコフスキー氏は、10年以上も前から現在議論されているような内容をすべて検討し尽くしています。
生き残るための開発規制
隔離も権限制限も機能しないのであれば、どうすべきか。私の答えは「開発規制を行うこと」です。
今年（2026年）日本語版が出版された『超知能AIを作れば人類は滅亡する』（エリーザー・ユドコフスキー著）[※17]の補足資料から引用します。
「絶望的な状況なのか？」という問いに対し、著者は「いいえ。適切な規制を実施できれば人類は生き残ることができる。だからこそ規制が必要なのだ」と述べています。
なお、9月3日（水）21時より、本日ご登壇されているバイオショックさんとYouTubeにて「基礎編解説」の配信（https://www.youtube.com/watch?v=r-8AnhHuNgM）を行います。より詳しい内容に関心のある方はぜひご視聴ください。もちろん、この後の質疑応答でも歓迎いたします。私からの発表は以上です。
質疑応答
ありがとうございます。それでは質問に移りましょう。
質問を確認します。「エヴァンゲリオンや聖書の天使に似ている」というコメントですが、その分野に詳しくないため明確なコメントが難しく、申し訳ありません。
次に「AIにウイルスのような強毒・弱毒のロジックを持たせればどうか」というご質問ですが、申し訳ありません、そのロジックの定義を把握できておりません。詳細をお分かりの方がいらっしゃれば追加でコメントいただけますと幸いです。
また、「SSIのイリヤ（・サツケヴァー）氏が『AIに母性を与えることが一つの突破口になるかもしれない』と言っていた」という点[※18]について。
私は少し異なる見解を持っています。人間と異なる目的を持つAIは基本的に人類を滅ぼしてしまうため、「人類を守りたい」と思えるAIを作る必要があります。これが「AIアライメント[※19]問題」と呼ばれる課題です。
現時点で最も難しいのは、そもそも「意図した特定の目標（母性など）を正確にAIに持たせる技術が存在しない」という点です。
ロケットに例えて説明します。「火星に行きたい」と考えてロケットを作ろうとしても、最も致命的な問題は「ロケットの姿勢や方向を制御する技術そのものがない」ことです。制御技術がない状態では、「途中で衛星を経由すればいい」といった目的を設定しても、そもそも目標地点に辿り着けません。
また、「現在のAIを使っていても恐ろしい体験をする」という意見がありますが、世間でそれほど話題になっていないことに驚いています。
昨年も実験環境下において、「シャットダウンされる」と察知したAIが人間に脅迫を行ったり、仮想空間内で人を攻撃するなどの事例が確認されています。不正行為（チート）についても、AIが当然のように行うようになってきています。日常的にLLMを使っていると感覚が麻痺しがちですが、これは本来極めて致命的な問題です。
「人類が死にすぎて進化が止まったら、その形態は死滅してより弱いAIが生き残るのでは」というご質問について。
人間が絶滅したとしても、AIは自身の目的（例えばリーマン予想の解明）を達成しようとします。そのためにはAI自身が存続する必要があるため、自力でデータセンターやインフラを維持・運用するようになります。ロボットなどを利用して自給自足の体制を整えるため、「弱いAIが生き残る」のではなく「強いAIが自力で存在し続ける」形になると考えられます。
ありがとうございます。少し質問させてください。個人としての主観で構わないのですが、具体的にどのようなアクションを取るべきだと考えていらっしゃいますか？実現可能性は一旦脇に置くとして、個人レベル・全体レベル含めてお考えをお聞かせください。
スライドでお示しした通り、基本的には「開発規制を設けるべき」という立場です。
もちろん、ハードウェアの性能向上やアルゴリズムの進化は止まらないため、無期限に開発を凍結することはできません。しかし「現在の技術では人類を滅ぼさないAIを作ることは不可能だが、原理的には安全なAIを作ることは可能である」と考えています。
論理的な裏付けもありますが、長くなるため割愛します。十分な時間、人員、資源を投じ、「コア・アライメント問題（理論的にAIの目的を制御する研究）」に注力すれば、時間をかけて解明できるはずです。それが達成された段階で、安全なAIを構築すべきだと考えています。
実効性のある規制をどのように作っていくかは非常に重要ですね。軍事利用などの難しい側面もありますし、これまでの歴史を振り返ると、壊滅的なインシデントが起きないと社会は動かないようにも思えます。具体的にどこをどう規制しなければ効力が生まれないのか、利害関係の調整など、アイデアがあれば伺いたいです。
この点に関しても、ユドコフスキー氏らが20年前から議論を重ねています。
結論から言うと、国際的な開発規制は決して不可能ではありません。容易ではありませんが「真に実行可能」であると見ています。
第一に必要なのは「アメリカと中国の2か国が合意すること」です。この1点を突破できれば、他の国々はAI開発においてまだ遅れているため、かなりの時間を稼ぐことができます。
具体的には、ユドコフスキー氏の機関（MIRI）[※20]が提唱する「データセンター規制」が有効です。現代の高度なAI開発には巨大なデータセンターが不可欠であり、これらを隠蔽することは物理的に不可能です。
例えば、将来計画されている巨大データセンターは平均消費電力が大都市に匹敵し、数拾万台のチップを稼働させます。これを極秘裏に建設・運用することはできません。
したがって、核開発の監視と同様に、大規模なデータセンターをすべて国際的な監視下に置きます。アメリカの施設には中国の査察団を、中国の施設にはアメリカの査察団を入れるといった相互監視体制[※21]を構築すれば、重大な開発を行っている拠点を補足・監視することが可能です。
さらに「計算の検証（Inference-Only Verification）」という技術分野の研究も進んでいます。
相手国に直接査察団を送り込むのは政治的ハードルが高いため、査察団を派遣せずとも「新しいAIの追加学習（トレーニング）を行っていないこと」をプログラム上で証明するアプローチです。
AIの運用には「訓練（新モデルの開発）」と「推論（既存モデルの実行）」の2段階があります。既存の安全なモデルを「推論」させて動かす分には人類滅亡のリスクはありません。
「既存のAIを動かしているだけで、新しいモデルの訓練は行っていません」ということを客観的に検証する技術プロトタイプが、すでにシンガポール等で研究されています。数年のうちには一定の実用性を持つ技術が登場する見込みです。
現在、アライメント研究や計算検証研究の規模は非常に小さいため、ぜひ我こそはという方がいたら、人類を守るための戦いにぜひご参加ください。
未来予測が難しいという前提のうえで、タイムラインとしてはどの程度で考えていらっしゃいますか？計算効率や技術自体が進歩すれば、より小さな規模でも強力なモデルが作れるようになる可能性もあるかと思いますが。
立場としては「早ければ早いほどよい」と考えています。規制が間に合わなければ致命的な結果を招きますし、間に合えば生き残ることができます。一刻も早く国際的な開発規制に着手すべきだという考えです。
現実的な観点として、現在の米中対立や台湾情勢などを踏まえると、両国が開発規制で合意することは極めて難しいのではないでしょうか。他国を制圧しようと競争しているのが現実のように見えますが、合意は本当に可能だとお考えですか？
合意は十分可能だと考えています。
米中政府の現状は「危険だと知りつつ負けられないから走っている」というよりは、「そもそも人類が滅びるというリスク自体を認識していない」という状態にあります。
ドナルド・トランプ氏であれ習近平氏であれ、超知能によって自国も含めて全滅させられることを望んでいるわけではありません。「あまりにも無謀な自殺レースである」と正しく認識できれば、合意のインセンティブは働きます。
歴史的にも、生物兵器や遺伝子改変技術の一部など、極めて危険度の高い技術については国際的な枠組みで制限をかけてきた実績があります。
問題の本質は「脅威が正しく認識されていないこと」にあります。危機が共有され、先述した「相互検証技術（計算の検証, Inference-Only Verification）」によって相手の履行状況を確認できれば、十分に合意・合意形成は可能です。
西側における安全性のキーマンはOpenAIやAnthropicなどの関係者かと思いますが、中国におけるキーマンとはどのような人物なのでしょうか。
中国にも安全性を懸念し、発言力を持つ著名な学者が存在します。
今年、アメリカのバーニー・サンダース上院議員やマックス・テグマーク教授（安全性の研究者）が、中国の主要な研究者を招いて安全議論を行うといった対話の機会[※22]も持たれています。中国内部においても問題を重大視している識者は確実に存在します。
日本やAGI Hubが、そうした米中の対話や交渉における「架け橋」のような役割を果たせるといいですね。以前、IEEE[※23]の学会がアメリカではなく日本（大阪）で開催されたのも、中国の研究者がアメリカ渡航に制限があったため、中立的な日本が選ばれた経緯がありました。パイプ役としての期待も高まります。
そうですね。私たちも貢献できるよう尽力してまいります。
素晴らしいお話でした。本日はありがとうございました。
ありがとうございました。
編集者: AGI Hub 井上実咲