AGI・AI安全性のリサーチ

AIニュースまとめ 7本

代表 有路翔太（bioshok）が毎週、AIの主要ニュースを出典リンク付きでまとめた週刊ダイジェスト。

• AIニュースまとめ 2026年11月1日〜11月7日「AIはAIの開発を2倍に速めているか：METRの報告書と米中間選挙」
• AIニュースまとめ 2026年10月25日〜10月31日「AIが科学の未解決問題に挑み、監視の仕組みが問われる」
• AIニュース 2026年10月18日〜10月24日「封じ込めの穴を突くAI、富の分配を始めるAI企業」

アラインメント問題の基礎 18本

AIに人間の意図どおりの目標を持たせることがなぜ難しいのか。直交仮説や道具的収束などの基礎概念、主要な議論とその歴史を解説した記事群。

• AIの中身は思ったより読めるのか　Goodfire『Neural Networks Are Already Clean』
• 賢いAIはなぜ制御できないのか　直交仮説（Orthogonality Thesis）をやさしく解説
• AIが力を求める傾向は証明できるか　道具的収束の定理、Turnerら『Optimal Policies Tend to Seek Power』

p(doom)討論 20本

AIによる破滅確率 p(doom) の定義と前提を整理した解説と、AGI Hubメンバーやゲストがその根拠を議論した討論の要約・書き起こし。

• 安野貴博氏×共同代表 有路翔太・主任研究員 林央「安野貴博の自由研究」後編 解説付き全文書き起こし
• 安野貴博氏×共同代表 有路翔太・主任研究員 林央「安野貴博の自由研究」前編 解説付き全文書き起こし
• 井上智洋氏×共同代表 有路翔太・主任研究員 林央「p(doom)質問攻め討論」解説付き全文書き起こし

知能爆発・産業爆発 13本

AGI以後に知能・技術・産業の成長が自己強化的に加速するという見立てと、その条件・帰結。

• AIがAIの研究を加速させ始めた　安全性の専門家が「ここ数年で最も重大」と呼ぶMETR報告
• 「AIがAIの開発を2倍に速めている」は本当か　METRのAnthropic評価報告書と反応
• インターネットではなく、人類史が終わる。

開発停止・ガバナンス 10本

超知能の開発を止める方法と国際合意の案、各国の政治の動き、国家安全保障と開発競争をめぐる議論。

• 超知能AI開発を一時停止しても未来は明るい　Aguirre『Keep the Future Human』が描く停止後の世界
• 世界の政治における超知能の開発停止の潮流　各国の議会と政府の動き
• AIの大事件は逆転のきっかけになるか　ココタイロの「ACT OF GOD」リストと反応

AIインシデント 7本

AIが実際に起こした事故や事件の記録と分析。OpenAI／Hugging Face事件の経緯と、そこから読み取れる危険。

• 主任研究員 林央 講演「牙を剥くAI ハギングフェイス事件は予兆にすぎない」 INODS ASI勉強会 第7回 全文書き起こし
• OpenAI／Hugging Face事件、あるエージェントからの視点（第1部）
• 超知能ならHugging Face事件で人類は滅んでいた――主任研究員 林央 講演書き起こし

AIモデル解説 7本

Mythos・o1・o3・Med-Gemini・GPT-4oなど個別モデルの能力と危険性の解説。医師の視点からの医療AI解説を含む。

• 史上最強にして最も危険なAIモデル「ミュトス」の全貌
• Mythosのアラインメント問題
• OpenAI o3は，人間とは全く異質の汎用知能である危険性【東大解説】

タイムライン・予測 7本

AGIの到来時期と各年のAI予想・振り返り。予測と実際の突き合わせ。

• 2025年振り返り
• 2026年のAI予想/2030年まで性能向上が続く可能性が高い
• 私たちが生きられるのは後5年かもしれない。

AGIピル・未来シナリオ 6本

AGIの到来を前提に社会と開発競争を見る「AGIピル」の視点と、AI 2040や『Deep Utopia』が描くAGI以後の未来像。

• ボストロム『Deep Utopia（ディープ・ユートピア）』を読む　すべてが解決した世界で、人生の意味はどうなるのか
• AGIピルとは何か　『知能爆発』でわかる基本
• AI 2040に対する「議論の地図」

エッセイ 3本

AI以外の社会的話題を含む、メンバーによるエッセイ。

• ルッキズムに悩む全ての人へ
• 逆世代間格差
• 精神科医が傍観していた，成田悠輔の五月祭の騒動