以下は、AGI Hub Researchが編集した、共同代表 有路翔太・神楽坂やちまと主任研究員 林央による社内Discordの議論ログです。
この議論ログについて
2026年9月22日、AGI Hubの社内Discordのチャンネル「rsi_ai-rnd_bottleneck」で、共同代表 有路翔太（bioshok）、共同代表 神楽坂やちま、主任研究員 林央（akira）が、再帰的自己改善によるテイクオフがどれほど速く進むのか、そして超知能は現実世界での実験や検証なしにどこまで能力を高められるのかを議論しました。朝6時台に始まり、夕方の中断をはさんで18時過ぎまで、約400件の投稿が交わされています。
本記事は、その3人の発言をAGI Hub Researchが編集した記録です。ほかの参加者の発言は除いているため、一部に文脈がつながりにくい箇所があります。発言は言い換えず、同じ人が数分以内に続けた投稿を一つにまとめ、明らかな誤字だけを直しています。用語の注釈はAGI Hub Researchによるもので、発言者の見解ではありません。各発言の時刻は日本時間です。
議論の主張と関係を論点ごとに整理した「議論マップ」を、記事の最後に載せています。
登場する3人
有路翔太（bioshok）
AGI Hub共同代表。著書『知能爆発』（講談社）。この議論では、Forethoughtの論考を持ち込み、テイクオフを約3年とみる自身の立場から、両者の主張を整理します。
プロフィールを見る →
神楽坂やちま
AGI Hub共同代表。テイクオフは速い（ファスト）が、不連続に跳ね上がる（ハード）ものではないという立場。能力を上げるには性能の評価・検証が欠かせず、それには現実世界が必要だと主張します。
プロフィールを見る →
林央（akira）
AGI Hub主任研究員／Chief Alignment Officer。超人的な水準を越えると、数日でハードウェアの限界まで能力が上がるという中心推定を示し、蓄積されたデータと既知の法則だけで、人類を滅ぼせる水準の技術に追加の実験なしで到達できると主張します。なお林央によれば、自身の絶滅論はこの見方に論理的に依存しておらず、この見方に特に強い自信があるわけでもありません。
プロフィールを見る →議論ログ（敬称略）
Forethoughtの新論考と「ファスト」「ハード」テイクオフの違い（6:12〜7:31）
有路翔太
06:12
https://www.forethought.org/research/data-bottlenecks
神楽坂やちま
06:16
おおー！Dwarkesh Patelとレスバしてた奴かな？ここに出すまでになったんですね
やちまが「非連続には成長しない」って言ってた理論の反論側ですね
以前はDwarkesh側が有利に見えてたけど，今回でどうなってるのか気になりますね
有路翔太
06:26
Dwarkesh 最近ファストテイクオフ寄りになってきてる感じします
この数ヶ月でw
神楽坂やちま
06:27
おー
やっぱインシデントの実例が出てきたからかなぁ
クソデカインシデントｗ
06:33
とりあえず斜め読みした感じ，やっぱ評価検証の難しさをナメてそうだなーという印象
いくら学習がスピーディになっても！性能評価はなかなか加速できないんだよ！というおきもち
有路翔太
06:34
Ryan greenblattの回で結構意見変えたみたいですね
神楽坂やちま
06:34
ほうほう
有路翔太
06:34
それも読むといいかも
https://www.dwarkesh.com/p/ryan-greenblatt
でもそもそもやちまさんってファストテイクオフ寄りじゃなかったでしたっけ？
神楽坂やちま
06:36
ファストだけどハードではない，ですね
有路翔太
06:36
あーーー
神楽坂やちま
06:36
そこは区別してる派です
有路翔太
06:36
ハードテイクオフとは言ってないですよ
この人たち
もともとdwarkesh patelはスローテイクオフ寄りだったのが
ファストテイクオフ寄りになってきてる
という感じです
神楽坂やちま
06:37
なんですかねぇ？
有路翔太
06:38
というかAI2027とかに批判的だったのでdwarkesh patelは
そしてai2027はハードテイクオフではない
神楽坂やちま
06:39
ですね
有路翔太
06:40
むしろやちまさんの感覚のファストテイクオフ正しいという話が色々でてきてるだけで
ハードテイクオフが正しい（非連続な感じのやつ）という話は出てきてない
と思いますね
神楽坂やちま
06:44
Tom Davidsonの今回の書きっぷりは，やっぱハードテイクオフを意図してるようにも見えるんですよねぇ
有路翔太
06:47
基本tom Davidsonが念頭に置いてる論敵は
Mechanizeなので
昔からレスバしてるのはスローテイクオフのege tamayに対していやもっと速い可能性があるってこの2年くらい言ってるんですよね
だからその文脈かなぁというのと
データ収集に数ヶ月以上かけれらいける
みたいなのも書いてるので
ハードテイクオフだとそれは遅すぎる
という感じはしますね
彼の中心予測は数年
のテイクオフだという感じではあると思いますね
神楽坂やちま
06:53
数ヶ月かけるにしても，他のことと並行して進めることもできるっちゃできるんで，これだけだとちょっとなんとも言えないですねｗ
有路翔太
06:54
ハードテイクオフってでも数日とかのイメージだったんですけど
そもそも定義がヤチマさんと僕で違うのかな
神楽坂やちま
06:56
〔神楽坂「数ヶ月かけるにしても，他のことと並行して進めることもできるっちゃできるんで，これ…」への返信〕
あ，これはちょっと屁理屈すぎましたｗ漸減撤回でｗ
数日とかってイメージはわかります
あとはそもそも，ハードかソフトかはどっかで明確に区切れる話ではなくて，グラデーションでしょう，というまさに定義問題ですね
まとめると，Tom Davidsonは，真にハードではないにしても，まだハード寄りな立場に見えます
有路翔太
07:01
いちおうら
〔Forethoughtの論考の該当箇所のスクリーンショットを共有〕
〔Forethoughtの論考の該当箇所のスクリーンショットを共有〕
Tom Davidsonの見解はAI2027シナリオくらいのファストテイクオフが起こる確率は20%
と言ってたので
https://www.forethought.org/research/how-quick-and-big-would-a-software-intelligence-explosion-be
去年の段階からめちゃくちゃ意見を変更してない限りは
AI2027やダニエルココタイロ寄りは保守的な立場だとは思ってますね
神楽坂やちま
07:05
おおーそれはちょっと意外だったかも，あざます
あとは，それほどファストじゃないにしても，ハードかどうかはまた別であるという話と，
そもそも知能爆発って，本来の定義は，ハードテイクオフのことを指すんじゃなかったっけ？っていう
有路翔太
07:07
ForethoughtがいってるSWE（ソフトウェア知能爆発）は基本1年前後のテイクオフを想定してることが多いですね
神楽坂やちま
07:08
（SIEじゃないですかね（））
有路翔太
07:08
あ
SIE
まぁでも定義は
その場その場でかわりやすいので
そもそも知能爆発をフォアソートは
物量的な意味でも
使ってますしね
工場とか
産業爆発とかの関係のやつで
神楽坂やちま
07:09
ですねぇ
有路翔太
07:10
再帰的自己改善
はわりとソフトウェアオンリー
神楽坂やちま
07:12
問題は，本当に"ソフトウェアオンリー"でRSIが可能かどうか，という点ですね
AIとしてはソフトウェアだけでも
評価検証に現実世界が必要である可能性が高い
評価検証をしないで開発を進めていってもいいけど，方向性がどんどんずれていっちゃっても気付けない
目をつぶって歩いてるようなもの
有路翔太
07:18
ヤチマさんはどれくらいのテイクオフ
だと思ってるんでしたっけ
神楽坂やちま
07:20
AI2027かTom Davidsonくらいかなぁ
でも論調は逆転してるというｗｗ
有路翔太
07:25
1年でテイクオフするとしたらほとんど計算資源を増やせないので、ソフトウェアオンリー知能爆発の意味は、現実世界とインタラクションしないという意味ではなくて、固定計算資源でテイクオフするという意味である
とはいえそう
3日とかだと現実世界とインタラクションできなさそうだけど
ハードテイクオフの場合は、ほんとに内部だけで凄い能力が高まるイメージですね
ファストテイクオフはめちゃくちゃはやいんだけど、現実世界とも関わってる感じ
神楽坂やちま
07:27
ですね，自分もそんなイメージ
有路翔太
07:30
僕の立場はtom Davidson
と結構近い
三年くらいかなーみたいなノリ
神楽坂やちま
07:31
なるほ
林央の中心推定：アラインメントがテイクオフを律速する（15:56〜16:16）
有路翔太
15:56
@林央
林央
15:58
中心推定はこんな感じですね
すごい自信があるわけではないですが
神楽坂やちま
16:00
まーYud流派だとそうなりますよねぇ
林央
16:00
まあ正確にやろうとするともっと色々出てきますが…
神楽坂やちま
16:01
細かな障壁が，とかですかね？まぁまぁそうでしょうね
林央
16:01
と言うより
アラインメント障壁
とかですね
神楽坂やちま
16:02
ふむ
有路翔太
16:02
いやぁAKIRAさん素晴らしいなユドコウスキーと日本語で話せる感じで
全てが凄い積極的な立場で良い
神楽坂やちま
16:03
MIRIのSlackに入ってるならYudとの同期も強まりそうだｗ
林央
16:03
〔林「アラインメント障壁」への返信〕
AIが次のAIをアラインメントする技術を開発する速度によって
テイクオフ速度が律速される(次のAIをアラインメントできる技術が開発できるまでは、より強力なAIは開発しない)
と言うことですね
神楽坂やちま
16:04
規制する前提においては，ですかね？
林央
16:04
いや
ミスアラインドな超知能を作る話ですねこれは
神楽坂やちま
16:04
ほお？？？
林央
16:05
ミスアラインド超知能には自分の後継の超知能が自身にアラインメントされている必要が道具的にあるので
神楽坂やちま
16:05
あーそっちかなるほど
林央
16:05
なので最初はアラインメントを解かなくても良い改善(例えば実行アルゴリズムの高速化など)
をすると思うのですが
そこからさして時間をおかずにアラインメントを解けるかは謎です
神楽坂やちま
16:07
すると逆に言えば，人間滅亡の方向にミスアラインドなASIが，そのままの方向にずんどこ進化していくわけではなさそう，とも言える
林央
16:08
いやそれは自分の主張ではないですね
神楽坂やちま
16:08
？？？ｗ
なるほ
林央
16:08
抽象的に述べれば
人間の目標がGh、ミスアラインドなAIの目標がGaだとしたら
有路翔太
16:09
100万体の天才エージェント（フォンノイマン級）が100倍速で考えたら、数日間は1年に該当しますし、人間の天才を上回ってる様々な記憶の共有方法やあらゆる分野に対する理解もあると考える（ギザギザな知能なのでAI研究に於いてはもっと優れてるかもしれない）。
そうするとアライメントが数日で解かれるみたいなイメージですかね
林央
16:09
〔林「人間の目標がGh、ミスアラインドなAIの目標がGaだとしたら」への返信〕
次の世代のAIの目標もGaになるように”アラインメント”する必要があるので
16:09
〔有路「100万体の天才エージェント（フォンノイマン級）が100倍速で考えたら、数日間は…」への返信〕
ですね
16:11
〔林「ですね」への返信〕
というか普通にやることとして、アルゴリズム改善による自身の実行速度の改善とかもあるので
100倍速より上になると思いますね実際は
実験なしで化学や生物学は進められるか（16:12〜16:47）
神楽坂やちま
16:12
まーお気持ちはわかるんですが，哲学系の人たちは，どうしても学習や推論のほうばっか重視しちゃう印象ですね
その結果が正しいかどうか，検証が大変なんですよ
昔は小学校の問題で良かったのが，今や人類の未解決問題でしょう
今後もっともっと検証が大変になりますよ
有路翔太
16:14
といってはいるけど、やちまさんも世間から見たらファストテイクオフ派閥という
神楽坂やちま
16:14
あいｗｗｗ
有路翔太
16:14
大変になりますよ（1年あれば超絶知能）
みたいな感じですよねw
神楽坂やちま
16:14
ｗｗｗ
有路翔太
16:16
〔林「ですね」への返信〕
この場合人類が絶滅するのは4日後とか
そういう感じの中心イメージ
ですかね
林央
16:16
ですね
神楽坂やちま
16:18
数学とかコーディング以外は，性能評価に多少なりリアルワールド関わってくるからなー
4日はさすがに難しいんじゃないかと
林央
16:20
それだと
人間は実験によって非常に時間をかけて初めて化学能力を身につけることになりませんか
神楽坂やちま
16:21
ほうほう？？
林央
16:24
〔林「人間は実験によって非常に時間をかけて初めて化学能力を身につけることになりませんか」への返信〕
人間が化学を学ぶときに、実験をしなくとも、教科書を読むとか講義を受けて問題を解くなりで、かなり学べ、さらにそれを用いてコンピューターシミュレーションを構築したり、実際にコンピューターシミュレーションしたりしなくても簡単な範囲であれば(ex 複雑すぎない有機化学の合成経路など)思考によって、自力でフィードバックを構築できますよね
神楽坂やちま
16:24
そうですねぇ
林央
16:25
yatimaさんはテイクオフの形として、人間が今使っている訓練スタイルをそのまま使い続けることを仮定していませんか
神楽坂やちま
16:26
絶対違うとは言えませんが，基本的には自然の構造に由来する不可避なものという認識ですね
林央
16:26
その主張には
16:26
〔林「人間が化学を学ぶときに、実験をしなくとも、教科書を読むとか講義を受けて問題を解く…」への返信〕
これが反例になりませんか
神楽坂やちま
16:26
ならないです
ある程度の効率化ができるってだけですね
林央
16:27
フォンノイマンに
実験を禁止しても
相当な化学的成果を残せたと思いますが
神楽坂やちま
16:27
そうですね
林央
16:28
とすると相当超人的な領域にまでは行くのでは？
神楽坂やちま
16:28
でもたまにはリアルワールドも交えて検証しておかないと，性能向上の方向性がドリフトしていっちゃっても気付けないので
林央
16:29
しかし既存の法則や知識に矛盾しないことは
神楽坂やちま
16:29
〔林「とすると相当超人的な領域にまでは行くのでは？」への返信〕
そこは程度の問題かな
今ある情報だけだと何ともわからんですね
林央
16:29
〔林「しかし既存の法則や知識に矛盾しないことは」への返信〕
確認できますよね
神楽坂やちま
16:29
はい
林央
16:30
それは相当強い範囲に
制限をかけると思いますが
神楽坂やちま
16:30
〔林「相当な化学的成果を残せたと思いますが」への返信〕
んー訂正，化学はあんま進められなかったと思います，実験なしでは
林央
16:30
だとしたらそれがあまりわかりません
神楽坂やちま
16:31
化学とか生物学とか，めちゃくちゃ複雑系で，予測困難なことばっかですよ
数学とか物理学とかとはわけがちがう
林央
16:31
それは
人間にとって
ではないですか？
神楽坂やちま
16:32
とりあえず人間にとってはですけど，少なくともAIにとっては違うとまでは言えないですよね
林央
16:32
既存の現象と
既存の法則
神楽坂やちま
16:32
〔ほかの参加者の発言への返答〕
ある程度しか
林央
16:32
の範囲でかなり攻められると思いますが
神楽坂やちま
16:33
やっぱ程度問題だなぁ
林央
16:33
むしろ生物学では何が起きるかわかってない
というのはそれを支持する側の証拠では？
神楽坂やちま
16:33
akiraさんは，複雑系についてどれくらい知ってますか？
林央
16:33
そこまで
知らないですね
神楽坂やちま
16:34
じゃあ多少なり学んどいたほうがいいかも
林央
16:34
じゃあ
知識問題を無視して
反論を述べてみてください
神楽坂やちま
16:35
複雑系ってね，ちょっとした変化にすごく敏感で，
宇宙全体の原子を使っても，一ヶ月先までしか予測できないとか，それくらいの温度感なんですよ（具体的な数値はガバガバだが）
林央
16:37
それは
カオス系の話だと思いますが
それは
その後の主張を支持するのに弱すぎると思います
神楽坂やちま
16:37
ほうほう？
林央
16:37
そもそも本当にそのレベルのカオス系なものが議論の対象なら
実験すら役に立たないのでは？
微小な初期条件の違いが増幅されることで大幅に予測不能になり、観測の圧縮があまりに困難な領域では
16:39
〔林「微小な初期条件の違いが増幅されることで大幅に予測不能になり、観測の圧縮があまりに…」への返信〕
実験しても
その結果を他の条件に転用できないですよね
神楽坂やちま
16:40
まぁそれでもいいですけど，であれば尚更，性能の向上は容易じゃないですね
林央
16:40
とすると
実験をすることによって
達成可能な範囲のほとんどは
達成可能になりますよね？
つまり実験ボトルネックはかなり弱体化してると思いますが
神楽坂やちま
16:42
〔林「その結果を他の条件に転用できないですよね」への返信〕
ここが違うかな
カオス系って，元の式はシンプルですからね
法則にたどり着ければ転用はできる
林央
16:42
いや
ですよね
法則があるなら既知の実験結果と既知の法則から
相当範囲まで推論できるのではないか
と主張しています
神楽坂やちま
16:43
ですな
林央
16:43
とすると
相当な領域は
神楽坂やちま
16:43
でもそれが正しいかどうかの検証が大切だ，という話をしておるのです
林央
16:43
過去の実験結果と
既知の法則
で検証できるのではないかと主張しています
神楽坂やちま
16:44
〔神楽坂「ある程度の効率化ができるってだけですね」への返信〕
ここで言った通り，ある程度の効率化でしかない
真の検証は，リアルワールドを巻き込まざるを得ない
林央
16:45
例えば機械学習でよくやるように、既知の実験結果の一部を隠しておいて、推論してからvalidation setとして使う
ようなことが
できるのではないかということです
神楽坂やちま
16:45
もちろんできますなぁ
林央
16:45
とすると
かなり広い範囲は
カバーできると思いますが
神楽坂やちま
16:46
？？？
もしかするとこの難しさは，実際にある程度現場に関わってないと理解しづらいのかもしれない
既知の法則・直観・推論でどこまで絞り込めるか（16:47〜17:18）
林央
16:48
既知の法則を用いた推論もかなり制限をかけると思います
神楽坂やちま
16:48
もちろん
林央
16:49
そうすると例えばこの先10年で(AI進化無しで)人間が発見できる領域のそれなりは
見つけられると思いますが
神楽坂やちま
16:50
まぁ既に，GDMが過去の人類の10倍オーダーで新しい無機質素材を見つけてたりしますからねぇ
林央
16:50
けどあれも
それほど強い推論
はかかってないと思います
神楽坂やちま
16:51
残念だけど，これも検証がすごく容易なテーマだったからうまくいった，って話なんです
16:51
〔神楽坂「まぁ既に，GDMが過去の人類の10倍オーダーで新しい無機質素材を見つけてたりしま…」への返信〕
これ
林央
16:51
語弊が若干ありますが、ニュートン力学から統計力学を導くような
既知の法則による制約を自分は考えていますが
神楽坂やちま
16:53
ふむふむ
有路翔太
16:53
個人的にAIが強いのは人間よりも遥かに直観能力が優れてる点だと思うんですよね
世界中の全てのデータを脳のシナプスに直接焼き付けてる人間はいない
だから実験とかをしなくても有望な選択肢が自明にわかるかもしれないとは思いますね
そしてその超人的な直観力と強力な推論能力が組み合わさる
神楽坂やちま
16:54
〔有路「個人的にAIが強いのは人間よりも遥かに直観能力が優れてる点だと思うんですよね 世…」への返信〕
ですです
ただ，有望だということしかわからないんです
どこまでいっても，真の答え合わせはリアルワールドでしかできない
有路翔太
16:54
有望な選択肢を百同時に試せば実験をしなくてもあたるのでは
ないですかね
神楽坂やちま
16:55
当たったかどうかは，どうやって判定しますか？
林央
16:55
〔林「語弊が若干ありますが、ニュートン力学から統計力学を導くような」への返信〕
つまり、既存の法則と強力な推論の組み合わせは、かなり強い制約をしけるのではないかということです
有路翔太
16:55
〔神楽坂「当たったかどうかは，どうやって判定しますか？」への返信〕
人類の絶滅
神楽坂やちま
16:55
ｗｗｗｗ
有路翔太
16:55
どうやって判定するというか
普通に観測できる
世界中がグレイグーに飲まれていく
神楽坂やちま
16:55
〔林「つまり、既存の法則と強力な推論の組み合わせは、かなり強い制約をしけるのではないか…」への返信〕
かなり強い制約はしけると思いますが，それ以上に自然は複雑だろうと読んでます
有路翔太
16:55
のをみるだけ
神楽坂やちま
16:56
ｗｗｗ
有路翔太
16:57
超有望なナノテクノロジー100の手法を同時に世界中で試してどれかが当たればOK
神楽坂やちま
16:57
〔神楽坂「かなり強い制約はしけると思いますが，それ以上に自然は複雑だろうと読んでます」への返信〕
まぁ理由と言われれば，とりあえずはさっきの複雑系の話になりますかね
林央
16:57
〔神楽坂「かなり強い制約はしけると思いますが，それ以上に自然は複雑だろうと読んでます」への返信〕
“複雑”と言うのが指しているのは、導出が困難、ということではないですか？
それはかなり近似による圧縮余地があると思いますが
神楽坂やちま
16:58
〔ほかの参加者の発言への返答〕
そもそも完全再現がほぼ原理的に無理って話ですね
組み合わせ爆発てきな
16:58
〔林「それはかなり近似による圧縮余地があると思いますが」への返信〕
あると思います
林央
16:59
〔林「“複雑”と言うのが指しているのは、導出が困難、ということではないですか？」への返信〕
量子重力理論が必要になる範囲の物事は基本的に生物や化学の範囲では起きてないように見えます(ペンローズの量子脳理論が正しい場合はあれですが笑)
神楽坂やちま
16:59
ペンローズニキｗｗ
有路翔太
16:59
世界には予測ほぼ不可能なこと（1年後の天気、1時間後の期待分子の位置）と、知能の力で予測できることは区別したほうがいいと思ってますね
神楽坂やちま
16:59
ほうほう…？
まぁそれはそうですなぁ
有路翔太
17:00
例えば
猿にとって
10×10のマスにりんごをいれて最後までいれたら何個になるか？は
複雑系
けど、人間にとってはそんなこと試さなくてもわかる
100個。
そういうノリで実験とかしなくてもほぼ自明な技術革新を頭のなかでやってしまうのではないかと
神楽坂やちま
17:02
誰にとっての複雑系という考え方はおもしろいんですけど，一方で本来の複雑系というのは自然の構造に由来する客観的なものなんですよね
17:04
〔林「量子重力理論が必要になる範囲の物事は基本的に生物や化学の範囲では起きてないように…」への返信〕
ある種の創発というか，ミクロとマクロでは別の法則が支配してるのはよくある話ですねぇ
林央
17:06
〔ほかの参加者の発言への返答〕
(脇道)
これに関してだけ言えば、AlphaFoldはインターネットにすでに合った情報を用いて構成されているはずなので、議論全体の反例にはならない気がします
神楽坂やちま
17:06
〔神楽坂「ある種の創発というか，ミクロとマクロでは別の法則が支配してるのはよくある話ですね…」への返信〕
逆に言えば，自然科学がシンプルなものに還元できるとか，リアルワールド抜きの予測が本質的に可能とか，そういうのはかなり難しい，とも言えますね
林央
17:06
しかしミクロの法則にマクロの法則が矛盾することはないですよね？
神楽坂やちま
17:07
そうなんですかね？
有路翔太
17:07
数学におけるラマヌジャン版があらゆる分野で出てくるのではないかというのはどうですかね？
ラマヌジャンは任意の素数を多項式時間で分解はできないですけど、それでも無数の予測を立てて何故か当ててしまう。
そんな感じで超知能は全能ではなくても、十分人類を滅ぼす程度の技術革新を直観と推論でほぼ頭のなかで実現して、工学的な冗長性を設計できる。
ここで大事なのは
超知能≠自然の複雑性全てを解読できる全能者
超知能=人類を圧倒する技術革新をほぼ実験なしで遂げられる程度に十分に強力な知能
神楽坂やちま
17:08
数学以外のラマヌジャン欲しいですねー
でも数学は理論だけで解決できてしまうからあり得たのであって…
有路翔太
17:09
インターネットに無限にデータがあるので、理論だけではなく豊富に現実のデータがあるとも言えるかもしれないです。llmはすでにそれを脳に焼き付けてる
林央
17:09
〔ほかの参加者の発言への返答〕
私が主張しているのは、今までのデータの蓄積は十分巨大なので、現実の追加実験無しでかなり高い能力まで到達できるのではないか、ということですね
神楽坂やちま
17:11
〔林「しかしミクロの法則にマクロの法則が矛盾することはないですよね？」への返信〕
たぶんそれ，ひろゆきに論破されちゃいますよｗ
詳細忘れたけど，位置エネルギーか何かと重力か何かが整合性とれない，って話してましたｗ
林央
17:11
〔神楽坂「たぶんそれ，ひろゆきに論破されちゃいますよｗ 詳細忘れたけど，位置エネルギーか何…」への返信〕
wwwww
神楽坂やちま
17:12
〔神楽坂「たぶんそれ，ひろゆきに論破されちゃいますよｗ 詳細忘れたけど，位置エネルギーか何…」への返信〕
要は，自然科学の理論ってのは，理想化されたモデルに過ぎないのであって，使える領域が定められてるんですね
それ以外にも適用しようとすると，矛盾が起こってしまう
林央
17:14
いや
それはマクロモデルの話では？
現在の量子理論と相対論は一般的なスケールとエネルギー領域において成り立つと思いますが
神楽坂やちま
17:15
まぁそういう限定をつければ，ということですね
林央
17:15
言ってしまえばクソデカ波動関数を効率的に近似しているのがマクロ理論ではないですか
神楽坂やちま
17:16
まぐろくいたくなってきた…（）
そうですね
林央
17:16
〔林「量子重力理論が必要になる範囲の物事は基本的に生物や化学の範囲では起きてないように…」への返信〕
なのでこれです
有路翔太
17:16
〔ほかの参加者の発言への返答〕
検証は冗長性を考えて有望そうなやつ100個くらいを同時に試してミスってもほかの機構が働くようにしたらいけるとかそんな感じだった気がしますね
林央
17:16
〔神楽坂「まぐろくいたくなってきた…（）」への返信〕
マクロ→マグロ…?
17:17
〔林「なのでこれです」への返信〕
超知能が相手する範囲は基本的に
この領域にとどまるでしょう
神楽坂やちま
17:17
なるほど…？
林央
17:17
空間丸ごとを根本単位からカラビヤウ空間展開して操作するようなことをするつもりならだいぶ怪しくなりますが
神楽坂やちま
17:18
（絵文字）
林央
17:18
そんなことしなくても
相当強い領域まではいけるでしょう
有路翔太
17:18
カルダシェフ・スケールタイプ3文明とかに対抗してるわけではなく、人類という弱い生命体を殲滅するレベルの物理法則
ですからね
確かめずに確度を高められるか、ロスは評価指標になるか（17:19〜17:32）
神楽坂やちま
17:19
んーまた繰り返しになっちゃって申し訳ないんだけど，いけたとしても，いけたかどうかを確認する術は？って話なんです
有路翔太
17:20
リアルタイムに観測してればいいのではないですかね?
林央
17:20
確認する必要がないぐらい
事前に思考/シミュレーションによって
確度を高めておくと言うことですね
神楽坂やちま
17:21
それができるならぜひ今の自然科学も推し進めて欲しいですねｗ
有路翔太
17:21
推し進められるけど人類はいないという感じになる
w
神楽坂やちま
17:21
ｗｗｗ
林央
17:21
試験を受ける前に、今日受ける試験を実際に解けるか検証することはないのと同じでは？
神楽坂やちま
17:21
ほうほう？
林央
17:22
つまり実際に機能するかを検証しなくても
他の物事との類推などによって
神楽坂やちま
17:22
あ，アナウンス，もちょいで外出しちゃうんでよろしくですー
林央
17:23
〔林「他の物事との類推などによって」への返信〕
かなりの確度まで持ってけるだろうということです
有路翔太
17:23
https://www.solveeverything.org/
あとこれを読むと、まぁこれは楽観的加速主義側のエッセイですが、
数学的発見→物理的発見→化学的発見→生物学的発見→心理学社会学経済学的発見。
これが実験なくできるイメージが
神楽坂やちま
17:23
〔林「かなりの確度まで持ってけるだろうということです」への返信〕
その，かなりの確度までもっていけたかどうか，はどう確認するんでしょうね？
林央
17:24
？
確認しないのでは
テストを受けることは無くなりませんかそれは
有路翔太
17:24
そんなに高い確度をもてるのか
神楽坂やちま
17:24
まぁそうか
有路翔太
17:24
という話ですよね
神楽坂やちま
17:26
〔林「かなりの確度まで持ってけるだろうということです」への返信〕
で，何が言いたいんでしたっけ？ｗ
それ自体は同意してるんですけどもｗ
林央
17:26
人類を滅ぼすレベルの技術力まで
追加の実験無しでテイクオフできるだろう
ということでした
神楽坂やちま
17:26
そこはやっぱ程度問題になっちゃうのかな
まぁあとはやっぱそもそも，性能評価なしに性能を上げるのはかなり無理がありますね
目隠しして歩くようなもの
林央
17:27
いや
それができるだろうと言うのが
大元の話だったのですが
有路翔太
17:28
再帰的自己改善についてはロスとかは性能評価しやすいと
Ryan greenblatt
とかが言ってなるほどーと思いましたね
数学よりAI研究のほうが簡単
神楽坂やちま
17:28
ロスは簡易的な評価指標に過ぎないんです〜〜
有路翔太
17:29
新しい新規な問題を考えるとかではなく
AI能力を向上させるって
林央
17:29
あのすいません
有路翔太
17:29
明確な目標ですよね
林央
17:29
タイムループ
してませんか
有路翔太
17:29
〔神楽坂「ロスは簡易的な評価指標に過ぎないんです〜〜」への返信〕
でも
1年で
テイクオフは支持してるんですよね
？
神楽坂やちま
17:30
〔林「してませんか」への返信〕
まぁそろそろちょうど外出するくらいの時間だし，一旦ここでストップしときますかね〜
17:30
〔有路「？」への返信〕
一年はどうだろう，まぁでもファストテイクオフ派ですね
有路翔太
17:31
ファストテイクオフ派閥なら
むしろ
再帰的自己改善がなぜおこるのか
を説明できないといけない
と思いますね
追加のハードウエア投入なしで
まぁでもこれは1年とかのファストテイクオフの話なので
数日となるとまた別の議論になってきたりしますが
ロスは簡易的な指標に過ぎない云々みたいな反論をするならばテイクオフはスローになっていく（5-10年とか）
になる気はしてます
もし僕がファストテイクオフ派、かつanti ハードテイクオフをするなら
なんていうかな
有路翔太による論点の整理（17:35〜18:20）
神楽坂やちま
17:53
〔有路「ロスは簡易的な指標に過ぎない云々みたいな反論をするならばテイクオフはスローになっ…」への返信〕
んー，全く使えないという話ではなくてですね
むしろ基本的には積極的に使っていいんだけど，たまにはより精密に検証しないとね，ってことです
有路翔太
17:55
Transformerの発明にはGPUが必要だった。GPUの発明にはゲーム産業の構築が必要だった。というように、超知能の構築にもまったく別の技術や産業との相互作用が必要かもしれない（例えば脳科学）。
それに10年かかるとは思わないし、AI2027のようにAI特化の産業エリアとかできたら数ヶ月でその相互作用も起こりイノベーションが起こるが、数日という単位は、フォンノイマン級のAGIでも難しいのではないか。
→再反論
まず更なる100倍速のアーキテクチャをフォンノイマン100万人なら考えつく。
一万倍速で動く100万のフォンノイマンになる。3日で100年分になる。アライメントもその間に解けるだろう。
→再反反論
思考だけで超知能のアーキテクチャやアライメント問題を解けるのか不明。現状AIの能力向上には大量の計算資源が必要であり、数日でブートストラップできるのかイメージがわかない
僕のGAN生成能力だとここまでで一旦
@林央 さん続けられますか
Zw
林央
17:56
wwwwwwwwww
ちょっと
時間が….
有路翔太
18:06
数万体のAGIにさえ満たないエージェントスウォームがミレニアム問題を88時間で一つ解いた。
それが天才級になり、100万体になり1万倍速になり、記憶なども容易に共有できるとしたら、計算資源が限られていたとしても次の飛躍を見つけられるはずだ。
しかも、再帰的自己改善なのでその飛躍でさらに賢くなるともっと直観能力なども優れることになり、次の飛躍も見つけやすくなる。
18:20
みたいな感じかな
議論マップ：主張と関係の整理
ここまでの議論を、主張とその関係に分けて整理しました。議論を主張単位に分解するツール（Argument Map）が9月22日のやり取りから作った地図をもとに、AGI Hub Researchが3人の発言と照合して編集しています。各主張は発言の要約で、引用ではありません。ツールが推定した関係は発言の流れで確かめ、向きや種類を一部改めました。ほかの参加者の主張は除いています。図では、左に神楽坂やちま、中央に有路翔太、右に林央の主張を、上から発言の順に並べ、矢印で関係を示しています。主張にカーソルを合わせるかタップすると、つながる主張と矢印が強調されます。図の下のカードには各主張の要約と、根拠になった発言の時刻（上の議論ログと同じ日本時間）を載せています。
矢印は3種類です。青の「支持」はある主張が別の主張の根拠になること、赤の「反論」は別の主張を弱めること、点線の「限定」は別の主張の適用範囲や言い方に条件を加えることを指します。
超知能は、現実世界での追加の実験や検証をほとんど行わずに、急速な自己改善を経て人類を滅ぼし得る技術まで到達できるのか。そして、性能の評価・検証の必要は、その速さをどれほど制約するのか。
- 支持（根拠になる）
- 反論（弱める）
- 限定（条件を加える）
テイクオフはどれほど速く、どんな形か
関係の説明を読む（2件）
- 限定 主張3 → 主張5 ハードとソフトの境界はグラデーションだという見方は、両者を対照的な二つの類型として示す説明を、程度の差として読むよう限定する。
- 反論 主張8 → 主張7 ロスは簡易指標にすぎないという指摘は、再帰的自己改善では評価が容易だという見方を弱める。ただし後の補足（17:53）で、ロスを使うこと自体は否定していないと明確にしている。
-
主張1 神楽坂やちま 6:33〜6:34
学習が高速化しても、性能評価・検証は容易には加速できない。
-
主張2 有路翔太 6:50〜6:51
Tom Davidsonの中心予測は、数年規模のテイクオフだとみられる。
-
主張3 神楽坂やちま 6:58
ハード・テイクオフとソフト・テイクオフの区別は明確な境界ではなく、グラデーションである。
-
主張4 有路翔太 7:25
1年規模の「ソフトウェアだけの知能爆発」とは、現実世界と相互作用しないことではなく、ほぼ固定された計算資源でテイクオフすることを意味する。
-
主張5 有路翔太 7:26
ハード・テイクオフは主に内部だけで能力が急上昇するイメージ、ファスト・テイクオフは非常に速くても現実世界と関わりながら進むイメージである。
-
主張6 有路翔太 7:30
自身の立場はDavidsonに近く、テイクオフは約3年という感覚である。
-
主張7 有路翔太 17:28〜17:29
再帰的自己改善では、ロスのような指標で性能を評価しやすく、AIの能力向上には明確な目標がある。
-
主張8 神楽坂やちま 17:28、17:53
ロスは簡易的な評価指標にすぎない。使えないのではなく基本的には積極的に使ってよいが、ときにはより精密な検証が要る。
-
主張9 有路翔太 17:32
ロスを評価指標として使えることを否定するなら、テイクオフは5〜10年程度へ遅くなると考える。
アラインメントは自己改善の速さを律速するか
関係の説明を読む（5件）
- 支持 主張11 → 主張10 後継を自らの目標に合わせる必要があることが、アラインメント技術を律速要因とみる理由になる。
- 支持 主張10 → 主張13 アラインメント技術が律速要因なら、それを短時間で解けるかが速さを左右する不確実性になる。
- 限定 主張12 → 主張13 アラインメントを解かなくても可能な改善があるため、アラインメントが必要になる時点までは自己改善が進みうる。
- 反論 主張14 → 主張13 大量・高速・記憶共有の天才級エージェントなら数日で解けるかもしれないという見方は、アラインメントが大きな足かせになるという見通しを弱める。
- 反論 主張15 → 主張14 現実世界を要する性能評価があるため、数日規模の見通しは難しいと反論する。
-
主張10 林央 16:03
テイクオフの速度は、AIが次世代のAIをアラインメントする技術を開発する速度によって律速される。
-
主張11 林央 16:05、16:09
人間に対してミスアラインドな超知能も、後継の超知能の目標を自らの目標に合わせる必要がある。
-
主張12 林央 16:05
ミスアラインドな超知能は、まず実行アルゴリズムの高速化など、アラインメント問題を解かずにできる改善から行いうる。
-
主張13 林央 16:06
その後、あまり時間を置かずにアラインメントを解けるかは分からない。
-
主張14 有路翔太 16:09
フォン・ノイマン級の天才エージェント100万体が100倍速で考え、記憶を共有できるなら、アラインメントも数日で解かれるというイメージになるのではないか、と問いかける。
-
主張15 神楽坂やちま 16:18
数学やコーディング以外では性能評価に現実世界が関わるため、4日でのテイクオフは難しい。
追加の実験・検証なしにどこまで到達できるか
関係の説明を読む（6件）
- 支持 主張16 → 主張17 現実世界での評価が必要なら、それを欠いた開発では方向性のずれを発見しにくい。
- 反論 主張19 → 主張18 化学や生物学は予測困難な複雑系であり、実験なしでは大きくは進められないと応じる。
- 反論 主張21 → 主張20 既知の法則や簡易評価による検証は効率化にとどまり、真の検証の代わりにはならない。
- 限定 主張23 → 主張22 有望な候補を見つけることと、それが正しいと確かめることを区別する。
- 支持 主張20・主張22・主張25・主張27 → 主張26 既知の法則と実験結果からの推論、超人的な直観、蓄積データの大きさ、大量の天才級エージェントによる飛躍の発見は、いずれも追加実験なしの急速なテイクオフを支える根拠として示されている。
- 反論 主張19・主張24 → 主張26 複雑系では実験なしの進展が難しいこと、内部シミュレーションで現実を完全には再現できないことは、追加実験なしで破滅的な技術力へ到達できるという見通しを弱める。
-
主張16 神楽坂やちま 7:12〜7:13
AIがソフトウェアだけで動いていても、評価・検証には現実世界が必要になる可能性が高い。
-
主張17 神楽坂やちま 7:14
評価・検証なしに開発を進めると、方向性がずれても気づけない。目をつぶって歩いているようなものだ。
-
主張18 林央 16:24
人間が教科書や講義、思考によるフィードバックで化学を学べるように、既存の知識と法則を使えば、実験なしでも相当な化学的能力を獲得できる。
-
主張19 神楽坂やちま 16:30〜16:31
化学や生物学のような複雑系では、実験なしに進展させることは難しい。
-
主張20 林央 16:42〜16:44
既知の実験結果と既知の法則を使えば、相当な範囲まで推論し、検証できる。
-
主張21 神楽坂やちま 16:44〜16:45、17:53
既知の法則や簡易的な評価指標は効率化には役立つが、真の検証には現実世界を巻き込まざるを得ない。
-
主張22 有路翔太 16:53
AIは膨大なデータに基づく超人的な直観と強力な推論を組み合わせ、実験なしでも有望な選択肢を見出せるかもしれない。
-
主張23 神楽坂やちま 16:54
直観で分かるのは有望だということまでで、正しいかどうかの答え合わせは現実世界でしかできない。
-
主張24 神楽坂やちま 16:58
現実世界を超知能の内部で完全に再現することは、組合せ爆発のため、ほぼ原理的に不可能である。
-
主張25 林央 17:09
これまでに蓄積されたデータは十分大きく、追加の現実世界での実験なしでも、かなり高い能力に到達できる可能性がある。
-
主張26 林央 17:26
人類を滅ぼせる水準の技術力までは、追加の実験なしでテイクオフできるだろう。（林央の補足: 自身の絶滅論はこの見方に論理的に依存しておらず、特に強い自信があるわけでもない）
-
主張27 有路翔太 18:06
数万体に満たないエージェント群がミレニアム問題の一つを88時間で解いた例を踏まえると、天才級で大量・高速・記憶共有が可能なエージェント群は、計算資源が限られていても次の飛躍を見つけられるはずだ。
残った対立点
-
既存のデータ、既知の法則、内部シミュレーションだけで、追加の現実世界での実験なしに、人類を滅ぼし得る技術水準まで到達できるか。
-
性能評価・検証の必要は、テイクオフを数日規模ではなく数年規模へ、どの程度遅らせるのか。
-
AIが後継のAIを自らの目標にアラインメントする問題を、急速な自己改善の途中で、どれほど短期間に解けるか。