以下は著者本人(AGI HUB共同代表)による note 掲載記事の全文です。原文(note)はこちら

※本稿ではAGIピル的な世界観が正しいかという判断はしない。あくまで議論の整理を行うことを目的にしている。

「減速」という名の「加速」

AI Futures Project(『AI 2027』のチーム)が新しいシナリオを公開した。『AI 2040: Plan A』。

一言で言えば、減速という名の加速である。普通の加速主義者が思い描く世界よりも加速しているのだ。2029年に米中は協力して超知能開発を止める。ゆっくりとAGIレベルの開発をし段階的に世界へ展開する。超知能は2040年にアライメントが解決され展開されるがそれまではAGIレベルで5-10年世界は減速しているが、一般人からしたら減速しているようには思えない

AGIピルを飲んでいるがゆえにAIのアップサイドがあまりにも巨大で、「減速」シナリオでさえ、世界は中世から現代までの変化を10年程度で起こす。中世の王が現代の科学と資本主義に対応できないように、それと同じ過激さの、世界観の根本からの変化が訪れる。労働や民主主義や人権という概念さえ、AGIという新たな知能を前にして再考せざるを得ない。しかもこれは、超知能に到達するAGI程度のモデルが及ぼす変化にすぎない。

Image 3: 画像

2036/37年のアメリカの風景(超知能なし、PlanA規制)

人類は2040年に、意図的に超知能へ支配権を渡す。その1年以内にマインドアップロードが開発され、観測可能な宇宙の銀河の分配が現実の政策問題になり、ポストヒューマンと超知能のポストシンギュラリティ共生世界が誕生する。

このレベルまで行くと、人類文明は根本からラジカルに変わっている。それが今から15年程度で起こる。

そしてもし「減速」がなければ人類文明のラジカルな上記の変化がファストテイクオフした超知能により1-2年以内に起きる(AI2027シナリオ)。

だからこそ「AGIレベル」で止めるべきと言う。彼らが望むのは数年で様々な病気の治療法を開発してもらうこと(AGIレベルで可能)で、数年で太陽系が壊れること(超知能レベル)ではないためだ。

それが「AI 2040」であり、そのような「シンギュラリティ」を「安全に」起こすためにどんなガバナンスが必要かが「Plan A」だ。

彼らは「減速シナリオ(AGIレベル)」でさえ「世界はあまりにも大きく変わる」ことを何度も強調している。つまりAGIの知能レベルを遥かに超える超知能は普通の想像力を遥かに超えるほどの極めて大きなインパクトを地球や太陽系にもたらすと考えている。


Plan Aの中身は本質ではない

Plan Aの詳細は、ここでは最小限にとどめる。

骨格だけ言えば、2029年に米中が超知能への無謀な競争を回避する合意を結ぶ。本来なら2030年にAI R&Dが完全自動化され、年内に超知能に到達していたはずのところを、これで回避する。2030年から2035年にかけて人間の能力範囲内でスケールし、2035年にトップ人間専門家レベルでポーズ。2040年に解除して超知能へ——だから「AI 2040」だ。

支える柱は3つ。完全研究透明性(モデルの重み以外のすべてを公開し、外部が「AI企業の宿題を採点」できるようにする)、検証(データセンターに受動的な光ネットワークタップを仕込み、ワークロードをランダムサンプリングして部分的に再計算する)、そして相互確証計算破壊(合意が崩壊したら世界中の計算資源が破壊されるよう、あらかじめ設計しておく)。米国のR&Dクラスタをモンゴルに、中国のクラスタをカナダに置く。防衛不可能にすることで、離脱して再びレースを始めるのを困難にする。

面白い提案は山ほどある。だが、このレポートに対する反応で最も大きな断絶は、Plan Aの中身をめぐるものではない

断絶は、「AGI/超知能」に対する期待度にある。

つまり——あなたはどの程度、AGIピルもしくはASIピルを飲んでいるのか?


AGIピル濃度のスペクトラム

もしAGIや超知能はまだまだ開発されないし、されるとしてもその結果が経済や産業や技術に与える影響もインターネットや電気と同じ「普通の技術」だと考えるならAGIピル的な世界観の外にいる。あるいは、AGIや超知能という概念フレームワークそのものに謙虚に懐疑的な人たちだろう。

一方、AGIピルを飲んでいると、少なくとも数十年あればダイソンスウォームやマインドアップロードが開発されると考える傾向にある。具体的な技術予測は置いておいて、言いたいのは、AGIピルを飲んだ人たちというのは人間ができることならほぼなんでもできるAIシステムが出てきた場合に、物理的/工学的に可能な技術が普通に考えるよりも驚くほど短い期間で開発され、そして経済や産業も爆発的に変革されると考える人たちのことだ。

そしてテイクオフが早ければ早いほど、そのタイムラインが50年から20年、10年、5年、3年、1年、数カ月、数週間、数日と縮んでいく。

大まかに言えば、

この人たちは全員AGIピルを飲んでいる。だから彼らは、我々が生きているうちにダイソンスウォームも不老不死もマインドアップロードも人類文明の根本からの変容も起こる、という前提を受け入れている。

AGIピルの外側にいる人もAIは大きく世界を変えると考えている。しかしそれは人類文明を根本から変えるほどの変容ではない。AIはある種のツールであり電気やインターネットなど今までの技術と変わらないと考えるだろう。

この前提を知ると、スコット・アレクサンダーの言葉がよくわかる。

「TylerもMarcも加速主義者たちも、我々が減速していると叫ぶだろう。だが我々の想像する遅い世界は、彼らの想像する速い世界よりずっと速く進む。Tylerが2030年代に二桁のGDP成長を望むなら、我々は三桁を渡そう。Marc Andreessenが2050年までにがんの治療法を望むなら、2035年に渡そう。選択肢は〈現状維持〉対〈ちょっとすごいAIイノベーションのある世界〉ではない。〈2033年にナノボットが太陽系を食い尽くす〉対〈2035年にがんが治る〉だ。我々が『AIを減速すべきだ』と言うとき、意味しているのは後者の世界のことだ」

https://www.astralcodexten.com/p/introducing-plan-a

普通の加速主義よりも加速している「減速」という名の加速。これがAGIピル的世界観の内側から見た風景である。