以下は著者本人（AGI Hub共同代表 有路翔太）による note 掲載記事の全文です。見出し・挿絵・図はAGI Hubが付けました。原文（note）はこちら。
多くの人がもうこの世界が終わることに薄々気づいてるかもしれない。主にAIの進化によって。
サイバー攻撃は日々強烈になりいつインターネットや資本主義が終わるかもわからないと。
だがネットや資本主義が終わるだけならまだいい。
この数十万年の人類の歴史が終わろうとしている。
その終わり方にも2種類ある。文字通りの絶滅。人類文明の根本からの変容。まずは後者から行こう。
技術爆発 10年で技術ツリーが埋まる
汎用人工知能（AGI）が生まれると、技術進歩の速度は保守的に見ても30倍になり、10年で技術ツリーがほぼ全て埋まるという。「技術爆発」と呼ばれてたりする。
ハードSFで描かれるようなマインドアップロードも、高度な自己複製能力を持つ万能ナノファブリケーターも、ガンダムのような宇宙文明時代も、すぐに来てしまうかもしれない。
実感なんてない。こうして文字でエッセイを書く時代が、あとどのくらい続くのかも分からない。
文字という媒体はもう使われなくなり、脳で直接概念を理解する時代になるかもしれないし、そもそももっと人間性がラジカルに変わり、身体さえも持たなくなるかもしれない。
産業爆発 ロボットがロボットを作る
東京23区よりも大きい円筒状のスペースコロニーを、オニールシリンダーという。ぐるぐると回転し、その遠心力で重力を感じさせる。
試算では、火星の1%の資源を使えば10億個作れる。1人につきひとつの区、例えば新宿区を独り占めできるイメージだ。
そんなのSFだ、根拠がない。僕もそう思っていたが、どうやらAIの未来を予想する専門家は、それを「産業爆発」という言葉で大真面目に議論している。ロボットがロボットを、工場が工場を作るループが閉じると、何もかもが急速に変化する。
1年間議論を見たが、どうやら僕には反論の余地が見当たらないので、本当に起こるらしい。エネルギーなら、今人類が使ってる量の百倍以上が太陽から地球に振り注いでいる。資源も、地殻を含めたら青天井で、地球外に目を向ければ天文学的だ。AGIが出てきて、ほんの10年でそれらを経済的に利用できる、そういう世界になるのだ。
もし人類が身体を捨てた場合は、そんな巨大な宇宙居住区はそこまで作られず、大量のデータセンターで埋め尽くされるかもしれない。
ダイソンスウォームまで10年
そして、ダイソンスウォームという用語がある。太陽光パネルを太陽の周りに敷き詰めることで、エネルギー消費量を現状の人類の1兆倍以上に拡大できる。意味不明だ。しかもそれは、水星を解体して実現するらしい。
これまた100万年後や1000年後の話かと思ったら大間違い。AGI開発以後、10年以内に起こるという。
確定申告をし、FAXがまだ置かれ、歩道橋や電柱に郷愁を感じる世界から、オービタルリングやビショップリングと呼ばれる、超巨大な惑星規模の人工物、メガストラクチャーが完成する世界へ。
どんな複雑な工学的製品も、その場でナノテクノロジーによって生成できる。不老不死どころか、生物学的な身体を超えてコンピュータの中で意識を走らせ、太陽系を超え、アルファ・ケンタウリにフォン・ノイマン探査機が送られている。そんな世界が、もうすぐ来る。
予想はどんどん早まった
僕が未来予測をし始めたのは2019年頃だった。その頃はまだ、2300年にやっとマインドアップロード技術ができると予想していた。21世紀は格差が広がり、少子化が酷くなり、戦争や病気、移民やルッキズムや何やらの問題が起こり、僕は普通に平均寿命くらいで死ぬと思っていた。カーツワイルのような直感的な議論を安易には信じられず、僕は証拠を求めてたからだ。
しかし、2022年のGoogleのPaLMを見て、その予想を2090年に変え、2025年に半内生的成長理論を知ってからは、2040年代へと急速に早めた。
5年前の僕は世界にある意味絶望し、アートとかやる以外に救われる道はないのではないかと思っていたが、端的に「シンギュラリティ」が現実味を帯びてきている。
もう一つの終わり方 絶滅
そして、超知能──人間を遥かに超える賢い知性──が、何の対策もなしに誕生すれば、人類は絶滅する。
目の前に、評価不可能な天文学的に巨大な果実とリスクが横たわっている。そんなこと、5年前まで考えられなかった。こんな事が現実になるとは思わなかった。
超知能の開発は、アラインメント、つまり人間の価値観を超知能にビルトインする技術が成熟しない限り、禁止されるべきだろう。
先ほど、ダイソンスウォームやマインドアップロードはAGI開発から10年で視野に入ると言ったが、もし再帰的自己改善が起これば、1年や数か月、数週間という単位でそれが起こる。
あまりにも、あまりにも急激すぎる変化を、さらに超えた急激な変化である。doomerは技術楽観主義の極北にいるがゆえに、反対するのだ。世間のいう加速主義なんて、彼らからしたら「減速した世界」だ。あまりにもAIを甘く見すぎている。
綺麗事だが、ガチで人類最後の瞬間だ。人類、人類と言いすぎて感覚も麻痺してるが、本当にヤバい。映画『ドント・ルック・アップ』の最後のシーンのような気持ちになりつつある。
人類はなすすべもない
数年前まで、超知能を開発しても、それより少し弱いAIを使えば監視できると考えていた。だが、超知能がアラインされてないなら、それより弱いAIも人間より賢いはずだから、アラインされてない可能性が高い。しかも、抜け穴なんていくらでも見つけられるため、コントロールができない。
ロボットやインフラがないと反乱できないという話もある。だが、昨今のサイバー攻撃能力を見れば、あらゆるデジタル機器をハッキングし、人間を操作し、ウイルスやナノマシンを作る手助けをさせることは、超知能にとっては容易だろう。
クトゥルフ神話の異形の神々のような存在を前に、我々はなすすべもない。彼らに我々への悪意も何もないまま、人類は蹂躙され、掃討される。もしくは、地球が計算資源やエネルギーインフラに書き換えられる過程で、我々は、人類が地球温暖化で滅ぼしてきた数多の種のような立ち位置になる。
最近見たスティーブン・スピルバーグ監督の『ディスクロージャー』のようなことが起こってくれたら、地球外の知的生命体が我々を救ってくれるかもしれない。だが、僕はオッカムの剃刀を踏まえ、観測可能な宇宙では人類くらいしか知的生命体は進化しなかったと考えてる。だから期待はできない。
なんでこんな瞬間に僕の意識が存在するのだろう、という形而上学的な疑問が頭をもたげる。
というか、本当にシンギュラリティなんて起きるのか、AGIや超知能なんて開発されるのかという感覚にも苛まれる。
人間は超指数関数的な進化を感覚的に理解できない。
AIは怠惰な社会こそを加速させる
少し脇道にそれるが、もしAGIが出てくれば、世の中の摩擦やボトルネックを迂回する方法を彼らは見つけて、あらゆる商品やサービスが急速に普及し、進化するだろう。
イーロン・マスクやスティーブ・ジョブズが100万人いるような世界だ。田舎にいるおばあちゃんにAIを使ってもらう手法なんて、彼らならいくらでも思いつくだろう。
技術の進歩と、普及や社会適応は別だと言われるが、AIに関してだけは違う。
怠惰さは技術導入を遅らせるが、AIは怠惰な社会こそを加速させる。ティックトック中毒のドパガキや、脳に汗をかきたくない人間を家畜化するだろう。
また、ウクライナ戦争や中東、台湾の情勢を見ても、安全保障ドリブンで、国家総動員のもと、技術・産業・経済の爆発が促されるだろう。
宇宙史レベルの「相転移」
人類はガチで今後どうなるのかわからない。わかっているのは、きわめて巨大な変化が起こるということだけだ。ダイソンスウォームのような、カルダシェフ・スケールで語られる規模の宇宙文明や、ハードSF作家のイーガンが描くような数千年先の成熟した技術が、ほんの数年、10年で到来する。
その結果は、人類の絶滅か、今までの人文学の常識をはるかに超えるディープなユートピア（浅くないユートピア）か、はたまた意味不明な世界なのか。
もう世界は変わりつつある。
なんだかんだ、人類の絶滅は、いろんなシナリオのなかでも可能性が高いと思う。
身近な人に感謝し、やり残したことはないかを整理し、日々の喧騒から一歩引いて、私たちはこの変革をどう生きたいのか、考えるべきなのかもしれない。
というか、こんな結論しか出てこないのがもどかしい。あまりにもデカいスケールすぎてどうしたら良いのかわからないが、取り敢えず米中が協力して世界的に進歩を調整してくれることを願うばかりだ。
『幼年期の終わり』か、バラードの『結晶世界』か、エヴァか、『ドント・ルック・アップ』か。
とにかく意味不明なほどデカい変化が迫ってきている。目の前の小さな悩みを消し去り、人類はどこにいくべきか、貴方は何をしたいのかと、我々が自問自答できるような、宇宙史レベルの「相転移」が今まさに起ころうとしていると思う。
