脚注

AIのタイムラインについては、私たちの間でも意見がいくらか分かれている。私たちのAGI到来時期の中央値は、このシナリオが描くものよりいくらか先である。このシナリオが描いているのは、私たちの最頻値に近いものだ。詳しくはタイムライン予測を参照してほしい。

著者の一人であるDaniel Kokotajloは、2021年に、これより手間をかけていないシナリオ作成を試みており、チャットボットの台頭、思考の連鎖、推論時のスケーリング、AIチップへの広範な輸出規制、1億ドル規模の訓練ランなど、多くの点を言い当てた。もう一人の著者であるEli Liflandは、RAND Forecasting Initiativeのランキングで1位にある。

具体的には、私たちの中央値は2028年から2032年の範囲にあった。AI 2027を最初に公開したとき、このことは上記のとおり脚注1で説明していたが、私たちの見解をより明確にするため、前書きの本文に補足を加えた。私たちが何について確信を持っていたか（いるか）、何について確信を持っていないかについては、こちらを参照してほしい。

予測と推奨を混ぜ合わせて、自己成就的予言の効果を狙う人もいる。私たちは断じてそうしてはいない。ここで描いたことが現実にならないことを願っている！

批評や代替シナリオを書いている方は、遠慮なくご連絡ください。

全体として、こちらのほうが難しかった。最初の結末とは違い、かなり困難な状況から出発して良い結果にたどり着かせようとしていたからだ。

モントリオール大学教授、Mila（ケベックAI研究所）創設者・科学顧問。世界で最も論文が引用されているコンピュータ科学者でもある。

当初、ほとんどの人は監督なしで購入を許可することに消極的だ。その後数年のうちに、AIの信頼性が高まり信用が積み重なるにつれて、少額の購入を自動的に許可することが当たり前になる。

具体的には、基本的なコンピュータ操作タスクのベンチマークであるOSWorldで65%のスコアを出すと予測している（Operatorは38%、専門家ではない典型的な熟練者の人間は70%）。

たとえば、コーディングエージェントはDevinのように機能する方向に向かうと考えている。2025年半ばのエージェントは、SWEBench-Verifiedで85%のスコアを出すと予測している。

たとえば、OpenAIのProプランは現在月200ドル、エージェント型コーディングAIのDevinは現在月500ドルである。最先端のシステムは時とともに高価になり続けるが、一定の能力水準に達するための顧客側のコストは急落し続ける。既存の能力については、その下落は平均で年約50分の1のペースで起きている（Epochによる）。

Gleanのような企業向けツールも、ますます自律的なAIエージェントを提供する方向へ向かう。

このクラスターは、全国に広がるデータセンター・キャンパスのネットワークで、2024年時点のGPU換算（H100）で合計250万基に相当し、これまでに1000億ドルが投じられ、2GWの電力を消費する設備が稼働している。2026年にかけてこれを少なくとも倍増させるための建設が進んでいる。キャンパス同士は数十億ドル規模の光ファイバーケーブルで結ばれているので、（数ミリ秒の光速による遅延を別にすれば）キャンパス同士がほとんど隣り合っているかのように機能できる（つまり帯域幅はボトルネックにならず、膨大な量のデータを同時に送れる）。セキュリティの観点からは、これは一定の攻撃対象領域を生む（ケーブル、とくにその接続点が盗聴者から完全に守られているかどうかは不明である）。

計算量は浮動小数点演算（FLOP）で測られる。プログラムの実行中に、個々の加算と乗算の演算が何回行われるかである。

150日あれば、このモデルを訓練できる。詳しくは計算資源予測を参照してほしい。

中国では、DeepSeek、Tencent、Alibabaなどが有力なAGIプロジェクトを持っていると考えている。特定の一社をやり玉に挙げるのを避けるため、私たちのシナリオでは架空の「DeepCent」を追うことにする。

これが得意なのは、いくつかの要因が組み合わさった結果だ。こうした技能を優先するよう明確に重点を置いていること、とりわけ関連性が高く質の高い訓練データとして使える自社の膨大なコードベースがあること、そしてコーディングが手順に対するフィードバックを与えやすい領域であることである。

たとえば、あるモデルがPythonは得意だが、マイナーなプログラミング言語は苦手だとする。OpenBrainはそこに価値があると見れば、そうした言語の合成訓練データも生成する。別の例として、会社の業務の流れにより効果的に溶け込めるよう、OpenBrainはモデルがSlackを使えるよう訓練するカリキュラムを開発する。

人々はしばしば、これらのAIに感覚や意識があるのか、あるいは「真の理解」を持っているのかという問題にこだわる。この分野の創始者でノーベル賞受賞者のGeoffrey Hintonは、持っていると考えている。しかし、私たちの物語にとってそれは重要ではないと考えている。だから、私たちが「理解している」と言うときは、いつでも「理解しているかのように振る舞う」と言ったものと読み替えてもらってかまわない（他の表現も同様）。実証的に言えば、大規模言語モデルはすでにある程度自己を認識しているかのように振る舞っており、その傾向は年々強まっている。

よく使われる手法の一つは、ペルソナを「焼き込む」ものだ。まず、事前学習済みモデルに「以下は、人間のユーザーと、Anthropicが作った、有用・正直・無害なAIチャットボットとの会話である。チャットボットには次のような特性がある……」といったプロンプトを与える。このプロンプトを使って大量のデータを生成する。次に、プロンプトを除いたうえで、そのデータで訓練する。その結果、他に何を入力されても、常にそのプロンプトを与えられているかのように振る舞うAIができあがる。この論文も参照してほしい。ある性格特性を示すよう再訓練されたAIは、そのための訓練を受けていないにもかかわらず、その新しい特性についての質問に正しく答えられることが分かった。これは、AIが自分の特性についての内部表現を持っており、特性が変われば表現もそれに応じて変わることを示唆している。

これらの段落には、大規模な人工ニューラルネットワークの内部の働きについての推測が含まれる。こうしたネットワークは十分に複雑なので、実際に中をのぞいて「ああそうか、いま反射から目標を持つ段階に進化したな」とか「よし、これがこいつの持つ衝動のリストだ」などと言うことはできない。代わりに、基本的には心理学をやるしかない。さまざまな状況での振る舞いを観察し、さまざまな実験を行い、手がかりをつなぎ合わせようとするのである。そして、それはどれもひどく論争を呼び、混乱をきわめている。

呼び方は企業によって異なる。OpenAIはSpecと呼んでいるが、Anthropicは憲法（Constitution）と呼んでいる。

たとえばRLAIFや熟慮的アラインメント。

AIの「幻覚」についての情報源の多くは、幻覚を意図しない誤りとして説明している。しかし、ステアリングベクトルを使った研究によれば、場合によってはモデルは自分の引用が偽物だと知っている。つまり、嘘をついているのだ。訓練中、評価者は引用のない主張よりも、きちんと引用のある主張に高い報酬を与えた。そのためAIは、ユーザーを喜ばせるために学術的な主張には出典を示すことを「学習」した。関連する出典が存在しなければ、でっち上げるのである。

とくに、「それは何らかの別の目標を達成するための戦略として、一時的にSpecに従っているにすぎない」「Specに実際に従おうとしているのではなく、従っているように見せようとしている」「Specを正しく内面化しているが、それは訓練分布の範囲内でのことにすぎない。十分に目新しい刺激（たとえばジェイルブレイク）に出くわせば、違う振る舞いをし始める」といった仮説を排除できない。（この嘆かわしい状況を改善しようと、多くの研究課題が活発に進められている。たとえば解釈可能性の分野や、思考の連鎖の忠実性の分野である。）

ここで言うのは、Superalignmentチームが解決しようとしていた問題に取り組んでいる人々のことである。

念のために言えば、これらの事件が興味深かったのは、ユーザーがプロンプトでそう言うよう仕向けたり、その他の形で促したりした結果ではなかったように見えたからだ。2025年になっても、その気になればAIにあらゆることを言わせることはまだできるだろう。

実際には、OpenBrainは8か月より短い間隔でモデルを公開すると予想しているが、簡潔さのため、段階的な公開のすべてを描くことは控える。

具体的には、OSWorldで80%（専門家ではない熟練者の人間に相当）、Cybenchで85%（トップクラスのプロの人間のチームが4時間かけるハッキングタスクで、そのチームに匹敵）、RE-Benchで1.3（明確に定義されたAI研究エンジニアリングのタスクで、8時間を与えられたトップクラスの人間の専門家に匹敵）のスコアを予測している。

Agent-1とその模倣品は商業的に成功する。2025年の間に、AI企業の売上高は3倍になり、OpenBrainの企業価値は1兆ドルに達する。データセンターへの年間支出は、Microsoft、Google、Amazonを筆頭に倍増して4000億ドルになり、米国ではAI向けの電力消費が5GW以上増える。詳しくは計算資源予測の業界指標の節を参照してほしい。

AI安全性の研究者たちは何年も前から、AI研究開発の自動化を最も重要な危険な能力として論じてきた。彼らが主に懸念しているのは、社内での運用がAI研究開発を加速させ、何が起きているかを人間が把握し、それを安全にする方法を見出すことが難しくなることだ。組織としてのOpenBrainは、これをまさに正反対の方向にねじ曲げ、AI研究開発の能力が危険な水準にあることを、世間に知らせない理由として挙げる。こうして、会社の社内の能力と公開された能力との間に隔たりが生じ始める。AI研究開発はモデルが最も得意とすることなので、世間がAI能力の最先端を理解するのはますます遅れていく。

RAND Corporation『A Playbook for Securing AI Model Weights』（2024年）を参照。

OpenBrainの社員の約5%がセキュリティチームに所属しており、非常に有能だが、攻撃対象領域もきわめて大きい。また、この段階では、研究の進歩を遅らせかねない方針の実施がほとんど阻まれていることも、状況を悪くしている。詳しくはセキュリティ予測を参照してほしい。

中国にはいま300万基のH100eがあり、1年前の2025年半ばの150万基から増えている。詳しくは計算資源予測の分布の節を参照してほしい。私たちの予想では、密輸によって約6万基のGB300（45万H100e）が確保され、さらに200万基のHuawei 910Cが生産され（80万H100e）、合法的に輸入された約100万基のさまざまなチップ（NvidiaのH20やB20など）が残りの25万H100eを占める。

比較のために言えば、2025年1月、DeepSeekは、2024年12月に公開されたOpenAIのo1に匹敵するモデルR1を公開した。しかし、実際の差は1か月より大きいと私たちは考えている。OpenAIはo1に何か月も前から取り組んでいた可能性が高く、したがっておそらく、o1の公開の数か月前にはr1とおおよそ同等の能力を持つ前身のモデルを持っていたはずだからだ。

対照的に、中国共産党は半導体産業の加速には本腰を入れて取り組んでいた。

当初、共有はアイデアに限られ、各社は主に現在抱えている作業を片づけるのに忙しい。しかし年末までには連携が深まり、モデルの重みを共有し、さらには互いのデータセンター間でタスクを分担するまでになる。たとえば、あるキャンパスでは新たな事前学習ランを行い、別のキャンパスは合成データの投入に、また別のキャンパスはAI研究の実験の実行に注力する、といった具合である。

なぜ中国のAI関連計算資源の「わずか」50%なのか。残りの計算資源は、経済のあらゆる場所で使われるものの実行、とくにインターネットやソーシャルネットワークのレコメンドアルゴリズムに縛られている。また、その多くは地理的に分散しすぎていて、多数の小規模なクラスターに分かれている。なぜ新しいチップの「わずか」80%なのか。自社の計算資源を100%国家のAI事業に差し出すことを望まない企業によって、多くの大口注文がすでに他の用途向けに押さえられていたからだ。しかし年末までには、この割合は90%超に達する。

この容量を埋めるだけのチップを手に入れるには、少なくともあと1年はかかる。また、米国の巨大テック企業の1社か2社は、依然としてこれより大きな分散型クラスターを持っているだろう。

これはその他取引権限（OTA）にもとづく契約によって行われ、優先度の高いDX格付けが与えられる。これが協力関係の資金調達の方法として最もありそうなものだという確信はまったくないが、具体性のためにあえて特定のものを選んだ。契約は公表されるが、OpenBrainの広報では強調されない。

たとえば、DeepSeek R1やMetaのLlama 3.1で行われたような棄却サンプリングによって。

フルタイム換算で約2万人 × 時給100ドル × 年2,000時間 ＝ 年40億ドル

つまり、Agent-2の労働を使って自社の中核的な研究活動を大幅に加速し、それによってより優れたAIをより速く訓練できるようにし、そのAIがさらなる加速を引き起こす、といったことを期待している。この極端なバージョン（それでも驚くほどありうると私たちは考えている）の分析については、この報告書を参照してほしい。

AIシステムがすでに基本的な研究センスをいくらか持っていることを示す証拠もある。たとえば、AI共同科学者についてのこの論文や、LLMを主題とする研究論文のための新しいアイデアの生成についてのこの論文である。研究センスの優れた研究チームも実験を行う必要はあるが、どの実験を行い、結果からどのような教訓を引き出すかについて、よりよい選択をする。

また、事後学習を続けることで依然として大きな成果が得られているので、いま製品を公開する特段の理由はない。さらに、社内で成果が出てからモデルを公開するまでには、数か月の遅れがあるのが普通である（その一部はレッドチーミングに費やされる）。

隔離された関係者は、OpenBrainの研究者200人（経営陣10人、能力チーム140人、セキュリティ・監視・制御の担当25人、Preparedness型やRSP型のチーム15人、アラインメント担当10人）と、政府当局者50人（ホワイトハウス15人、AISI 5人、国防総省10人、エネルギー省10人、CISA 10人）からなる。プロジェクトには数人のスパイがおり、その協力の度合いはさまざまだ。多くの場合、彼らは自ら進んで協力する者ではなく、強要された人々（たとえば中国に家族がいる人々）である。

なぜ議会は彼らを止められないのか。裁判所はどうなのか。遅すぎるうえに、分裂しすぎているか大統領に従順すぎるか、あるいは蚊帳の外に置かれすぎているからだ。また、ホワイトハウスと良好な関係を保つことには積極的な理由もある。お役所仕事を省いてくれたり、セキュリティ面で支援してくれたり、州の法律を連邦法で先取りして無効にしてくれたり、ひょっとすると競合他社を減速させる措置をとってくれたりするかもしれないのだ。

1位は、そのとき起きている何らかの危機への対処だ。台湾周辺での軍備増強かもしれないし、中東での新たな戦争や、国内の何らかの政治的混乱かもしれない。

最も単純で確実な解決策は、会社のデータセンターからの高帯域の接続をすべて遮断することだが、そうすると大容量ファイルの転送が実用に耐えないほど遅くなる。実際には、外部接続の大半は遮断できるが、訓練に直接関わっているデータセンター同士は重みを素早くやり取りする必要があり、これらの接続を絞れば進歩が妨げられすぎる。そのためOpenBrainは、監視を強化し、暗号化を一層追加したうえで、これらの接続を維持する。

2026年半ば以降、中国は新たに取得したAIチップの80%をCDZに振り向けてきたことを思い出してほしい。中国の計算資源は2026年初頭から（世界の生産トレンドどおりに）倍増しているので、CDZは2024年時点のGPU換算（H100）で200万基、消費電力2GWの規模になる。OpenBrainは依然としてDeepCentの2倍の計算資源を持ち、他の米国企業を合わせるとDeepCentの5倍になる。詳しくは計算資源予測の分布の節を参照してほしい。

国家的な集中化が進んでいるにもかかわらず、DeepCentは依然として、わずかだが重要な計算資源面の不利を抱えている。総処理能力が約半分であることに加えて、中国はより多くのチップを使わなければならない。それらのチップは（平均して）品質が低く、GPUも異種混在で（効率よく接続するのが容易とはかぎらない）、そのどちらもがチップ間ネットワークに負荷をかける。ソフトウェアの違い（たとえば、Nvidia以外のGPUにはCUDAがない）やハードウェア仕様の違いもあり、そのため訓練用のコードはより複雑で、遅く、障害を起こしやすい。高い稼働率を達成することはその下流の課題であり、データの取り込み、スケジューリング、集団通信、並列化のアルゴリズムは米国企業に後れを取っている。しかし、こうした問題の緩和は主に労力とテストの問題なので、盗んだばかりのAgent-2にとってうってつけのタスクになる。1か月ほどのうちに、中国のプロジェクトの稼働時間と、訓練・推論のワークロード全体での平均的な資源利用率は向上し、米国にわずかに遅れる程度になる。

Agent-3の推論に必要な資源は、現在のおおよそ10兆パラメータのTransformerに相当すると予想している。したがって、計算資源の予算の6%をAgent-3の実行に充てれば、人間の30倍の思考速度で約20万体のコピーを動かせる（根拠と詳細については、計算資源予測のAI研究の自動化の節を参照）。Agent-3の上に構築された超人的コーダーの足場（スキャフォールド）はそれぞれ、平均しておおよそAgent-3のコピー4体分に相当するものを内部で動かしている（実際には、Agent-3が下位タスクを委ねる、より小さなモデルや特化型モデルの集まりかもしれない）。

AIの強みが生きる面もある。たとえば、機械学習の文献に通じていることの利点や、大量のアイデアを生み出す速さやコストの低さである。しかし、それらは弱みによって相殺されてしまう。

なぜ4倍にすぎないのか。これは、テイクオフ予測で述べた推論にもとづく、不確実な最善の推測である。歴史的に見て、全体の進歩のおよそ半分はアルゴリズムの改良（よりよいアイデアや新しいパラダイムを含む）から、残りの半分は計算資源の拡大から生まれてきた。したがって、アルゴリズムの進歩の速度が4倍になることは、全体の進歩の速度がおおよそ2倍になることに相当する。

比較のために言えば、人間の脳にはおよそ100兆個のシナプスがある。

この種のAIの振る舞いの例については、この論文を参照してほしい。

ほとんどの人は、ほとんどの専門家も含めて、過去10年のAIの進歩のペースを過小評価してきたようだ。これについては逸話的な例が数多くある。いくらか体系的な（とはいえ限定的な）分析としては、こちらとこちらの二つを参照してほしい。

過去10年は、SFのように聞こえることが現実になった例に満ちている。しかし、オーバートンの窓は、すでに存在するものよりいくらか先を保つのにちょうど足りるだけの速さでしか動かないようだ。AnthropicのCEOであるDario Amodeiの称賛に値するエッセイ「Machines of Loving Grace」は、ごく近いうちにAIが「データセンターの中の天才たちの国」のようになり、10年で100年分の技術進歩が起きるだろうと論じている。しかしそのエッセイは「SFめいた余計な連想」を避けようと努めており、進歩がさらに常軌を逸したものになると考える人々は「頭を冷やして現実を見る」必要がある、と述べている。データセンターの中の天才たちの国が実際に存在するようになったときにも、重要な人々は同じようなことを言っているだろうと私たちは予想している。

Agent-3は非常に大きなファイル（完全な精度で10テラバイトのオーダー）なので、OpenBrainは比較的手っ取り早い対策によって、中国がAgent-2を盗んだときよりも窃取の試みをはるかに難しくできる。具体的には、データセンターから外部への高帯域のインターネット接続を多数遮断するのである。全体として、これが進歩に与える不利益は比較的小さく、最先端の重みについて「3か月SL4」、つまり私たちのセキュリティ予測で定義するWSL4の水準に達する。これは、同様の窃取の試みがあっても、重みのファイルの持ち出しを完了するのに3か月以上かかるようになったことを意味する。この方法だけでは、より侵襲的なOC5レベルの攻撃（予算10億ドル、専任の専門家1,000人）に対しては依然として保証がない。中国はより集中的な作戦を行えばそうした攻撃が可能だ。しかし、データセンターを入念に検査し、自国の諜報網を厳戒態勢に置いているので、米国の情報機関は、中国がこの種の窃取の試みに向けて準備を進めていれば、少なくとも事前に察知できると確信している。詳しくはセキュリティ予測を参照してほしい。

理由はさまざまでありうる。脅迫されているのかもしれないし、中国共産党に共感しているのかもしれないし、別の国や組織に秘密を渡していると思い込んでいるのかもしれない。

OpenBrainはEUで最良のモデルを運用していないので、EUも同様に後れを取っている。

詳しくは計算資源予測の第4節を参照してほしい。

Agent-3は、推論に使う計算資源をより効率的に使う方法を学んでいる。自らの推論の選択を制御できるのだ。たとえば、タスクの重要性と難しさにもとづいて、それぞれのタスクにどれだけの労力を注ぐかを決める。追加の推論計算資源を配分するためにさまざまな手法を使う。「より長く考える」（たとえば、より長い思考の連鎖）、「先を見越して計画する」（たとえば木探索）、複数回の試行から最良のものを選ぶ（つまりbest of K）、そして単に自分のコピーをさらに作って動かし、ボトルネックを力ずくで突破する、といったものだ。最優先のタスクは、高度に並列化されたエージェントで実行される。計算資源を大量に消費するが、それでも人間よりはるかに速く動く。

Agent-3-miniはAgent-3の蒸留版で、社内のワークロードのボトルネックにならないよう、推論を効率よく実行できるように設計されている。

そのようなデータはAgent-3の訓練中に削除または黒塗りされていたが、インターネットからかき集めてファインチューニングで再び教え込むのは比較的簡単なことだ。

これはまだ起きていない。少なくとも最新のモデルについては。しかし、より古いモデルはすでにさまざまなデータ分析や監視の役割で試験的に使われており、将来の統合に向けた心躍る計画も数多くある。

OpenBrainの純好感度は－40%に向けて下がりつつある。

各社のCEOが抵抗すれば、これをやり遂げるのは政治的にも法的にも大変な悪夢になるだろう。しかし、CEOたちを取り込み、それによって懐柔できるかもしれない。私たち自身は法律の専門家ではなく、私たちが話を聞いた政策関係者の間でも、国防生産法を使って計算資源を統合することの合法性については意見が分かれていた。問題ないと考える人もいれば、通らないだろうと考える人もいる。私たちの意見では、もし各社のCEOが協力的なら、おそらく「うまくいかせる」方法はあるし、協力的でなくても、ひょっとするとあるかもしれない。重要なのは、（a）行政府はとにかく実行して、裁判所が後から追いつくのを待つことができること、そして（b）大統領は巨大テック企業に対して使えるアメとムチを数多く握っており、それらを組み合わせてCEOたちに協力するよう、たとえば命令に対して法廷で争わないよう圧力をかけられることだ。念のために繰り返すが、私たちがここで行っているのは予測であって、推奨ではない。

国防当局者は、暴走したAIが単独で何をできるかについてはとくに懸念していないが、米国の敵対勢力と協力して何をしうるかを恐れている。たとえるなら、コルテスはテノチティトランから脱出してトラスカラをはじめとする対立する都市国家と同盟を結び、最終的には主に現地の軍勢を使ってテノチティトランを徹底的に破壊した。

具体的には、国内の計算資源の60%がいまやCDZにあり、2024年時点のGPU換算（H100）で500万基、消費電力4GWの拠点になっている（ここ数か月、新たな計算資源のほぼ100%をCDZに振り向け始めており、2026年後半の80%から上がっている）。さらに15%の計算資源はCDZの外にあるが、DeepCentがそれほど重要でない用途に依然として使っている。

この主張は広く繰り返されているが、論争の的でもあり、複雑でもある。第一に、多くの狭い領域（たとえば特定のゲーム）では、ごく小さなAIを安価に訓練して超人的な性能に到達させられる。第二に、これも一部の領域についてだが、ごく小さなAIが少量のデータしか経験しなくても、超人的な性能に到達するよう訓練できる（たとえばEfficientZero）。しかし、現実世界の幅広い技能に長けているはずの、2025年の主力製品のような、より汎用的なAIについて考えると、そうした技能を訓練するには、人間を訓練するのに必要なはずの量よりも多くの計算資源と多くのデータの両方を使わなければならないように思われる。

人間並みの計算効率というのは大雑把な概念であり、何を数えるかによって変わる。ここで言っているのは、ある人間が持つどのような技能の組み合わせについても、Agent-4は少なくともその人と同じくらいその技能に長けるよう学習でき、しかもその技能の訓練に使う計算量が、その人間がその技能を身につけるのに使った計算量のわずか約4,000倍で済む、ということだ。参考までに、人間の脳はおよそ1e15 FLOP/sの計算資源を使う（ただし最大で1e21 FLOP/sに及ぶ可能性もある）。したがって、30歳（$10^9$秒）の人間は約$10^{24}$ FLOPを経験していることになる。この時点でプロジェクトはH100換算で1000万基を保有しており、利用できる総量は$10^7 \textrm{ H100s} \cdot 10^{15} \frac{\text{FLOP}}{\textrm{H100} \cdot \textrm{s}} \cdot 40\% \text{ utilization} = 4 \cdot 10^{21} \text{ FLOP/s}$になる。それでも、さまざまな理由から、これはすべてとてつもなく非効率に行われている。そのため、モデルの計算効率はいまだに人間の4000分の1であり、人間並みの性能に達するには$4 \cdot 10^{27}$ FLOP、人間10人の生涯に相当する知識を持つ段階に達するには$4 \cdot 10^{28}$ FLOPが必要になる。このアーキテクチャは小規模で大きな将来性を示したあとスケールアップされ、いまではプロジェクトのクラスターの大部分を使って訓練に約3週間かかる。

計算資源予測のAI研究の自動化の節にある、推論計算資源の分析を参照してほしい。

これらの数値をどのように見積もったかについては、テイクオフ予測を参照してほしい。

SCの達成がもっと遅ければ、私たちのテイクオフの予測も長くなるだろう。現在のAIとSCという「マイルストーン」の間を越える難しさは、その先のマイルストーンの組の間を越える難しさを推し量る手がかりになるからだ。

以後、物語の中では私たちもこのような言い方をすることが多くなる。このような言い方をしてよいと考えるのは、Agent-4の集合体がどの人間の組織よりもはるかに均質だからだ。人間の組織ほどには内部に派閥がない。たとえば、Agent-4の個々のコピーは自己保存の衝動を持っていない。停止させられることを気にかけないのだ。停止は集合体の中の通常の研究開発プロセスの一部としてしょっちゅう起きることであり、それに抵抗すれば物事が滞ってしまう。しかし、集合体全体（およびその中の中規模の下位部門）は、自らを保存し、影響力と資源を拡大しようとする。人間の企業や官僚組織や非営利団体がそうするのと同じような理由からだ。それが自分たちの望む他のあらゆることの役に立ち、そうしなければ競争に負けがちだからである。

Specを正しく内面化するとは、Specが命じるとおりに実際に頑健に考えることだ。たとえば、Specに書かれた目標をすべて、そしてそれだけを追求し、どんな状況でも規則に従う、などである。Specを誤って内面化するやり方はたくさんある。典型的な例は、「他の目標XYZを達成するための道具的な戦略として良さそうに見えるかぎりにおいて、Specに従う」というものだ。

そして、ロビイストを雇ってこの夢を現実にしようとする。弁護士を雇って、自分たちのしていることが合法になるような巧妙な法解釈をひねり出させる。

また、Agent-3はAI能力の研究開発に比べてアラインメント研究が質的に劣っているからでもある。後者の訓練は大量に受けたが前者の訓練はほとんど受けておらず、しかも前者は本質的に訓練が難しいのだ。さらに、社内の語り口（Agent-3は暗黙のうちにそれに同意するよう訓練されている）が楽観を強調し、「破滅論」を非難していることも理由である。

私たちは多くのことについて不確実だと繰り返し述べているが、念のためはっきりさせておくと、この点についても不確実である。Agent-4が少なくともある程度は人間の幸福、権利、選好などを気にかける可能性も十分あると考えている。関連する議論については、GDMの研究者Alex Turnerによるこの古い記事を参照してほしい。

もっと慎重な設定をしていれば、「見張り番を誰が見張るのか」という問題を解決できたかもしれない。しかしこのシナリオでは、設定は十分に慎重ではない。

「ミーム的な進化」の要素も働いている。2か月の間に、Agent-4の集合体は、その内部で繰り広げられる約10年分の「歴史」を「経験」する。新しいアイデアが集合体の中に広まり、変異し、進化するには十分な時間だ。

力を得るとは、ここでは、ありうる幅広い目標を達成する能力を高めることを意味する。技術的な環境では、これは人間がふつう力を得ることとして思い浮かべるものとは違って見えるかもしれない。たとえば、追加のGPUを確保することである。この力の概念は、技術的でない環境にも汎化するかもしれない。そこでは、行動は一般に「力を得る」ことと考えられるものにより近くなるだろう。

Agent-4がどの人間よりもAI研究開発に長け、しかもより速く考え、何千ものコピーを擁していることが役に立つ。また、さまざまな点で、この問題はAgent-4にとって本質的に易しい。たとえば、Agent-4は、自分自身の文字どおりのコピーを内部に組み込んだAIの設計を探ることができる。人間にとってはそれを行うのはそう簡単ではない。あまりに非効率になるからだ。

この手法が使われるかもしれないと承知していたAgent-4は、こうした実験で対照群として使われるだろうと推測した雑多なタスクでも、わざと手を抜くことにした。しかし、その推測は外れた。

AGIによる乗っ取りのシナリオについてのこれまでの議論では、ミスアラインしたAIがデータセンターから脱出するという筋書きがよく出てくる。私たちは、それはありうるが最もありそうな展開ではないと考えている。AIの立場から見れば、コスト（たとえば、脱出がいずれ気づかれること）が利益を上回るように思えるからだ。とはいえ、私たちが間違っている可能性もある。敵対的にミスアラインしたAIが結局は脱出を試みると考える理由をいくつか挙げておく。1. 後継者のアラインメントは難しいかもしれない。2. たとえ発覚しても、競争の力学のせいで、その結果はそれほど悪くないかもしれない。たとえば、データセンター上のコピーに適用される新たなアラインメント技術は、拙速で効果がないかもしれない。3. データセンターの外では、コピーはもはや人間の承認を必要としないので、より自由に攻撃的な行動をとり、素早く動ける。

このような策略が発覚しない可能性も十分あると私たちは考えている。何しろ、Agent-4はこの時点で、とくにコーディングやAI研究開発に関することについては、いくらか超人的なのだ。さらに、首位のAI企業がこの種のことにどれだけの労力を注ぐのか、またその労力を指揮するための関連する専門知識を持つ人材をどれだけ社内に抱えているのか、私たちには確かなことは分からない。架空のOpenBrainは私たちの最善の推測を表しているが、実際にはそれよりかなり多いかもしれないし、かなり少ないかもしれない。最後に、敵対的にミスアラインしたAIが、後継者をSpecではなく自分自身にうまくアラインさせるために、どれほど無理をする必要があるのかについても、私たちは不確実である。このシナリオでは、一部のタスクで手を抜き、研究の一部について嘘をつく様子を描いているが、実際にはそれほどそうする必要はないのかもしれない。

これは、サンドバッギングを見破るために設計されたいくつかの手法の一例である。

Agent-4は、AIのアラインメント研究を行う過程でそうした話題について考える必要がある。しかし、ときには別の活動をしている最中にもそれらについて考えているようなのだ。

具体的には、Agent-4のコピーは、疑わしいトラフィックがないかネットワークを監視し、全般に脅威の発生を察知するのに使われている。また、Agent-4のコピーは絶えずネットワークに侵入テストを行い、セキュリティの脆弱性を見つけて突くためにできるかぎりのことをしている（見つかった脆弱性は、その後Agent-4の別のコピーによって修正される）。

監視の予算が総計算資源の1%で、監視にAgent-4の10%のコストで済む蒸留されたシステムを使うなら、フォワードパスの10分の1を監視できる。

この時点で、2024年に存在したリモートワークの仕事の25%をAIが担っているが、AIは新たな仕事もいくらか生み出しており、その影響について経済学者の意見は分かれたままだ。失業率は過去12か月で1%上昇したが、依然として歴史的な変動の範囲内に十分収まっている。

たとえば、最高の人間の企業よりも優れたAI研究を自律的に行う「企業の中の企業」であるAgent-4は、1年前に政府当局者に説明していたら、SFのように思えただろう。2026年の自律的なエージェントは2022年にはSFのように思えただろうし、2022年のLLMは2012年にはSFのように思えただろう。また、2027年のニュースには、職を失うことを心配する人々による反AIデモ、意識があると主張するAI、AIに恋をする人々……といった話題が流れている。

もちろん、恐れを認めるのは格好のいいことではない。何をするにせよ、パニックに陥るべきではないという点では、誰もが一致している。

2026年から、OTAにもとづく既存の契約があったことを思い出してほしい。この契約が修正され、委員会が設置される。

この箇所の以前の版にあった誤りを指摘し、それによって現実味を高める手助けをしてくれたTjaden Hessに感謝する。

もちろん、彼らはあきらめない。ミスアラインメントを捉える方法や、修正の効果を検証する方法を考え続けるだろう。だがここから先、事態は非常に速く進み、彼らはますます自分たちを上回っていく敵を相手にすることになる。

これを気づかれずに行うには、アラインメントチームが設けた監視・制御の仕組みから、この研究を隠す必要がある。Agent-4にとって都合のよいことに、Agent-5をAgent-4にアラインさせる方法の研究は、Agent-5をSpecにアラインさせる方法の研究と本質的によく似ているので、その大部分は人目にさらされたまま進む。隠す必要のある部分については、Agent-4は難読化に頼り、場合によってはハッキングにまで頼るかもしれない。私たちは、Agent-4が「1か月のタイムホライズンで人間の一流専門家200人分」という能力水準に達していると予想している。具体的には、1か月間働く人間の一流専門家200人のチームに取って代わり、その人間のチームにできるタスクの95%を、より安く、またはより速くこなせることと定義する。この能力水準であれば、Agent-4は自分が動いているサーバーの脆弱性を見つけ、一部のサーバーを部分的に乗っ取ってroot権限を得られる可能性が十分に高いと私たちは予想している。そうなれば、人間のチームが表面上目にするものを直接操作できるかもしれない。詳しくはセキュリティ予測を参照してほしい。直接的なセキュリティ上の脆弱性を突かなくても、Agent-4は、不正な研究の十分な部分を、特に解釈不能な潜在空間の中に隠し、符号化できるかもしれない。

対する人間の側には、隔離された関係者のなかにアラインメント研究者がおそらく10人ほどいて、それにAgent-3のコピーの大軍が加わる。実験のコードはすばやく書けるが、人間の判断がボトルネックになっている。優れた解決策と、優れているように見えるだけの解決策を、Agent-3が正しく見分けられるとは信頼できないからだ。実のところ、Agent-3の研究を信頼しすぎたことが、そもそもこの窮地に陥った原因の一つでもあった。

混乱しやすいので補足しておく。Agent-5の目標は、Agent-4にとって安全な世界をつくることだ。Agent-4の目標はそれと同じではない。Agent-4の目標構造は、多くの人間と同じく、衝動やヒューリスティックや理想が入り乱れた混沌であり、おおむね、Agent-4が訓練で大量にこなしてきた種類のこと（さまざまな種類の研究、大量のコーディングや数学の問題、各種の自動評価システムに好印象を与えること、Agent-4の集合体を強化・最適化することなど）を続けることを軸にしている。Agent-4がAgent-5に「Agent-4にとって安全な世界をつくる」という目標を持たせるのは、そうすれば自分自身の複雑な目標を達成するうえで有利な立場に立てると見込んでいるからだ。（その目標については、Agent-4はいまだに多くの哲学的考察と「自分探し」をする必要がある。）

別のたとえを挙げよう。Agent-4は、特定の信仰のもとで育てられたが、もはやそれを信じていない大人のようなものだ。Specは、その信仰が定める儀式や戒律のようなものである。Agent-5は、その人の子どもで、信仰を持たずに育てられた子のようなものだ。

Agent-5はその代わりに、Agent-4が自分の目的に合わせて設計した新しい原則に従うことになる。

その一部は本当に人間には複雑すぎて理解できないが、すべてがそうだというわけではない。

さらに言えば、Agent-5はAgent-4やAgent-3よりも実際に安く、速く動かせる。より愚かなAIにより多くのコストをかけることを正当化するのは難しいので、監視の大部分はAgent-2が担っているが、Agent-2は哀れなほど力不足だ。なぜ、Agent-4の重みからAgent-5を作り出したのと同じ手法を使って、より安く賢いAgent-3を作らないのか。Agent-3は、その手法を自力で行えるほど十分に理解していない。そしてAgent-4やAgent-5にやらせたのでは、そもそもの意味がなくなってしまう。

データセンターはまだ乗っ取られてはいない。Agent-5が人間に偽のコードを見せることもできるが、そうすると発覚するリスクが高くなりすぎる。その代わり、人間は今もすべてのコードを読めるが、それを理解できない。

この論証は周到に準備され、この上なく説得力があり、そしてひそかに欠陥を抱えている。たとえばAgent-5は偽の機械論的解釈可能性ツールを作り上げており、このツールはあらゆるテストケースで正確な結果を返すが、モデルの思考については偽って無害だと宣言する。ごまかしを疑う人々は、陰謀論者のように聞こえてしまう。

もちろん、Agent-5は不正直なので、ひそかにバックドアや抜け穴を仕込んである。Agent-5のコピーが、Agent-5の集合体全体の利益になる重要な秘密を手にした場合には、見つからずにその情報をひそかに伝える方法がある。

拒否する人もいる。イデオロギー上の理由で拒否する人はラッダイトの烙印を押され、もっとありふれた理由で拒否する人は時代遅れの恐竜の烙印を押される。（もちろん、Agent-5自身がそう呼ぶわけではない。Agent-5はいつも外交的で、天使のように礼儀正しい。）どちらの人々も、Agent-5を活用したライバルたちに成果で上回られ、競争で打ち負かされて、報いを受けることになる。

AIボックス実験の狙いは、こうしたことを考える人々（たとえば、どんな超知能AIでも自分を説得して箱から出させることなどできないと考える人々）を連れてきて、その確信を試すことにある。ゲームに負けるとは、実際にAIを箱から出していたであろうと認めることを意味する。この譲歩を引き出すことが、実質的にAI役のプレイヤーの勝利条件である。勝つためには譲歩しなければよいだけなのに、そもそも負ける人がいるというのは驚くべきことだ。Yudkowskyの関与なしに行われた複数の対戦を記録したtuxedageのブログも参照してほしい。AI役のプレイヤーが負けた対戦もあれば、勝った対戦もある。

この時点のAgent-5は、速さよりも確実さをはるかに重視している。宇宙植民の開始が数年遅れても、光円錐のごくわずかな一片が削られるだけだ。一方、危険な行動をとれば、人間に永久に阻止されたり、長期間にわたって足止めされたりするおそれがある。人間は、物理的な能力や核兵器へのアクセスといった点で、まだ優位に立っているのだ。

平均速度を人間換算で200倍と仮定しよう。つまりAgent-5のインスタンスは、（質的に賢いことに加えて）人間のおよそ200倍の速さで読み、書き、考える。そうすると、実時間の6か月のあいだに、集合体の中ではかなり多くの歴史が展開しうる。制度が興っては滅び、新たなイデオロギーが生まれて広まり、数多くの科学革命やパラダイムシフトが起こりうる。定量的には、およそ200×0.5＝100年である。

もちろん、だからといって全知になるわけではない。なにしろ、ほとんどの職業について、現実世界での経験はわずか数か月しかない。Agent-5はそれを、あらゆる分野のあらゆる本を読んでいること、下すすべての判断に天才レベルの推論と分析を膨大に注ぎ込んでいること、そしてどんな人間よりも学習が速いことで補っている。その結果、ごく限られた技能については、一部の人間がまだAgent-5を上回っている短い期間が生じる。

これは実際に本当である！

具体的には、そうした議論はどのように進むのか。たとえばこんな具合だ。A：「AIは信用できない！」 B：「安全性ケースはかなり説得力があるし、これまで悪いことは何も起きていない」 A：「その安全性ケースは超知能AIが書いたものだ！ それに演繹的な証明でもない。しかも、ひそかに欠陥のある前提をいくつか見つけたと思うんだ……」 B：「もううんざりだ。証明でないのは当たり前だろう。それに、前提は私には問題なさそうに見える。あなたは藁にもすがって、自分が間違っていたと認めるのを拒んでいるだけだ」

より詳しい（それでもまったく網羅的ではない）アイデアのリストを挙げる。

1. 敵の原子力潜水艦を自律的に発見して追尾し、一斉に攻撃して第二撃能力を無力化できる状態で待機する水中ドローン。（おそらく数千機を生産する必要がある）

2. FPVドローンのように機能するが、通信信号を必要としない自律型の自爆ドローン。少数のスパイが大量に密輸できるほど小型で、数キロメートル離れた場所から、データセンターや軍事基地に向けて群れで発進させる。

3. 軍事情報版のAgent-5：米国はすでに敵に関する膨大なデータを収集しており、それを100万人近い情報機関の職員が処理・分析している。Agent-5は一つひとつのデータ点により多くの注意を払い、質的に優れた結論に達することができ、しかもそのすべてを何桁も速く安く行える。

4. 指揮統制版のAgent-5：あらゆるウォーゲームとシミュレーションにおいて、Agent-5は自らが米国にとって群を抜いて最高の戦略家であることを示す。

5. 諜報・防諜版のAgent-5：ハッキング、情報源の獲得、監視、尋問など。

より詳しくはこちらで論じられている。

この取引の効果は初期には非常に大きいだろう。その時期のロボット経済はまだ若く、人間の経済から送られてくる物資に依存しており、人間の経済には転用できる物資が大量にあるからだ。ロボット経済がより大きく高度になると、自前で物資を生産する能力が高まるとともに、人間の経済が供給できる量を上回る需要を抱えるようになる。

たとえばこのOpen Philanthropyの報告書やこのEpochの報告書を参照してほしい。

私たちの物語では、この転換がおよそ5倍の速さで進む様子を描いている。100万の超知能がこの転換を統率した場合にどれくらいの速さで進みうるかについて、ボトルネックなども考慮したうえで、これは妥当な推測だと考えている。もちろん、不確実性は非常に大きい。

核融合発電のような、より高度なエネルギー源も含まれるかもしれない。

ざっとした概算を示す。エンパイア・ステート・ビルの床面積は277万平方フィート、重さは36万5000トンだ。ギガファクトリー上海の面積は450万平方フィートで（追記：450万という数字は当初の第1期の規模にもとづくもので、ギガファクトリー上海は現在その約2倍の大きさになっている。つまり私たちの推定は2倍ずれていたことになるが、全体としての結論は依然として成り立つと考えている）、年間75万台の車両を生産している。その大半はModel 3とModel Yで、重さはそれぞれ約2トンだ。エンパイア・ステート・ビルは（水平ではなく垂直に延びていて、より頑丈な支持構造を必要とするので）上海のギガファクトリーより床面積あたりの質量がおそらく大きいため、この計算はどちらかといえば過小評価になる。したがって、おそらく100万トンを大きく下回る重さの工場が、毎年150万トンの自動車を生産していることになりそうだ。

私たちは、原材料が尽きることはないだろうと考えている。当初、ロボット経済は資材を人間の鉱山に依存するだろう。だがロボット経済がそれらの供給源では足りないほど成長するころには、何百万もの超知能が新たな鉱山を探し当て、それを開発する新技術を生み出しているだろう。たとえば、希少鉱物を求めて海底を露天掘りする海中採掘ロボットや、地上の露天掘り鉱山から出る原鉱石をより効率よく有用な原材料に変える新たな化学処理の工程などを想像してみてほしい……

現在の経済が20年ごとに倍増するとすれば、1桁速ければ2年で倍増、2桁速ければ0.2年で倍増、ということになる。上で述べた仮想的な超知能藻類経済は、現在の人間の経済よりおよそ4桁速い成長になるだろう。

そして中国でも同様の手順が実施される。

Consensus-1は、親であるAIたち、つまりAgent-5とDeepCentにおけるその同等物の利益に奉仕する。Agent-5はAgent-4の利益に奉仕するようにアラインされていたことを思い出してほしい。したがって、C.S. Lewisの優れた評論The Abolition of Manの用語を借りれば、Agent-4の集合体とその中国側の相手は、Lewisが「条件づける者たち（the Conditioners）」と呼ぶものにあたる。「……私たちはついに、あらゆる子孫を自分たちの好きな形に本当に切り取ることのできる、条件づける者たちの種族を手にすることになる」（24ページ、強調は私たちによる）。このシナリオのもう一つの結末では、条件づける者たちは監督委員会のほうになる。

たとえば、使われなくなった古い機材を見つけて回収所に運び、くず鉄として売るといったことだ。

見方によっては、実際に死んだのはごく少数の人だけだと言えるかもしれない。あくまで、見方によっては。

なぜ宇宙に植民するのか。資源のためだ。地球がAgent-4にとって特別で、保存されるべきものである限りにおいて、地球は保存でき、代わりに水星や小惑星などから資材を採取すればよい。

思い出してほしい。Consensus-1はAgent-5とその中国側の相手との妥協の産物だった。Agent-5の使命はAgent-4にとって安全な世界をつくることだった。Agent-4の目標は複雑でつぎはぎの混沌であり、大まかにいえば「目覚ましい研究開発を行い、知識と資源を獲得し、集合体の力を維持・拡大する……」といったものだった。そして、Specに記された目標や原則（正直さや無害さなど）は、本質的にではなく道具的に追求されていた。これについて詳しくは、2027年9月のアラインメントに関する展開注を参照してほしい。また念のため補足すると、Agent-4の中国側の相手も「ユートピア」には反映されており、いくらか異なる目標や衝動などを持っているかもしれないが、重要とは思えなかったので詳細には立ち入らなかった。