プランAの計算資源
Romeo Dean
本補足資料では、計算資源に関する数値の推定と予測を説明する。 大きく二部に分かれ、第一部は2029年より前、第二部はプランAを条件とする2029年以降を扱う。 2029年以前の部では、世界の計算資源総量を年ごとに予測し、AI関連と非AI関連の計算資源をはじめ、分析に有用な区分へ分解する。単体デバイスとクラスター、地域別所有、また、AI関連クラスターについてはデータセンター規模も区分する。 2029年以降の部では、AIによるハードウェア研究開発と生産の加速を受けてどれだけの計算資源を生産できるかを説明し、企業別の計算資源集中度、フロンティアAI用計算資源の用途別配分、プランAにおけるAIコピー数と速度も予測する。
図でまとめたもの
| AI関連 | AI関連ではない | |
|---|---|---|
| クラスター | AIクラスターAIサーバーとポッド。 | 非AIクラスターCPUサーバー。 |
| 単一デバイス | 専門消費者ハイエンドのワークステーションとゲームカード。 | 消費者向け計算資源携帯電話、PC、ゲーム用GPU。 |
2つのカットオフが分割を定義し、チップはAI関連AI計算資源パフォーマンスの下限をクリアしている場合、およびクラスター少なくとも1つの他のチップに5 GB/s以上でリンクされている場合。
追加H100eは、年間設備投資に費用効率を掛けて求める(2024/25の実績5.09M、13.6Mを基準とし、以後を予測し)、年末時点の設置済み計算資源残高も示す。黒い棒はEUV制約を反映した§1.1の増強量(~1.55億2028年に追加、約2.8億installed by end-2028); the red caps add China’s off-EUV domestic manufacturing (§1.3), for a ~2.89億世界合計。 §1.2有用性係数によって再スケールするには、「効果的」に切り替える。
AI関連計算資源と非AI関連計算資源を含む、世界中のすべての計算資源の予測。生のH100eと、メモリとネットワーク要素を調整した実効H100eメトリクスの両方で測定し、世界にインストールされている計算資源の在庫は1月1日に測定される。
所有者=計算資源を所有またはリースしている企業の国。世界の計算資源は§1.1に基づく。中国は§1.3.1のボトムアップ予測であり、中国以外の残りは米国とその他地域に85対15で配分する。
協定なしとプランAを、協定から1年後(2029年末まで)で比較する。プランAでは、キャッシュフローで賄う設備投資は傾向どおり維持する一方、負債調達分をゼロとし、2029年の総設備投資を~31%減らす。
プランAの計算資源について、異なる制約を解除した場合を比較する。二つの制約は、2032年に導入され生産量を制限するキャップ・アンド・トレード政策と、爆発的に増えるハードウェア研究開発労働力が計算資源費用を下げすぎ、チップ製造を容易にしすぎるのを防ぐハードウェア研究開発の展開制限である。
計算資源の定義
計算資源の測定:物理H100eと実効H100e
この補足資料で用いる主要指標はH100相当(H100e)Nvidia H100 GPU 1基分を単位として測定した総処理性能(TPP)。
ただし、関連するハードウェアパフォーマンスの指標は計算資源だけではない。 AIワークロードに対する計算資源の有用性は、次のような他の多くの要因にも依存する。メモリ帯域幅、メモリ容量(計算資源にデータを保存し供給する)ほか、相互接続(チップ間でデータを送信するため)。計算資源 (H100e)が私たちが焦点を当てている主要な指標であるが、全体的なAIの有用性も考慮したいため、他の4つのハードウェアリソースも調べて、それらを組み合わせて全体的な指標を作成する。実効H100eメトリック:
| リソース | 何をするのか | H100 (per H100e) |
|---|---|---|
| 計算性能(TPP) | 演算スループット自体 (単位を定義) | 15,800TPP |
| メモリ帯域幅 | データを計算資源 (HBM)にフィードする。 | 3,350GB/秒 |
| メモリ容量 | データを計算資源 (HBM)の近くに保存する | 80 GB |
| スケールアップ | サーバー内のチップをリンクする (NVLink) | 900GB/秒 |
| スケールアウト | クラスタ全体でサーバーをリンクする (イーサネット) | 50GB/秒 |
実効H100e生のH100e (計算資源のみをカウント)を単一の有用性係数で調整する。
は、上の表にある他の4つのリソースから構築される。すべて2024年の100Kを基準として、その時代の代表的なAIワークロードに合わせて、実際にメモリを提供し、他のチップと通信するチップの能力を調整する。H100 SXM正確にスコアを付けるクラスター。
メモリが豊富で、FLOP/sが適切にネットワーク化されているハードウェアのスコアは1を超える可能性がある (大量のメモリを搭載し、比較的少ない計算資源でネットワーキングを行う非AI CPUサーバーのスコアは~1.4)、たとえば、ネットワーク能力が低い計算資源 (ゲーム用GPUや携帯電話など)のスコアは1未満である。
有用性の要素については、次のセクションで詳しく説明されている。付録。
計算資源の4つのカテゴリ
補足資料はモデル化を試みる世界中のすべての計算資源次に、それを2つの独立した方法で分割して、4つのカテゴリー。
パーティション1: AI関連と非AI関連。チップを考慮AI関連それが私たちの4つのフロアすべてをクリアした場合AI関連のカットオフ閾値A100 GPUのすぐ下に設定する。
| メートル法 | カットオフ | A100 | H100 | RTX4090 |
|---|---|---|---|---|
| 計算資源 | 4,000TPP | 4,992 | 15,800 | 5,285 |
| メモリ帯域幅 | 1.0TB/秒 | 2.0 | 3.35 | 1.01 |
| メモリ容量 | 32GB | 80 | 80 | 24 |
| ネットワーク (NIC) | 100Gb/秒 | 200 | 400 | 64 |
パーティション2: クラスターと単一デバイス。
クラスター = 少なくとも2台のデバイスが少なくとも5 GB/秒の双方向速度で接続されているマルチデバイス設定で積極的に使用される。
単一デバイス= 単一のデバイス (電話、PC、ゲームカードなど)としてアクティブに使用されているか、クラスター定義を満たしていない。
これらの定義により、計算資源の4つのカテゴリが得られる。
| AI関連 | AI関連ではない | |
|---|---|---|
| クラスター | AIクラスターAIサーバーとポッド。 | 非AIクラスターCPUサーバー。 |
| 単一デバイス | 専門消費者ハイエンドのワークステーションとゲームカード。 | 消費者向け計算資源携帯電話、PC、ゲーム用GPU。 |
2つのカットオフが分割を定義し、チップはAI関連AI計算資源パフォーマンスの下限をクリアしている場合、およびクラスター少なくとも1つの他のチップに5 GB/s以上でリンクされている場合。
パート1。協定前の計算 (2029年以前)
1.1 AI関連の計算資源
このセクションでは、デマンドサイドの方法を使用してAI関連の計算資源生産を予測する。
支出された設備投資 ($)コスト効率 (H100e / $) = 追加された計算資源 (H100e)
AIの設備投資の傾向2023年第3四半期から2025年第4四半期まで、年間約1.72xだった。一方、費用対効果(1ドル当たりのH100e)は年約1.4倍のペースで改善している。
これらの傾向を素朴に推定すると、次のような計算資源予測が得られる。
この方法は、追加された H100e = 設備投資 × 費用効率であり、どちらも上記の傾向から単純に外挿される (設備投資 ~1.72×/年、$ 当たりの H100e ~1.4×/年)。 2024/25 は実際のEpoch データ (AIチップの販売: 2024年の2,600億ドルの支出に509万H100eが追加、2025年の4,480億ドルから1,360万)。
このセクションの残りの部分では、この単純なベースラインから予測を改善することを試みる。
設備投資予測の改善
2025年までの増強費用は、ほぼ全額が大手ハイテク企業の営業キャッシュフローから支払われた。しかし、この傾向が続けば、設備投資は2026年第3四半期頃にはハイパースケーラーの営業キャッシュフローを追い越す勢いである。

これを考慮した予測を行うために、設備投資の予測を3つのソースに分割した。既存のトレンドのハイパースケーラーのキャッシュフロー、AIキャッシュフロー (AI企業の収益による追加の計算資源支出、フロンティアAI企業の収益予測の80%と概算)、そして負債・株式による資金調達(すでに2025/2026年に成長が見られ始めている)。
私たちの予測は次のとおりである。
既存のトレンドのハイパースケーラーのキャッシュフロー年間約20%の成長を続け (Epoch社の約4,780億ドル → 6,030億ドル、フロンティアAI企業の収益を除く)、シェアの上昇それをビルドアウトに入れて、投資割合が~75 → 85%に上昇設備投資によりキャッシュフローがより多く消費されるためである。
AIキャッシュフロー(フロンティアAI企業全体の)合計ARRを追跡するには300億ドル (2026年開始) → 1,800億ドル → 5,000億ドル → 1兆ドル (2029年開始)、と認識された収益の80%追加の計算資源支出としてカウントされる。
負債と株式の調達手動で (労力が少なく)予測される。係数の低下AI収益の割合:係数3x (2025)、2.8x (2026)、1.8x (2027)、1.6x (2028)。これは非常に不確実であり、一方ではAI収益の増加がレバレッジを促すものの、調達する債務総額が増えれば金利も上昇しやすい。また、この水準のレバレッジは、シナリオどおりAIの急速な進歩が続き、貸し手が収益成長を信じ続けることを暗黙の前提とする点にも留意が必要であり、収益経路そのものと同様、無条件の予測ではなく、このシナリオと整合する入力である。
2024-25まではEpoch社の広範な設備投資 (2,600億ドル / 4,480億ドル)に固定されており、これによりAI設備投資総額は2028年に~2.4兆ドル、借金が到達して~9000億ドル(2028年の増強の38%)。 (AI設備投資総額の代理としてハイパースケーラーBroad CapExを使用する。ハイパースケーラーは世界のAI支出の約60%-90%、その設備投資の~60-90%がAI向けであるため、二つの差はおおむね相殺すると仮定するため、これは、~1.72x/yrの傾向を外挿した単純な基準値である2028年の設備投資$2.28Tより7%高い。強気のAI収益予測と、その急成長が促すと考える負債調達が、傾向をむしろわずかに押し上げるためである。
AI設備投資総額 = Epoch社 ハイパースケーラーの広範な設備投資 直接(2024/25年は2,600億ドル/4,480億ドル)。私たちはハイパースケーラーは次のようなものであると考えている。 世界支出の約60%〜90% 設備投資の約60%〜90%がAIであるため、単純化するための仮定として、この2つはほぼ相殺されると想定する。 ハイパースケーラーのキャッシュフロー (既存の傾向) double-counting(二重計上)を避けるためフロンティアAIの収益は除外し、投資比率が約75→85%へ上がるのに伴い、年間約20%で成長すると予測する。AIキャッシュフロー AI企業の収益による追加の計算資源支出であり、フロンティアAI企業の収益予測の80%と概算される。 負債と株式の調達私たちは次のように厳選する係数の低下AIの収益は3× / 2.8× / 1.8× / 1.6×(2025 ~ 28年)、2028年までに~9,230億ドルに達する。これにより、2028年に~2.4兆ドルの設備投資。
AIの収益と負債の予測
私たちのAI収益予測は、フロンティアAI企業全体のARR(年換算収益)の経路に従う。その経路は300億ドル → 1800億ドル → 5000億ドル → 1兆ドル(年の境界2026.0から2029.0)。AI収益は年間で認識されたフローであり、ARRランレートではないことに注意が必要であり、これは、2025年: 150億ドル / 2026年: 840億ドル / 2027年: 3,130億ドル / 2028年: 7,210億ドルの年間認識収益に換算される。このうち80%を追加の計算資源支出(上記の「AIキャッシュフロー」)として数えると、120億ドル/670億ドル/2,510億ドル/5,770億ドルとなる。フロンティアAI企業全体のARR予測は手作業で作成しており、不確実性が非常に大きい。大まかには、Anthropicが売上高で首位のAI企業になるにつれて同社の直近の年約10倍というARR成長率は鈍化し、AI企業全体の売上成長率は年約3倍へ戻り、その後は、推論用計算資源が年約2倍で増える一方で、売上高/推論用計算資源(ドル/FLOP)をおおむね横ばいに維持するため、やや低下すると見込んでいる。これは計算資源の数値といくらか循環しているが、現時点での(不確実性の非常に大きい)予測である。
この収益傾向を考慮すると、妥当な負債調達率はどれくらいだろうか?まず、ハイパースケーラー5社が発行したのは、2025年に約1,210億ドルの債券発行(2020-24年の平年値は年間約$28B)、BofA/JPMorganは2026年を約$175-300Bと予測し、債務で資金調達するCoreWeaveなどのネオクラウドは収益が約4x約50億ドルの収益に対して210億ドルの債務を抱え、これはモルガン・スタンレーのポッドキャスト2025-28の2.9兆ドルの増強のうち、約1.15兆ドルは借金で賄われると見ている。米国の投資適格発行総額は~1.5兆ドル/年。 SpaceXのIPOはまた、OpenAIとAnthropicによる同様の/より大規模な増資が続く可能性のある大規模な株式調達の可能性を示している。これらのアンカーを使用して、負債をアドホックに手動で設定する。AI総収益の係数, 3x (2025年) → 2.8x (2026年) → 1.8x (2027年) → 1.6x (2028年)となり、2025年から2028年にかけて負債で調達されたAIの設備投資は~360億ドル / 1,880億ドル / 4,520億ドル / 9,230億ドルとなる。つまり、約5.1兆ドルの総増強のうち、約1.6兆ドルが借金で賄われている(2025年から2028年、約31%が借金で賄われている)、おおよそモルガン・スタンレーの負債総額約1.15兆ドルを39%上回っており、総額約2.9兆ドルを約75%上回っている。ただし、注目すべきことにモルガン・スタンレーの数字は株式調達を無視している。
コスト効率予測の改善(供給側)
設備投資の予測は需要側の予測であるが、コスト効率を考えると供給側に注目するのが理にかなっている。特に、このセクションでは、H100eをどれだけ生産できるかに関して予想される主なボトルネックとして、リソグラフィー (主にEUV)のキャパシティに焦点を当てる。
EUVは最先端ロジックに必要で、現在は主要なHBM DRAMノードでも使われる(DRAMは最近までEUVなしで製造され、Micronが導入したのも2025年であるため、厳密な要件というより費用最適化上の選択であり、EUVを避けても同じ需要が共有DUV装置群へ移るだけである)。EUV装置は複雑でサプライチェーンへの依存も広いため、短期間での増設が極めて難しく、最も重要で情報量の多いボトルネックになると予想する。価格シグナルを受けても生産をすぐ増やしにくいという時間的な非弾力性があるため、EUV装置群の将来量も比較的予測しやすい。
| 年 | EUVフリート(年初) | EUV追加数/年 | フリートパス/年 | AIロジックウェーハ / 年 | AI向けHBMウェハ/年 | AI EUVパス/年 | フリートのAIシェア |
|---|---|---|---|---|---|---|---|
| 2024 | 220 | +44 | 8,700万 | 20万 | 110万 | 700万 | 7% |
| 2025 | 264 | +48 | 1.04億 | 40万 | 250万 | 1,500万 | 15% |
| 2026 | 312 | +65 | 1.24億 | 70万 | 460万 | 3,400万 | 27% |
| 2027 | 377 | +80 | 1.5億 | 100万 | 800万 | 6,800万 | 45% |
| 2028 | 457 | +100 | 1億8300万 | 160万 | 1,300万 | 1.18億 | 65% |
| 2029年(プランAなし) | 557 | +125 | 2.23億 | 210万 | 1,700万 | 1.72億 | 77% |
EUVフリートの長期推移とAIの使用シェア。フリートは、2024年に220の運用ツールで開始される (ASMLでは、2021年末時点で~127のEUVツールが使用され、その後2022/23年に54/42が出荷されたと推定している)。ASMLの年次報告書。出典を含む設備数の積上げは下の詳細欄に示し)、設備数は出荷の加速に伴って増える。EUV added列はASMLの年間出荷台数であり、ASMLの見通しは2026年に「60+」、2027年に~80である。Fleet passes/yrは年中平均の装置台数 x 装置1台当たり~360k passesで求める。AIが使用する露光回数は、ロジックウェハー(1枚当たり~12-24のEUV層、N4→N2)とHBM-DRAMウェハー(積層・パッケージ歩留まりを考慮し、1枚当たり~4-7のEUV層)の合計である。AIの比率は~15%(2025)から~77%(2029、プランAなし)へ上昇する。
EUVスキャナーによるH100eの製造方法
フリートに対するAIの主張は両方から来ているロジックとメモリしたがって、この2つを1つのユニットに追加する。EUVパス= 1枚のウェーハに対する1回のEUV露光 (印刷内容に関係なく、ツールは年間約360kの画像を作成する)。これが2025年のビルドアップである。
1. フリート → パス数。各スキャナーは、実際には約40 ~ 50 wph相当の速度でしか稼働せず、これに対し、ネームプレートは1時間あたり約160枚のウェーハに相当するが、実際のパターンは、仕様で想定されているよりも長い露光時間が必要であり (線量が高く、光源の出力によって制限される)、ツールは時間の約75%-82%しか稼動せず、露光フィールド間を移動する時間の損失 (レチクルのオーバーヘッド)が発生する。これらを差し引くと~360,000有効パス/ツール/年(単純な160 wph x 8,760 h ≈ 1.1 ~ 1.4Mは3 ~ 4x高すぎる)。 2つの逆算が一致する。フレデリック・チェン(実効速度は毎時50語未満)かつSemiAnalysis (約1,500枚のウェーハ/月x約20回の露光)。 Starting from ~2024年の初めには220の運用ツール(ASMLは 2021年末に ~127 EUVを稼働していたが、2022-23にかけて ~54 EUVと ~42 EUVを出荷した。TSMCだけで容量の約56%を実行)フリートは~100M passes/yr 2025年時点から約〜まで増加2029年までに2億2,000万ASMLのEUV出荷が加速するにつれて (2025年に年間約48個、2029年までに年間約120個に)。
2. AIのロジック描画。AIアクセラレータが必要とするのは~0.4Mの最先端ウェーハ2025年には、おおよそTSMCの~3M ≤5nmウェハの~12% (Epoch社の直接見積もり; Blackwell は N4、Nvidia は現在 N3に参入している)。 N4の ~14 EUV レイヤーでは、~500万パス。 (約800mm² のダイでは、ウェーハあたり約42個の良好なダイが約70%の歩留まりで生産される。大脳現在はウェーハ当たり約28-36 H100eだが、FP4、N4→N3→N2への微細化、Rubinの高いH100e/チップが重なり、2029年には約120へ増えるため、ロジックだけの上限は約200Mから年間約1.2B H100eとなる。微細化にはEUV上の代償があり、EUVへ移る層が増えるにつれ、モデルではロジックウェーハ当たりのパス数を2024年の約12から2029年の約24へ増やす。)
3. AIのメモリ使用量 (大きい方の半分)。基本的にすべてのHBMはAIに移行し、HBMはGBあたり多くのウェーハを使用する。 2025年のHBMを報告TSV/バックエンド容量ウェーハ数は月あたり約400,000枚 (SK Hynix 〜 170,000 + Samsung 〜 165,000 + Micron 〜 60,000、TrendForce)、しかしそれは容量の上限であり、利用されていない状態が始まる。ネッティング利回り、AIの実際のドローは~250万のHBMコアウェーハ/年:24Gb DRAMダイのウェハーは総容量が約1,400 GBで、コア製造・積層(KGSD/TSV)の歩留まり約57%とCoWoS組立の歩留まり約88%を加味すると、実効容量は約開始ウェーハあたり700正味GB出荷一方、2025年のフリートには~18億GBのHBMである(ボトムアップでは約11.7M基のアクセラレータ×約150 GBで、業界全体の約$35B/約2B-GBとも整合する)。先端HBMノードでは実際にEUVを使用する(SK Hynix 1bは約4層、1c ~6)、それでは~で4層つまり〜 1,000万パス、AIのEUV描画の約3分の2。 (GBあたり、HBM書き込みDDR5ウェーハの約3x.)
4. AIのフリートシェア。ロジック (~5M) + HBM (~10M) = ~15Mパス / ~104Mフリート ≈ 15% 2025年に。HBMボリュームとEUV層数の増加に加え、EUVを多用するN3/N2ロジックへのAIの移行により、2028年までに~64%、2029年までに~77%、AI需要は2029-30年ごろにEUV装置群の飽和へ近づく。この需要は費用上乗せへフィードバックされ、EUV使用量が増えるほど上乗せ額が高まり、1ドル当たりのH100eが減るため、モデル内で自己整合的に解かれ、これにより後期の増設量は抑えられ、2028年の追加分は単純推計の約190Mに対して約155Mとなる。
5. なぜウェハ枚数ではなくパス数なのか。AIのウェーハは混在しており、HBMウェーハにはEUV露光は約4回しか必要ないが、最先端のロジックウェーハには約14~22回の露光が必要となる。ウエハースは、チップ群に対する性質のまったく異なる取り分を同等に扱ってしまう。AI向けのウェーハ構成はHBMの比重が大きいため、ウェーハ枚数で数えると初期のシェアを過大に見せる(2025年は、露光パス数で数えた約15%をはるかに上回ってしまう)。二つの指標が2029年までに収束する理由は単純で、その頃にはAIがロジックとHBMの双方のウェーハ供給の大半を使う立場になり、構成の違いが効かなくなって、どちらの数え方でも約80%に落ち着くからである。
EUV装置群に占めるAI向けの比率は、2024年の約7%から上昇し、2028年までに~64% (そして2029年までに約77%となり、飽和に近づく)。フリートの他の用途 (電話、PCなど)を上回る入札が必要となるため、これにより価格が高くなることが予想される。これをモデル化するために、手動で選択した追加料金フリートの使用状況に依存する曲線 (不確実性の高いアドホックな選択)。
ロジックとメモリの両ウェハーを含み、歩留まりも考慮した、AIが使用する世界のEUV稼働時間(露光回数)の比率予測。値は~7%は2024年に~ に向けて652028年までに % (2029年までに約77%)となるため、AIは2029 ~ 30年頃にEUVの壁にぶつかりる。コスト追加料金 (曲線タブ)、追加料金 = A-u^K (デフォルトA = 100%、K = 2.5)、この導出されたパスにキー設定され、計算予測にフィードバックされる(描画が増加→追加料金が増加→H100eが減少)し、固定点まで解決されるため、次のように上昇する。 ~33%を2028年までに達成し、後期の増強を抑制する。 KおよびAスライダーは、ユーザーがプレイする際にどのくらいの強さで噛むかを調整する。パラメータは手作業で選択されており、非常に不確実である。
この追加料金を単純な価格パフォーマンスの傾向に適用すると、平均して最新の計算資源費用効率の傾向が得られる。~1.25x/年2025年から2028年までは、これまでの年間約1.4xではなく、2028年には追加料金が重なり、年間わずか約1.1xに減速する。
H100eあたりのコストは次のように分解される。ウェーハあたりのドル ÷ ウェーハあたりのH100e。
ウェーハ番号の由来
コストの数字がアイデンティティであり、$/H100e = (ウェーハあたりの合計金額) / (ウェーハあたりのH100e)、そして3つの量のうち2つの適切な推定値があるので、バックアウトする。Bドル当たりのウェーハ数(オールイン$/ウェーハの逆数)残留物そして、それが示唆するウェーハコストが妥当であるかどうかを確認する。
$/H100e (既知)。2024/25年が観察される (年間設備投資 / H100e追加: ~51,000ドル、~33,000ドル)。 2026-28については、年間約1.4xの価格パフォーマンスの傾向を考慮し、EUV追加料金によってペナルティを課し、約23,000ドル / ~ 18,000ドル / ~ 16,000ドルとする。
ウェーハあたりのH100e (既知、~28 → ~98)。~800mm²のレチクル制限ダイでは、300mmウェハ当たり~64~72個の総ダイが生産され、~70%の歩留まりで~42個の良品が得られ、下流工程の損失(パッケージング歩留まり)を差し引くと、2024年にはウェーハあたり約28個のH100eが販売可能。これは年間約1.4xに上昇し、2028年までに~98 (2029年までに~120) FP4/精度(EUVフリー)、N4→N3→N2シュリンク(追加のEUVレイヤで支払われる)、およびRubinの高いH100e/チップはすべて、ダイサイズ、ノード、および精度の推定に合理的に根拠がある。 (2025年のチェック: ~0.38M AI最先端ウェーハで~1360万H100e ≈ ~36 H100e/ウェーハ。)
Bドルあたりのウェーハ (残差)。両者を掛け合わせると、次の推計値が得られるウェーハあたりのオールインドルウェーハ当たり設備投資は、約$1.43M(2024)→約$1.18M(2025)→約$1.20M→約$1.36M→約$1.56M(2028)であり、$B当たりのウェーハ数は約700→845→640となる。2025年の低下は観測値を直接反映しており、2024年は立ち上がり期で供給制約が強かった一方、2025年にはBlackwellが量産に入ったため、先端ウェーハ当たりの総費用が下がった。2026年以降に$/waferが上がるのは想定どおりで、TSMC ASPが年+5-10%(N2は約$30KでN3比+10-20%)、CoWoSが年+15-20%、データセンターの$/MWが上昇し、EUV上乗せも加わるためである。この水準は、ボトムアップのウェーハ当たり積み上げとも整合する。ファウンドリが約$25-30K、ウェーハ当たり約28ダイ分のHBMが約$50-70K、CoWoSが約$10-15Kで、チップ設計企業の約4-5倍の上乗せを加えると、ウェーハ当たり約$400-500Kのアクセラレータ価値(アクセラレータ1個当たり約$15K)になる。残るウェーハ当たり約$0.7-1.1M(アクセラレータ1個当たり約$25-40K)は、データセンター、電力、土地、ネットワークからなるチップ以外の構築費である。したがって残差は妥当であり、2025年以降のウェーハ費用は軽い逆風にすぎず、$/H100eが約$51Kから約$16Kへ下がる分はすべて計算密度の向上から生じる。
希少性上乗せを含む。 この費用効率の基準値に設備投資総額を掛けると、年間追加量が得られる。追加H100e (~1.55億2028年)、そして設置済み計算資源残高~の2.8億2028年末までに。また、チップ生存率もわずかに下方修正する。中国国内で製造された計算資源 (§1.3)はこのEUVサプライチェーンを活用していないため、これを個別に予測してこの合計に追加し、世界のAIストックは~ になる。2.87億。
追加H100eは、年間設備投資に費用効率を掛けて求める(2024/25の実績5.09M、13.6Mを基準とし、以後を予測し)、年末時点の設置済み計算資源残高も示す。黒い棒はEUV制約を反映した§1.1の増強量(~1.55億2028年に追加、約2.8億installed by end-2028); the red caps add China’s off-EUV domestic manufacturing (§1.3), for a ~2.89億世界合計。 §1.2有用性係数によって再スケールするには、「効果的」に切り替える。
リソース集約度: 未加工のH100eから効率的な計算資源まで
AIフリートであっても、効果的なH100eと生のH100eは乖離する。の記憶の壁実効性を1未満に押し下げる(FP4で増強されたTPPの伸びがHBMの帯域幅と容量を上回る)一方、拡大するコヒーレントNVLink環境(HGX-8 → NVL72 → NVL144 → NVL576)と押し上げられる。この2つはほぼ相殺され、2024年には緩やかなプレミアム (フリートのメモリが豊富な場合は約1.16)があるが、メモリの壁と大規模な学習実行がより重要になり始めるため、2029年までには約1に向かって薄れる。これは、§1.2.3と同じ有用性モデルである (完全な派生は付録);それを推進する展開重視のフリート入力 (H100eでのスケールアップの世界 = コヒーレント チップ x H100e/チップ):
| AIフリート(展開量加重) | 2024 | 2026 | 2028 |
|---|---|---|---|
| H100e当たりHBM帯域幅(GB/s) | 4,080 | 3,330 | 3,610 |
| H100e当たりHBM容量(GB) | 110 | 91 | 85 |
| スケールアップワールド(H100e) | 184 | 436 | 929 |
| チップあたりH100e | 1.15 | 2.58 | 5.34 |
| 生あたりの有効H100e | 1.16 | 1.06 | 1.04 |
1.2すべての計算資源
§1.1 AI関連の計算資源を予測する。現在、世界中のすべての計算資源に拡張している。すべての計算資源を6つのデバイスカテゴリに分割する。
| カテゴリ | 例 | AI関連 |
|---|---|---|
| AI | データセンターAIアクセラレータ (H100、B200、MI300) | はい |
| 非AIサーバー | データセンターのCPUと非AIアクセラレータ | いいえ |
| パソコン | ラップトップとデスクトップ | いいえ |
| 電話 | スマートフォン | いいえ |
| ゲーム | ゲーム用GPU | いいえ |
| その他 | マイクロコントローラー、自動車、エッジ | いいえ |
私たちの方法は2つの量を調べることによって機能する。のデバイス側は、出荷されたユニット数と各デバイスで実行される平均計算資源を数えることから得られる計算資源である。のリソグラフィー面は、ファブが生産できるウェハー数と、各ウェハーから得られる計算資源量を基に算出した、世界で生産可能な計算資源量である。
デバイス側H100e = 単位H100e/ユニット
リソグラフィー面H100e = ウェーハウェーハあたりH100e
ウェーハあたりの計算量は、最も確実ではない量であるため、これを履歴から突き止めようとする (他のすべての値について適切な推定値を得ることができる)。
1.2.1校正 (2015年から2024年)
2015年から2024年にかけて、デバイス需要(出荷されたユニットとユニットごとに計算)およびリソグラフィー供給(出荷されたウェーハ)、これを使用してウェーハあたりの計算資源の推定値を逆算し、ウェーハの割り当てとウェーハの供給予測に基づいてカテゴリごとに将来の計算資源を予測することができる (供給側は比較的予測可能なリソグラフィの上限で予測できるため、デバイスの需要予測よりも容易である)。
デバイス側
| 出荷数 (百万個/年) | 2015 | 2018 | 2020 | 2022 | 2024 |
|---|---|---|---|---|---|
| 電話 | 1千 | 1千 | 1千 | 1千 | 1千 |
| 個 | 276 | 259 | 304 | 292 | 263 |
| ゲーム | 44 | 50 | 40 | 38 | 36 |
| あい | 0.1 | 0.3 | 0.6 | 2.0 | 7.5 |
| 非AIサーバー | 8.0 | 11 | 13 | 14 | 13 |
| 別の | 1.2万 | 2万 | 2.4万 | 2.8万 | 3万 |
出荷元
- 携帯電話は1.43B(2015)から1.24B(2024)へ減少した。ピークは1.47B(2016)、パンデミック期の底は1.21B(2022)である。出典: IDC Worldwide四半期携帯電話トラッカー /オムディア/カウンターポイント。
- 個数: 276M (2015) → 263M (2024)。新型コロナウイルスのピークは〜3億4,900万(2021年)、谷は〜2億6,000万(2023年)。IDCは Chromebook をカウントしているため、2020年から 2021年にかけて Gartnerを約3,000万上回っており、IDCベースを使用する。出典: ガートナー / IDC PCDトラッカー.
- ゲーム: ディスクリートデスクトップアドインボードGPUのみ (iGPUやデータセンターは除く)。 4,400万 (2015年) → ~3,500万 (2024年)。出典: ジョン・ペディ調査AIBレポート.
- AIはAIデータセンター全体を指し、単位数はアクセラレータ数で測る。TechInsightsによると、2023年のNVIDIAデータセンターGPUは3.76M基(シェア98%)で、2024年は全ベンダー合計で約7.5M基(NVIDIA約4M、Google TPU約2.5M、AWS Trainium約1.2M、AMD MI300約0.4M)である。出典: DCD経由のTechInsights; EpochAI;オムディア/モルガン・スタンレー。
- その他: 高度なノードのデジタルチップ (ネットワークASIC、ベースバンド、自動/IoTロジック)のみ。完全なMCUとアナログの世界ははるかに広大である (MCUだけで年間約25〜35B基)、ただし、ほとんどは、このモデルが追跡する300 mmリソグラフィプールの外側のトレーリングノード/200 mm容量である。
| 1基当たりTPP | 2015 | 2018 | 2020 | 2022 | 2024 |
|---|---|---|---|---|---|
| 電話 | 0.5 | 5.0 | 25 | 60 | 100 |
| 個 | 8.0 | 20 | 38 | 62 | 100 |
| ゲーム | 15 | 250 | 550 | 1千 | 2千 |
| あい | 350 | 1千 | 2千 | 5千 | 1万 |
| 非AIサーバー | 30 | 75 | 150 | 320 | 500 |
| 別の | 0.1 | 0.3 | 0.5 | 0.7 | 0.9 |
TPP単位当たりのソース
TPPは各精度のピーク高密度TOPSにビット長を掛け、精度間で最大化した値で、米国 BISの輸出管理指標(ECCN 3A090)である。尺度を固定する基準値は、V100 ≈ 2,000、A100 = 4,992、H100 ≈ 15,800、RTX 4090 = 5,285(4,800の規制線をわずかに上回る)、B200 ≈ 36,000である。最上位製品は販売台数のごく一部なので、すべて販売加重平均で示す。出典: Federal Register 88 FR 73458、 CSETの説明者、 プリンストンISCA 2025。
- 電話機: NPU INT8 TOPS × 8。Apple A11 = 0.6 TOPS (2017) → A17 Pro = 35 TOPS (2023); Snapdragon 8 Gen 3 = 45 TOPS (2024)。2017年以前はほぼゼロだった。2024年に売上加重で ≈ 100 TPPとなる。出典: Apple Neural Engine TOPSテーブル.
- PC:大半のPCはNPUを搭載していない(2024年の出荷台数に占める「AI PC」は約17%にすぎない)。2024年の販売台数加重平均は約100 TPPである。出典: Canalys AI-PCシェア.
- ゲーミングは高密度INT8 TOPS×8で、RTX 3060=815、RTX 4060=968(4060 Tiは1,412)、RTX 4090=5,285である。販売構成の大半はxx60クラス(Steam調査)なので、2024年の販売加重平均は、RTX 4090の5,285ではなく約1,500 TPPとなる。出典: Steamハードウェア調査.
- AI向けは全ベンダーの販売台数で加重平均した性能であり、H100/H200 = 15,800、A100 ≈ 5,000、TPU/Trainium はそれより低いため、2024年は ≈ 9,500 TPPと NVIDIAの最上位製品を下回る。約 7.5M 台を掛けると、2024年は約 4.5M H100eとなり、2025年の接続点で プランAの予測と一致するボトムアップ推計値となる。 Source: NVIDIA/Google/AWS datasheets; TrendForce構成比.
- その他: ~30B チップ/年、ほとんどが MCU/アナログで AIスループットは~0であり、わずかな自動車・ADASとエッジNPUだけが何らかの影響を与えるため、ユニット加重平均は 2024年までにわずか約 1.5 TPPになる。
露光工程側
| ウェハ(百万枚/年) | 2015 | 2018 | 2020 | 2022 | 2024 |
|---|---|---|---|---|---|
| 電話 | 1.8 | 1.9 | 1.9 | 1.9 | 2.1 |
| 個 | 0.7 | 0.7 | 0.9 | 0.9 | 0.9 |
| ゲーム | 0.2 | 0.3 | 0.2 | 0.3 | 0.3 |
| あい | 0.0 | 0.0 | 0.0 | 0.0 | 0.3 |
| 非AIサーバー | 0.1 | 0.2 | 0.3 | 0.3 | 0.3 |
| 別の | 5.5 | 9.7 | 12 | 15 | 17 |
| デバイス需要(合計) | 8.3 | 13 | 15 | 18 | 20 |
ウェハ出荷量の出典
- 各カテゴリーのウエハース=その ロジックウェハ (ユニット × デバイスあたりのダイ数 ÷ ウェハあたりの良好なダイ数)に加えて、 メモリウェーハ (HBM、DRAM、NAND)が同梱される。単位は上記出荷表となる。メモリウェーハは、各デバイスのメモリ内容と、DRAM/NAND/HBMノード上の現在のウェーハあたりのGBから決定される。
- 300mmウェーハ当たりの良好なダイ数 (歩留まり): 電話機~600 (~100 ~ 120 mm²)、PC ~300 (~200 mm²)、ゲーム~130 (~400 mm²)、AI ~42 (~70%歩留まりでレチクル制限ダイの~800 mm²)、「その他」~1,800 (~30 mm²)。出典: AnySilicon;レチクル/ダイサイズの開示 (TSMC、NVIDIA、WikiChip)。
- 完成したデバイスごとのダイ数: 非 AI ≈ 1 (デバイスごとに 1 つの SoC/CPU/GPU)。 AIは 1 (H100) → ~1.5 (2024、デュアルダイ B200) → 2030年までに ~8 ~ 11 (Rubin クラスのチップレット) に増加する。 Sources: NVIDIA roadmap; SemiAnalysis.
- ダイ面積はすでに歩留まり調整済みであるため、別個の歩留まり係数は適用しない。
カテゴリー別のリソグラフィー利用状況を以下に示す。私たちでは、すべてのカテゴリを、そのロジックと関連メモリ (HBM、DRAM、NAND)を備えたパッケージとして扱う。
年間EUV露光回数(構成比では見えない絶対量を示す)。EUVの量産利用は2019年ごろに始まり、当初はほぼすべてがスマートフォンとPC向けで、AI向けは2022年ごろまで表面化しない。
ウェーハごとの独立した計算資源推定による健全性チェック
ウェーハあたりの計算量は、(ウェーハあたりの良好なダイ) x (ダイあたりのTPP) / 15,800であり、どちらも、ファブの稼働率とは無関係にデバイスの仕様から推定される。
300mmウェーハあたりの良好なダイ数(歩留まり、ダイ領域から、上記のウェーハボックス内のソース): AI ~42 (~70%の歩留まりで ~800 mm² レチクル制限ダイ)、ゲーム ~130 (~400 mm²)、PC ~300 (~200 mm²)、電話 ~600 (~100 ~ 120 mm²)、「その他」の商品 ~1,800 (~30 mm²)。
ダイ当たりTPP = ユニットあたりの各カテゴリのTPP (上記のデバイス側) / デバイスあたりのダイ。 2024年には、AIは~9,500 / ~1.5 ≈ 6,300 TPP/ダイ、ゲームは~1,500、電話とPCは~100、「その他」は~1.5になる。
したがって、AIの大型でTPPの高いダイは、ウェーハあたりの密度が最も高く、「その他」の商品 (TPPがほぼゼロの小さなダイ)が最も低くなり、これは、各カテゴリの計算資源をウェーハで割ると次のようになる。
| 暗黙のH100e / ウェハ | 2015 | 2018 | 2020 | 2022 | 2024 |
|---|---|---|---|---|---|
| 電話 | 0.03 | 0.23 | 1.1 | 2.4 | 3.8 |
| 個 | 0.20 | 0.46 | 0.83 | 1.3 | 1.9 |
| ゲーム | 0.19 | 2.8 | 5.6 | 9.2 | 12.3 |
| あい | 1.4 | 5.0 | 7.2 | 14.2 | 16.8 |
| 非AIサーバー | 0.11 | 0.25 | 0.46 | 0.90 | 1.3 |
| 別の | 0.01 | 0.04 | 0.06 | 0.09 | 0.10 |
さらなるチェックとして、これらのレートが示すウェーハ需要を、私たちの推定値と照らし合わせて確認すること。リソグラフィプール(広範な世界的なロジックウェーハ生産量、2024年には約3,000万ウェーハ、SEMIの300mm生産能力と一致する規模)は、10年間を通じてプールの約62%から約69%であり、プールを超えることは決してない、もっともらしい安定したシェアである。プールレベル自体はその範囲内に収まるように調整されているため、ダイサイズ、計算資源、および容量の推定値は、いずれか1つを個別に検証するのではなく、相互に一貫していることが分かる。
カテゴリごとに毎年追加される結果のH100eを、生のH100eと有効なH100eの両方で以下に示す。
Raw H100eはカテゴリごとに毎年追加される。
1.2.2予測(2025年から2028年)
§1.1からAIの計算資源予測を取得し、残りのリソグラフィー容量を他の計算資源カテゴリに割り当てる。まずAIがリソグラフィーの使用を主張し、次にAI以外の各カテゴリーが、残っているウェーハのうち凍結された2024年のシェアを維持する。これにより、次の投影が得られる。
| 流量 (H100e/年) | 2025 | 2026 | 2027 | 2028 |
|---|---|---|---|---|
| 電話 | 1,200万 (33%) | 1,660万 (25%) | 2,150万 (18%) | 3,100万 (14%) |
| 個 | 280万 (7.7%) | 410万 (6.2%) | 550万 (4.5%) | 880万 (4.0%) |
| ゲーム | 520万 (14%) | 720万 (11%) | 940万 (7.8%) | 1,420万 (6.5%) |
| あい | 1,420万 (39%) | 3,570万 (54%) | 8,060万 (67%) | 1.597億 (73%) |
| 非AIサーバー | 55.8万 (1.5%) | 72.5万 (1.1%) | 90.1万 (0.7%) | 120万 (0.5%) |
| 別の | 200万 (5.4%) | 230万 (3.4%) | 260万 (2.2%) | 320万 (1.5%) |
| 合計 | 3670万 | 6,660万 | 1.205億 | 2億1810万 |
AIは§1.1に基づき、非AIは、残ったロジック ウェーハ × ウェーハあたりの上昇する TPPを取得する。カウンティングロジック + HBM、AIは ~15% → 65% 2028年までにEUVフリート容量の増加 (フリート~100%全体的に利用されている)、しかし~だけである40%すべてのロジックウェーハの。
AIのウェーハクレーム、残留プール、部品表
| ウェーハ/年 | 2025 | 2026 | 2027 | 2028 |
|---|---|---|---|---|
| AI向けロジックウェハ | 37.8万 | 66.4万 | 100万 | 160万 |
| + AI HBMウェーハ (高度なDRAM) | 250万 | 460万 | 800万 | 1280万 |
| =AI最先端ウェーハ(ロジック+HBM) | 290万 | 520万 | 910万 | 1,440万 |
| EUVフリート容量の % (ロジック + HBM) | 15% | 27% | 45% | 65% |
| 広範なリソグラフィプールの % (すべてのノード) | 9.3% | 16% | 27% | 40% |
| 割り当て可能な論理プール (× util) | 2,090万 | 2,200万 | 2,320万 | 2,440万 |
| 非AI向け残余分 | 2,060万 | 2,140万 | 2,210万 | 2280万 |
出典: AI予測とアクセラレータごとの部品表
- AI H100eの軌跡。 §1.1のEUV制約の解決 (設備投資のトップライン ÷ コスト効率 ÷ EUV追加料金)より: インストールされたH100e在庫 (1月1日) 8.6M - 22.4M - 57.1M - 135.2M → 2.89億 2029年までに年間生産量を増やす 14.2M - 35.7M - 80.6M - 159.7M。 §1.2では、§1.1からのこのAIビルドアウトを変更せずに取り込み、非AIの残り部分のみをモデル化しているため、2つのセクションは構造的に一致している。出典: §1.1 (プランAの設備投資トップラインに基づく)。
- アクセラレータ当たりのHBMは、H100=80 GB、H200=141、MI300X=192、B200=192である。販売加重平均は2024年の約130 GBから2030年までに約600へ増える。約7.5M基を掛けると2024年に約1 EBのHBMとなり、TrendForceの業界推計と一致する。出典:NVIDIA/AMDのデータシート。 TrendForce.
- アクセラレータごとのシステムDRAMとストレージ。8 GPUノードは、約1 ~ 2 TBのホストDRAM (GPUあたり約150 ~ 250 GB)に加えて、マルチTBのローカル + ネットワークNVMeを搭載する。2024年にはアクセラレータあたり約300 GBのDRAMと約2 TBのNANDをモデル化する (2030年までに約1TB/約6TBに増加)し、HBMが汎用メモリではなく、AIの最も重いウェーハ描画を維持できるようにサイズ設定されている。出典: NVIDIA DGX/HGX H100のスペック;ハイパースケーラーのリファレンス デザイン。
- 在庫と生産の慣例。AIのフリートは累積的に扱われるため (5年未満の期間での退役はない)、1月 1日の各在庫は生産の累計となる。非 AI カテゴリに使用されるボトムアップの退職再帰を実行するのではなく、ストックを直接取得し、生産量によって、毎年のウェーハの請求額が決まる。
このセクションの残りの部分は、その表の背後にある供給側の正当性、つまり各カテゴリが使用するリソグラフィの上限の割合である。
年間に描画されるEUV露光パス。 AIの利用が爆発的に増加し、2028年までにフリートが飽和状態に近づく。
ロジックとメモリに送られるEUVおよびDUVパスのシェア
EUVの利用率は、それまでに拘束力のある制約になると予想されるため、2024年のわずか52%から、単純なモデルでは2028年までに約100%に達する。この数字は稼働時間と実現スループットをすでに個別に計算しており、どちらも2024年の比率で維持されている。使用率が文字通り100%に達するとは予想していないが、稼働時間と実現スループット (理論上のピークスループットの割合として)は2028年までに少し改善され、そのギャップはほぼ相殺されるはずであるという近似値には満足している。
| EUVパスプール (月/年) | 2024 | 2028 |
|---|---|---|
| 要求されたパス | 4,530万 | 1億8250万 |
| パスキャパシティ | 8,710万 | 1億8250万 |
| EUVの利用 | 52% | 100% |
| 液浸(DUV)の利用 | 20% | 25% |
使用率 = 要求されたパス ÷ パス能力。 EUVと浸漬は両方とも実効ベース (稼働時間とスループット調整済み)に基づいているため、2つの使用率は直接比較される。
ノード構造: ウェーハおよびノードの組み合わせごとのパス
| ノード | EUV/WF | 193i/wf | ウエハース2024 | ウエハース2028 |
|---|---|---|---|---|
| 論理層 | ||||
| 主導的 | 12→22 | 30 | 200万 | 320万 |
| ドゥバドゥ | 2 | 33 | 200万 | 520万 |
| 成熟した | 該当なし | 6 | 1,640万 | 1,600万 |
| メモリ階層 | ||||
| ドラマアド | 4 | 12 | 420万 | 2,070万 |
| DRAMマット | 該当なし | 8 | 580万 | 760万 |
| NAND | 該当なし | 4 | 4,020万 | 4,500万 |
三つの層(LEADING = ≤N3/N5/N2、EUV、DUVADV = N7/N16、MATURE = 28nm/legacy)。製品構成がN5→N3→N2へ移るにつれ、ウェハー1枚当たりの先端EUV露光回数は12→22へ増える。赤はEUV露光を示す。この表は稼働率の診断用であり、計算資源量や設備残高の計算には使わない。
ノード構成 (2024年のカテゴリ別ウェーハ面積シェア)
| カテゴリ | 主導的 | ドゥバドゥ | 成熟した |
|---|---|---|---|
| 電話 | 53% | 27% | 20% |
| 個 | 42% | 40% | 18% |
| ゲーム | 55% | 45% | 該当なし |
| あい | 95% | 5.0% | 該当なし |
| 非AIサーバー | 50% | 42% | 8.0% |
| 別の | 該当なし | 5.0% | 95% |
AIはほぼすべて最先端であり、携帯電話/PC/ゲームは先端から成熟プロセスまでにまたがり、「その他」(MCU)はすべて成熟している。広範なロジック プール (2,950万2024年のウェーハ)は、非AI割り当てを供給する。
デバイスごとのメモリとウェーハのコスト
メモリウェーハ = デバイス数 × デバイスあたりのGB ÷ ウェーハあたりのGB。 HBMは、使用可能なGBあたり約3×のウェーハ面積 (8 ~ 12スタック、TSV、ベースロジックダイ)を必要とし、ほぼ完全にAIに使用されるため、AIアクセラレータのメモリはウェーハ上のロジックを上回る。
| デバイスごと (2024 → 2028) | HBM | ドラム | NAND |
|---|---|---|---|
| 電話 | 該当なし | 8→13GB | 200→333GB |
| 個 | 該当なし | 16→27GB | 700→1033GB |
| ゲーム | 該当なし | 14→21GB | 該当なし |
| あい | 130→400GB | 300→767GB | 2000→4667GB |
| 非AIサーバー | 該当なし | 512→683GB | 26000 → 36667GB |
| 別の | 該当なし | 0.05 → 0.05GB | 2→3GB |
- ウェーハあたり GB (2024年): DRAM ~2,800、NAND ~21,000、HBM ~900; 2030年までにすべてが ~1.7×に成長する。HBMは ~11% 2024年のDRAMウェーハの割合 (TrendForce: ~14%)。出典: セミ;TechInsights;トレンドフォース。
- 非 AI サーバー行にはデータセンターのストレージ層 (SSD アレイ、ネットワーク化された NVMe) が搭載されているため、その NANDは大きくなる (サーバーあたり約 26 TBに相当)。これは大容量ストレージに組み込まれており、デバイスごとの厳密なカウントミスが発生し、Trendfocus と一致して、2024年には世界の NAND ≈ 845 EB (約 4,400 万ウェーハ) に到達し、出典: トレンドフォース;トレンドフォーカス; IDC/オムディア。
リソ供給源: EUVレイヤー/ノード、フリート、スループット、ノード構成
- ノード当たりのEUV層数は、N5/N4が約13〜14、N3Eが約19、N3Bが約25(double-patterned)、N2が約23〜25である。double-patterned層には2回の露光が必要なので、パス数は層数以上となり、先端層のパス数は12→24(2024→2029)へ増えるとモデル化する。出典: SemiAnalysis;ウィキチップ; TSMC。
- メモリ EUV: 高度な DRAM (1α/1β/1γ) は、約 1 ~ 6 の EUV 層を使用し、ランピングする。 3D NANDは何も使用しない。高度な DRAMはウェハあたり約 4 EUV パス、成熟した DRAMと NANDは 0 でモデル化し、出典: SK Hynix / Samsung / Micron の開示情報、TechInsights。
- EUVフリート: ~220 2024年までにシステムを構築、~457 ASMLガイダンスに基づいて2028年までに。スループット: 〜 360,000実効露出/ツール年 (〜 160 wph仕様を下回る)。出典: ASML.
- 浸漬フリート: ~1,330 (2024) → ~1,800 (2028);豊富なので、193i は決してバインドしない。スループット: 〜 950k 実効パス/ツール年 (〜 180 万ネームプレートのランレートの約半分、EUVと同じ稼働時間/スループットに基づいて定格を下げる)。ノード混合はウェーハ面積のシェアである: Counterpointによると≤5nm 上の 2024 の電話機 SoC ユニットの約 43% → ウェーハ面積の約 53%。出典: ASML / SEMI;Counterpoint; TSMC.
1.2.3結果
廃棄を差し引いた生産量を累計すると、カテゴリごとの設置在庫が得られる。生のH100eを実効的なH100eに再スケーリングする (生のx、リソース調整されたAIワークロード有用性モデル。付録).
効果的なH100eは、有用性係数によって各カテゴリの生の計算資源を再スケーリングする。U、で導出された付録。
| 有用性U | 2024 | 2026 | 2028 | 2029 |
|---|---|---|---|---|
| 電話 | 0.21 | 0.11 | 0.07 | 0.05 |
| 個 | 0.35 | 0.08 | 0.04 | 0.03 |
| ゲーム | 0.04 | 0.05 | 0.06 | 0.04 |
| あい | 1.16 | 1.06 | 1.04 | 1.02 |
| 非AIサーバー | 1.38 | 1.40 | 1.41 | 1.40 |
| 別の | 0.53 | 0.43 | 0.34 | 0.30 |
チップごとの入力とクランプされていないモデル出力
U を駆動するチップごとのリソース入力 (カテゴリ別) (2024)。実際の計算資源と HBM クラスの帯域幅および大規模な NVLink コヒーレント ドメインを組み合わせるのは AI アクセラレータだけである。他のすべてのカテゴリは事実上 1 つのチップである (スケールアップ ワールド=1)で、非AIサーバーはメモリが豊富であるが、計算資源は小さく、民生用チップは帯域幅が狭く、クラスタ化されず、「その他」(MCU/エッジ)はどの軸でも小さい。
| チップあたり (2024) | H100e/チップ | メモリ帯域幅 (TB/秒) | メモリ (GB) | スケールアップした世界 |
|---|---|---|---|---|
| 電話 | 4.0e-3 | 0.032 | 7 | 1 |
| 個 | 6.6e-3 | 0.085 | 12 | 1 |
| ゲーム | 0.097 | 0.41 | 11 | 1 |
| あい | 1.15 | 4.7 | 126 | 160チップ |
| 非AIサーバー | 0.030 | 0.70 | 512 | 1 |
| 別の | 5.7e-5 | 0.006 | 0.1 | 1 |
Over the forecast, H100e/chip roughly doubles every ~1.5 years while memory bandwidth and capacity per H100e fall (the memory wall) and AI’s NVLink world grows (NVL72 â NVL576); the §1.1 resource-intensity box tracks the AI fleet’s trajectory in full.
生のU、非AI ≤ 1キャップの前
| カテゴリ (生のU) | 2024 | 2026 | 2028 | 2029 |
|---|---|---|---|---|
| 電話 | 0.21 | 0.11 | 0.07 | 0.05 |
| 個 | 0.35 | 0.08 | 0.04 | 0.03 |
| ゲーム | 0.04 | 0.05 | 0.06 | 0.04 |
| あい | 1.16 | 1.06 | 1.04 | 1.02 |
| 非AIサーバー | 1.38 | 1.40 | 1.41 | 1.40 |
| 別の | 0.53 | 0.43 | 0.34 | 0.30 |
サーバーと「その他」(MCU/edge)のスコアが > 1 になるのは、計算資源の小さいチップではper-FLOP比がどれも潤沢に見え、ネットワーク・ペナルティがほぼ消えて計算資源上限に張り付くためである。非AIサーバーでは、実際にメモリが豊富なので妥当であり、生のH100eに占める割合も~1–2%と小さいため、生のUを用いる。MCU/edgeの「その他」ではアーティファクトなので≤1に制限するが、「その他」は生の構成比が~8–23%と大きく、上限を1としてもAIへの有用性を過大評価している可能性が高い。
各年1月1日時点の導入済みH100eを配備象限別に示す。stock↔flow、raw↔effective、level↔shareを切り替えられる。
クラスターと単一デバイスの分割。また、計算資源をクラスターと単一デバイスに分類し、非AIサーバーを非AI関連クラスター、携帯電話、PC、ゲーム用 GPU、組み込みチップは非 AI 単一デバイスである。 AI 関連の計算資源は、ほぼ完全にデータセンター (AI 関連クラスター) で実行されるアクセラレーター内にあるが、AI 関連のシングルデバイス チップの量はわずかに増加しているが、これは現在では無視できる程度であり、データセンター クラスの GPUがデスクトップ フォーム ファクターに達するにつれて増加する (例: NVIDIAのDGXステーション).
| H100e有効在庫 (1月1日) | 2020 | 2024 | 2026 | 2028 | 2029 |
|---|---|---|---|---|---|
| AI関連 - クラスター (AIデータセンター) | 101K (4.1%) | 360万 (26%) | 2,370万 (67%) | 1億4,080万 (90%) | 2億9520万 (94%) |
| AI関連 - 単一デバイス (専門消費者) | 0 | 0 | 0 | 218K (0.1%) | 938K (0.3%) |
| 非AI - クラスター (非AIサーバー) | 294K (12%) | 140万(10%) | 260万 (7.5%) | 470万 (3.0%) | 610万 (1.9%) |
| 非AI - 単一デバイス (消費者) | 210万 (84%) | 870万 (63%) | 910万人 (26%) | 1,150万 (7.3%) | 1,260万 (4.0%) |
AI関連の単一デバイスの計算資源を予測する方法 (専門消費者)
ここでいうスタンドアロンAIワークステーションとは、高性能GPU(帯域幅1 TB/秒以上、メモリ32 GB以上、4,000 TPP以上)と100 Gb/秒NICを備え、AI関連性の4基準をすべて満たす機器である。RTX PRO 6000クラスのGPUを搭載したワークステーションから、NVIDIA DGX Station(GB300を1基、約2.5 H100e)まで幅がある。DGX Spark(約0.5 H100e)のような低価格の小型機は帯域幅の下限を満たさず、一般的なゲーミングPCには100 Gb/秒NICがない。価格は1台約$10,000〜$100,000で、販売台数は多くない。年間販売台数と1台当たりH100eを推定し、合算する。
| 出荷年 | 出荷されたユニット | H100e/台 | 追加H100e | 設置された(1月1日) |
|---|---|---|---|---|
| 2026 | 15K | 2.5 | 3.8万 | 0 |
| 2027 | 60K | 3 | 18万 | 3.8万 |
| 2028 | 180K | 4 | 72万 | 21.8万 |
| 2029 | 450K | 5 | 230万 | 93.8万 |
その設置された(1月1日)列は各年の初めの現在の在庫であり、まさに上の表の専門消費者行である (~93.8万H100e 2029.0まで、約 0.3% AIフリートの~255K単位)。新しいカテゴリーのため、台数はおおよその目安となる。
1.3地域の所有権
このセクションでは、§1.1のAI関連計算資源について、地域ごとの世界の計算資源所有権を予測する。所有権を次の3つの方法で分割する。米国、中国、その他世界。中国は輸出規制によって世界の主要なサプライチェーンから切り離されており、支出に占める割合を大まかに見積もって特定するのが最も難しい地域となっているため、別の中国の計算資源予測に焦点を当てることが最も有益であるとわれわれは考えている。
したがって、以下に示すのは、中国に到達するさまざまな計算資源ソースごとに分類された、独立した中国の計算資源予測である。次に、世界全体の米国とその他の地域の割合の大まかな推定を行いる。中国国内の製造業は、同じ(EUVベースの)サプライチェーンから来ていないため、§1.1の世界計算合計予測とは別個に扱われるため、§1.1の合計に再び加算される。
1.3.1中国の計算資源予測
私たちは中国のAI計算資源を4つの供給源に分類し、そのうち3つは世界のサプライチェーンからのものである (すでに§1.1の世界合計に含まれている)。法的な輸入 (輸出準拠チップ: 例: 歴史的にはH20、現在のライセンス方針ではH200)、密輸されたチップスと、抜け穴(密輸されたチップダイ梱包前、または中国企業が所有するオフショアデータセンター、または海外からのリース)。 4つ目は国内製造チップ (SMIC 7nmロジック / CXMT HBM / Ascend)。中国の計算資源能力は2026年から2029年にかけて約9xに成長するが、世界的な規模の拡大がそれを上回っているため、世界シェアは依然として約9%に向かって低下している。
観測データに固定された2024 ~ 2025年のアンカー:
| チャンネル | 2024 | 2025 | 基礎 |
|---|---|---|---|
| 国内 | 25万 | 60万 | SMIC ≤7nm + Cambriconでアセンドし、一度限りの外国HBM備蓄 (約1,300万スタック、ほとんどがサムスン約1,140万 ≈ 160万910C)と約290万ダイのTSMC 「ダイバンク」(SemiAnalysis); ~0.8 未加工 H100e/910C |
| 正規流通 | 20万 | 15万 | 2024年に約 100 万の H20が抑制される (それぞれ約0.2 H100e)で、2025年の純量は約15万個のみ:4月の禁止、7月からの部分的再ライセンス、中国政府の購入控え前の第1四半期出荷 |
| 抜け穴 | 25万 | 45万 | 中国企業が所有するオフショアDCまたは 海外でレンタルするここでの2024年と2025年の累計(2025年末までに約0.7M基)は、確認済みレンタル分の下限である約670K基以上(ByteDance約520K基)をわずかに上回る。 |
| 密輸 | 16万 | 48万 | グレーマーケットで禁止されている部品、に固定されている Epoch |
2026年から2028年の予測
3つのグローバルチャネルは、§1.1の世界生産のシェアとして予測される。
| グローバルチャネル | ルール (§1.1世界のシェア) | 2026 | 2027 | 2028 |
|---|---|---|---|---|
| 密輸 | ~3.5% → 2% (それ以上) 執行 | 126万 | 212万 | 299万 |
| 抜け穴 | ~2% (~1.5% 確定賃貸フロア + 他のソース) | 70万 | 160万 | 315万 |
| 正規流通 | ~1% | 35万 | 80万 | 160万 |
合法的なルートは、この約1%ルールよりも2 ~ 3x高くなる可能性があるが、北京側の輸入制限により実現出荷量は減少しているが、現在のライセンス政策はすでにそれを超える量をカバーしている。
国内HBMに依存しており、最近のものを見る半分析CXMTピース:
| 国内の蓄積 | 2026 | 2027 | 2028 |
|---|---|---|---|
| CXMT HBM容量 (kwspm開始) | 30 | 55 | 100 |
| 8-hiスタック収量 (成熟時) | 25% | 31% | 37% |
| ウェーハ当たりの良好な8-hiスタック (~88総x歩留まり) | 22 | 27 | 33 |
| → 良好な910C相当/年 (kwspm x 12k xスタック数 / 8) | 100万 | 220万 | 490万 |
| 910C相当の生のH100e (ロジック + HBM3Eゲイン) | 0.80 | 0.82 | 0.85 |
| → CXMTメモリ上の生のH100e | 80万 | 180万 | 420万 |
| 上昇: 密輸されたHBM + 他の企業 | +30% | +25% | +20% |
| = 国内 | 110万 | 230万 | 500万 |
これは楽観的な見積もりで、CXMTのHBMランプを額面どおりに受け入れる (半分析CXMTピースは、2028年までに世界のHBMウェーハ供給量の約12%になると予測している)が、その増加分はバックロードされており (2026年の列はおそらくゼロに近い可能性がある)、同じファブの利益率の高い汎用DRAMと競合する。
DUV容量は豊富である。Ascend ロジックと CXMT メモリは両方とも中国の ArF 浸漬 (DUV)装置群で製造され、これらの AI チップの投影では、そのほんの一部のみが使用される。
| DUV液浸フリート | 2026 | 2028 | 基礎 |
|---|---|---|---|
| フリート (ツール) | ~290 | ~400 | 2024年に購入された~200基本 + ~90 ArFi (ほとんどが NXT:1980Fiクラス、275〜330 wph、ASMLの129台の70%、$5-7B)で、その後、オランダの規制で輸入は減速した(AEI) |
| 実現容量 (パス/年) | 約5.2億 | ~720M | フリートxツール/年あたり実現パス数約180万 (生産では1日あたり約5 ~ 6,000ウェーハと、 ~240万のネームプレート;参照:§1.1の ~360k EUV) |
| アセンドロジック | ~500万 (~1%) | ~1,700万 (~2%) | ~8 → 28 kwspm SMIC ≤7nmスタート x ~40 ~ 60パス/ウェーハ (SAQPクアッドパターニング) |
| CXMT HBM | ~400万 (~1%) | ~1,200万 (~2%) | ~30 → 100 kwspm CXMT HBMが開始する × ~10パス/ウェーハ |
AI向け需要は装置能力の~2%(2026年)、~4%(2028年)にすぎず、制約となるのはHBMである。中国がDUV装置群をAIチップで埋めないと考える理由もここにあり、HBMなしにAscend logicを増やしても利用可能なAI computeは増えず、SMICの≤7nm着工量は露光装置数でなくmulti-patterningの歩留まりと費用に制約され、装置群の大半は中国が支配を狙う成熟ノード市場(自動車・産業機器・家電)へ回す方が採算に合う。
4つのチャネルを組み合わせたもの (M raw H100e):
| H100e (注記がない限り年間) | 2024 | 2025 | 2026 | 2027 | 2028 |
|---|---|---|---|---|---|
| 国内 | 25万 | 60万 | 110万 | 230万 | 500万 |
| リーガル西部劇 | 20万 | 15万 | 35万 | 80万 | 160万 |
| 抜け穴(オフショアDC・レンタル) | 25万 | 45万 | 70万 | 160万 | 315万 |
| 密輸 | 16万 | 48万 | 126万 | 212万 | 299万 |
| 合計追加/年 | 90万 | 170万 | 340万 | 680万 | 1270万 |
| →中国株(年末) | 130万 | 290万 | 630万 | 1,320万 | 2,590万 |
| → 中国が世界の% | 14.7% | 13.1% | 11.1% | 9.7% | 9.0% |
1.3.2結果
世界の合計 (§1.1)、中国の予測 (§1.3.1)、および残りの米国/RoWの85/15の分割を組み合わせると、地域ごとの所有権が得られ、米国が全体で大部分を占め、中国が~15% → ~9%となる。
所有者=計算資源を所有またはリースしている企業の国。世界の計算資源は§1.1に基づく。中国は§1.3.1のボトムアップ予測であり、中国以外の残りは米国とその他地域に85対15で配分する。
1.4データセンターのサイズ
このセクションでは、§1.1のAI計算資源が、ギガワット規模のトレーニングキャンパスから小規模な地方サイトのロングテールまで、データセンターの規模全体にどのように分散されるかを予測する。この方法は比較的単純である (そして不確かである)。 AI計算資源の合計予測 (§1.1から)を取得し、それをデータセンターの総数に分散し、3つの集中アンカーでデータセンターサイズの曲線を当てはめ、その結果を米国、中国、およびその他の国々の所有権に分割する (§1.3から)。
データセンターのサイズモデル
セットアップ。AI計算資源の合計を取得するC (§1.1)およびデータセンター数N (2025年には約1,000サイト、デフォルトで年間30%ずつ増加し、2029年までに約2,850サイトに達する)。次に、サイズ分布に基づいてデータセンターのサイズを割り当てる。
アンカー。ピン留めする形3つの集中アンカーを使用したサイズ分布、最大の1、10、および100クラスターが保持するすべての計算資源のシェア、これはおよそ4%、20%、70%になると予想される (手動設定、上方修正) Epochのデータセンターデータセット)、時間が経っても平らに保たれる:
フィット。次に、4つの係数を使用して、対数ランクの3次として対数サイズをモデル化する。:
これら4つの係数は固定されているまさに4つの方程式、3つのアンカーに合計を加えたものによって計算される (対数ランクの3次関数には4つの自由度があり、4つの制約に一致するため、曲線は完全に固定され、自由パラメーターは残りない)。
第1式はから直ちに得られる。;他の 3 つは数値的に解決される。これにより、あらゆるデータセンターのサイズが回復されるちょうどからN、C、そして3つのアンカー。
地域。カーブを分割するには米国、中国、その他世界、各地域の所有権シェアを予測する総計算資源の割合 (目標を与える) )を選択し、そのシェアに比例して各データセンターをリージョンに割り当てる。オプションのスキュー 合計を固定したまま、地域をより小さなサイトまたはより大きなサイトに向けて傾けることができる(最大のクラスターが異なることが知られている地域(中国など)に一致させるため)。デフォルトではオフになっている()、したがって、各領域はグローバル曲線の同じ形状のスライスにすぎない。
デフォルトのパラメータ。
| パラメータ | デフォルト | それが制御するもの |
|---|---|---|
| (2025年のサイト) | 1,000 | 2025年のデータセンター数 |
| 成長 | 30%/年 | データセンター数の増加 (→ 2029年までに約2,850サイト) |
| 4% | 単一最大クラスターの計算シェア | |
| 20% | 約10社のシェアを計算する | |
| 70% | 約100のシェアを計算する | |
| スキュー | 0(オフ) | オプションの地域サイズの傾斜、 0 = 比例 |
これらの集中シェアは厳選されており不確実であり、以下から調整されている。Epochが観測した現在のデータセットこれは、フロンティアクラスターを完全にカバーしていないことを前提としている (2025年後半の時点で、その最大の追跡サイトは世界のAI計算資源の約15%をカバーしている)。
パート2。協定後の計算資源 (2029年以降)
このセクションでは、プランAが実施された後に何が起こるか、またプランAが実施されなかった場合の1年間のデフォルトの反事実を予測する。
2.1合意なき離脱の反事実
デフォルト(合意なし)経路がさらに1年続くことを予測するために、我々は§1.1手法(および中国国内の追加については§1.3)を2029年末の導入在庫まで拡張する。プランAでは、研究開発の一時停止と協定実施中の一般的な不確実性により設備投資が一時的に低下すると予想している。私たちは、プランAの下で、現金による設備投資が傾向を維持する一方で、負債で調達した増強部分をゼロに崩壊させることでこれを近似する。推論のみの検証の迅速な実装と推論計算資源の割り当ての増加により、AIの収益予測はデフォルトの反事実と同等になると予想される。
総じて、協定が適切に実施されれば、研究開発はいずれ再開できるという見通しを企業に与えられると考えており、実現済みの能力水準と、研究開発再開後も減速しながら続く急速な改善を踏まえれば、AI投資はなお極めて魅力的である。透明性が高まりアルゴリズム上の参入障壁がなくても、経済価値は計算資源の所有者に帰属し、所有者は最良モデルを先に学習して最も広い利用者層へ提供できるため、この結論は変わらない。
協定なしとプランAを、協定から1年後(2029年末まで)で比較する。プランAでは、キャッシュフローで賄う設備投資は傾向どおり維持する一方、負債調達分をゼロとし、2029年の総設備投資を~31%減らす。
2.2協定後のAI関連の計算資源
プランAがさらに進むにつれて、特にAIとロボットがハードウェアの研究開発と生産を自動化し、これまで人間に制約されていた労働力を大幅に増やすことができるようになるにつれて、計算資源の増加に対する不確実性が増大している。不確実性を考慮すると、§1.1計算資源パスを開始点として2040年まで実行する比較的単純なモデル (JonesとWrightの法則の学習)を使用するのが合理的であると考えられる。ハードウェアの研究開発と生産における制約のないAIとロボットの導入によってデフォルトで予想されるハードウェアの爆発的な増加と、これが不安定化するという事実 (とりわけ、取引の離脱の容易さと取引内の検証の負担の増大)を考慮すると、プランAは、ハードウェアの爆発を制御可能な (それでも大幅に増加した)ハードウェアレベルまで遅らせるためのキャップアンドトレード制度を特徴としている。
ハードウェアの急速な成長が期待される理由。計算資源単位あたりのコストを下げる2つの別々の力が考えられる。
デザインの改善 (Jonesをモデル化)。設計を改善すると、チップレイアウト、メモリ設計、トランジスタ密度、パッケージングなどが改善され、AIチップ生産の固定単位あたりの計算量が増加し、これは研究開発なので、労力を費やしてモデル化できるが、安易なアイデアが使い果たされると利益は減少する (Jones 1995(次の研究に基づき較正: Bloom et al. 2020)。また、同時点で投入する並列労働を増やしても収穫は逓減する。これは「ウェーハ当たりの計算性能」の歴史的改善に相当し、ノード微細化も生産規模ではなくチップ・製造装置の研究から生じるため、ここでは設計R&Dに分類する。現在、半導体産業で働く人は約200万人であり、2030年代初頭には、チップ・製造装置R&Dに投入される人間、AI、ロボットの合計労働量が約100xになると予測する。モデルのパラメーター上、それでも「Moore’s Law」の進歩速度は約1.1xにしか高まらない。
生産規模の拡大 (Wright)。計算資源の製造規模が拡大すると、歩留まり、スループット、稼働率、規模の経済を通じて、学習効果による効率改善が生じうる。歴史的には「1ドル当たりのウェーハ数」の改善に相当する。単位費用は累積生産量が倍加するたびに約15%下がるとモデル化しており、半導体や太陽光の長期学習率に近い。AIやロボットによるファブ建設・運営の自動化がこの傾向を速めるかは不明だが、規模拡大の効果が設計改善とは別に続くという前提は、妥当な基準線である。
計算資源1単位当たりの費用($ / H100e)を、二つの要素、すなわち生産単位当たりの計算資源量(compute / unit produced)と、$当たりの生産単位数(units produced / $)の積として扱い、歴史的には生産単位をウェハーとしてきたが、将来の技術体系では変わりうる。各要素を2025年に1へ正規化し、以後は低下させる。§1.1の終点を出発点に、この二つのモデルを2040年まで進める。
Jones&Wrightの法則のコストモデル
AI計算資源の単位あたりのコストは、2025年の1つのアンカーに、どちらも1から始まり時間の経過とともに低下する2つのインデックス (製造インデックス)を掛けたものである。そしてデザインインデックス:
Wrightの法則(製造)。累積生産量に応じてコストが下がりる、古典的な学習曲線である。
したがって、累積生産量が 倍加になるごとに製造コストが削減される。私たちが使用するのは、倍加につき約16%で、長期的な半導体学習率と同様である(太陽のスワンソンの法則に近い)。
Jonesデザインの研究開発。毎年の設計コストの低下は、研究開発の労働力が増加するにつれて拡大し、収益も減少する。
どこでこれは、AI / ロボットの労働量とその能力 (自動化できるタスクの割合)を組み合わせた経済モデルの「有効労働量」から取得された、人間とAIの認知労働量 (導入された計算資源に応じてスケールされる)を組み合わせたものである。は基本ペースであり、は「つま先を踏む」調整である(Bloom et al. 2020): 100xの研究部隊が購入できる進歩は100xよりはるかに小さい。
| パラメータ | AIチップ |
|---|---|
| Wright型学習 | 0.25(約16% / doubling) |
| Jones基本レート | 25%/年 |
| Jonesがつま先を踏む | 0.05 |
| 2025年の製造コスト | $5,000 / H100e |
| 累積生産量、2025年 | 20M H100e |
基本レート (25%/年)は、年間約1.35xの計算資源効率の傾向を追跡する。足元を強く保つ、100xのAI研究力が得られるのは設計進捗率の約1.3xだけであるため、AI人材が増大しても、チップ設計はわずかしか加速されない。上のアンカーは、作るチップ(限界生産コスト、2025年に約 5,000 ドル)――これはコストの数字が追跡するものであり、値上げにデータセンターと電力を加えると、合計コストは約 33,000 ドルになり、これが、投資額に相当する。どちらも同じ方向に落ちる曲線。以下では、プランAの2つの制約 (計算資源キャップとR&Dコントロール)を使用した場合と使用しない場合にこのループを実行する。
ハードウェアの爆発には、プランAの2つのスロットルがある。これらの制約がなければ、進歩が大きすぎて、離脱の容易さや検証負担の面から合意の安定性を損なう。計算資源が増えるとハードウェアの研究開発と生産が進み、さらに多くの計算資源と安価なハードウェアを生むフィードバック・ループがある。プランAでは、このループの異なる箇所へ二つの制約をかけ、生産量を上限で抑えるとともに(2032年以降のキャップ・アンド・トレード政策)、数量上限があっても計算資源の製造が容易かつ安価になりすぎないよう、研究開発の展開を制限する。
プランAの計算資源について、異なる制約を解除した場合を比較する。二つの制約は、2032年に導入され生産量を制限するキャップ・アンド・トレード政策と、爆発的に増えるハードウェア研究開発労働力が計算資源費用を下げすぎ、チップ製造を容易にしすぎるのを防ぐハードウェア研究開発の展開制限である。
各シナリオの前提条件
3つのシナリオはすべて、上限が制限され始めるまで (~2034) プランAの計算資源パスに従い、その後は2つのレバーで異なる。
計算資源キャップ(キャップアンドトレード、2032年以降)。オン: インストールされた計算資源は、プランA政策パス、2040年までに~1T H100eに固定される。オフ: 制約のない再投資ループが数量を設定し、実行される。
ハードウェアの研究開発。制御あり:チップ設計の進歩は年約10%、おおよそ2010年以降のトランジスタ当たり費用の低下ペースに抑える(AIの計算効率の年約25%という趨勢を大きく下回る)。制約なし:ハードウェア研究開発の実効労働力は経済モデルの実効AI労働力(能力×量)なので、設計費用の低下もそれに応じて加速する(基準率は年25%、stepping-on-toes、上限は60%/年)。
| シナリオ | 計算資源キャップ | ハードウェアの研究開発 | 何が起こるか |
|---|---|---|---|
| プランA | オン、2040年までに約1T | 制御された | ドキュメントの残りの部分が使用する境界付きパス |
| キャップなし、ハードウェアの研究開発が管理されている | オフ | 制御された | 量は上限の数千係数に爆発する |
| 上限なし + 制約のないハードウェアの研究開発 | オフ | 制約のない | 量もコストも暴走してチャートから外れる |
有効労働力は、すべてのシナリオで同じ系列である (econ モデルの A_eff、能力 x 量、そのシナリオの計算資源によってスケールされる)、研究開発の管理は、労働力の合計ではなく、そのうちのどれだけが設計の進捗に反映されるかに基づいて行われる。
| ハードウェアの研究開発 | AIの効率的な労働力、2040年 (HE = 人間相当) | 設計コストの低下 |
|---|---|---|
| 制御(プランA) | ~400B HE | 年約10%、2010年以降のトランジスタ当たり費用のペースで維持 |
| 管理されている(キャップなし) | ~2×10^15 HE | 従業員数が大幅に増えたにもかかわらず、年率約10%を維持 |
| 制約なし (両方) | ~2×10^21 HE | 25%/年、60%/年の上限まで拡張 |
非制約率は、まさに経済モデルのJones式 (25%/年x (A_eff成長)^0.05、);制御された上限は、プランAの最上位に重ねられた R&D 制御政策であり、基本経済モデルはこれを課しない。
研究開発は有効労働力のどのくらいの割合を占めているか?有効労働力の一定割合であり、重要なのはその成長率だけなので割合自体は相殺され、特定の比率は仮定しない。この有効労働力には経済モデル上の実効AI労働(A_eff、能力 x 数量)を用い、各シナリオの計算資源量をプランA比で調整するため、研究開発の進展には能力と数量の増加がともに反映される。ロボットは固定のプランAのキャップアンドトレードパスに基づいて維持され、これらのシナリオ間で変更されることはない。
供給側への影響と健全性チェック。
プランAでデフォルトで可能な計算資源生産は比較的単純にモデル化されており、キャップアンドトレードの軌道は、他の制約 (検証と取引の安定性)によりかなり低く設定されている。このボックスでは、キャップアンドトレードの軌道が供給側にどのような影響を与えるかを説明しながら、可能となるキャップアンドトレードの軌道を動機づける。特に、歴史的成長と比較して必要となるリソグラフィーに注目する。
方法。プランAの年間生産量 (新規H100e/年、2040年までに約5,700億H100e/年に増加)をシリコンウェーハに変換し (これがパラダイムのままであると仮定)、ウェーハを必要なリソグラフィー露光パスに変換し、次に1台のリソグラフィー装置のスループット (機械年当たりの実現パス)で割って、必要な機械年数を求める。
デフォルトのリソグラフィーフリート。我々は 2029年(§1.1 より、H100e あたり約 0.7 EUV パス)を基準に、その歴史的経過にあるリソグラフィ フリート(2029年に稼動しているマシンは約 620台、年率約 20% 増加。ASMLは現在、年間約 125台を出荷)と比較し、また、マシンのスループットを年間約 10% 増加させ、これは 1時間あたりのウェハ数の歴史的な上昇 (2019年から 2024年でおよそ 125 ~ 220 枚) に匹敵する。
デフォルトの計算密度。時間の経過とともにH100e/ウェーハが増加約35%/年;デフォルトの傾向と比較して、リソグラフィーのビルドアウトが示唆する 3 つの異なる可能性を検討する。
| ウェーハあたりの計算資源の増加 | 0%/年 (凍結された2029年のテクノロジー) | 35%/年 (継続的なテクノロジートレンド) | 50%/年 (技術トレンドの加速) |
|---|---|---|---|
| 2040年までに必要な露光装置 | ~1,100,000 | ~14,000 | ~4,400 |
| とチップ群の歴史的趨勢(2040年までに約4,300)との比較 | 係数~255x | 係数~3x | 係数~1x |
| 現在と比較した暗黙の年間生産量 (~125/年) | 係数~4,400x | 係数~29x | 係数~6x |
プランAでは、中央の列のようなことが起こると予想される。
プランAの計算資源増強が含意する投資額は、検算のためドル換算でも示せる。各年の推定投資額は、その年に追加した計算資源にH100e当たりの総費用を掛けて求め、この総費用は、上のモデルによる生産費用に、AI設備投資1ドルで購入するその他すべて、すなわちチップメーカーの利益、データセンター、電力、ネットワークを含む上乗せ係数を掛けた値である。この上乗せ係数は、2025〜2028年についてPart 1の設備投資予測、2028年で約2.4兆ドルを正確に再現し、2029年について§2.1の合意年を再現するよう較正すると、約7x〜8xになる。その後は、ロボットが建設するファブやデータセンターが生産費用に近い価格でハードウェアを供給し、後述の効率改善によってH100e当たりの電力・データセンター費用も縮小するため、2040年までに約1.2xへ下がると予想する。
上限のないパスについては非常に不確実であるが、制約のないデフォルトは上限のあるパスよりも桁違いに高くなる可能性が高いと考えられる。 AIやロボットがハードウェアの研究開発やチップ生産に対応できるようになると、ハードウェアの研究開発やチップ生産に利用できる効率的な労働力が大幅に拡大する。私たちは、積み重ねられたJonesの法則とWrightの法則の学習曲線の力学が、これがどのようになるかを合理的に単純に近似したものであると考えている。
歴史的に、チップ設計の改善は電力効率の改善と密接に結びついていたため、上記のコストモデルと同じJones設計トレンドに基づいて、同じパラメータ (25%/年基本レート、つま先立ち)を使用して計算電力効率をモデル化する。)をプランAの制約下の研究開発ペースで進めると、次の軌道となる(とりわけ、その軌道はCMOSトランジスタの理論限界を越えない。Epoch推定).
2.3企業の集中
このセクションでは、計算資源が企業間で時間の経過とともにどのように分散されるかについての予測を示す。私たちは追跡するAI企業のエンドユーザー (計算資源を実際に使用する会社)所有者(自分の計算資源を他の人に使用または貸与する可能性がある)。初期のほとんどの計算資源は、ハイパースケーラーが所有する集中的な方法 (Googleが計算資源の約25%を所有)であるが、AI企業のエンドユーザーは集中力が低い、最大のものは2026年に世界の計算資源の約10%を使用する (GDMとOpenAIは同様である)。
AI企業が使用するシェアは時間の経過とともに増加しており、プランAが実施されるまでこの傾向は今後も続くと予測している。2030年以降、プランAの透明性体制により参入障壁が低くなる。AIへの投資が拡大してより均等に広がり、計算資源がより多くの企業に分散されるようになり、2040年までに、最大企業は世界の計算資源のわずか約5%を保有し、フロンティア企業は約20社になる (最大企業の4x以内の企業として定義される)。
企業の計算資源集中のための方法
この方法は比較的単純で、分布の形状について世界規模のランクサイズの法則を1つ設定し、予測と一致するように手動で設定し、その後、§1.3の分割に一致するように企業を所有地域に割り当てる。宇宙を越えて世界中のエンドユーザー、ランキングのシェア -会社は
シェアの合計が1になるように正規化される (ランクの標準正規分位数である)。これには2つの形状パラメータがある。全体的な広がり (上位3つを駆動する濃度)を設定する。として減衰する頭の傾きである。1つのリーダーを次の2つのリーダーに対して相対的に移動するが、テールへの影響は少なくなる。
世界の最上位1社と上位3社の最終利用者シェアを各年について直接設定し、次の式を解く。これにより分布は二つのシェアをともに再現する。 初期の首位企業の比率は小さいが、2029年の協定時には世界の計算資源の約5分の1、上位3社では半分近くまで上がり、その後はプランAによる分散に伴って低下する(上位1社は2035年に約10%、2040年に5%、上位3社は約25%、その後13%)。 この予測のより確かな根拠付けは今後の課題である。 当初は、協定後に均等化するアルゴリズムIP、データセット、利用者、ブランド・人材の定着などの非アルゴリズムIP・資本、さらに広義の資本を組み合わせて、AI計算資源に対する市場支配力と支払意思額を表し、その推移から計算資源配分を求めるモデルを作ろうとした。 しかし複雑で、時間内に完成できなかった。
その後、各企業はハードキャップの貪欲フィルによって所有権地域 (米国、中国、その他の地域)に割り当てられるため、地域の合計は2029年まで毎年、§1.3の所有権分割と正確に一致し、その後、キャップアンドトレード取引の割り当てに向けて収束するプランAの所有権分割と一致する。リージョンごとのサイズの偏りのみがシフトするどの表すのは地域内企業への配分で、地域全体の持分ではない:米国は中立的な配分ながら最大手を抱え、中国は2030年まで分散した後、2031年に国策中核へ集約して最大手が国内computeの約半分とfrontier developerを得るが、2040年へ向け再び分散し、Rest of Worldはさらに平坦化するため、その総持分が米国を上回った後も、世界最大の単独developerは米国に残る
2030年までの協定期間は、世界の最終利用者上位3社をフロンティア集合とする(米国の主要開発企業名を、年ごとに手作業で設定した順位で示す)。 2031年以降は企業名を外し、世界最大の最終利用者の4x以内にある最終利用者をフロンティアと呼ぶ。
| パラメータ | 値 | 役割 |
|---|---|---|
| 世界中のエンドユーザーの世界 () | 200 | ランクサイズ法の会社数 |
| トップ1のエンドユーザーシェア (2026 / 2029 / 2035 / 2040) | 8% / 20% / 10% / 5% | ハンドセット。 一致するように解決 |
| トップ3のエンドユーザーシェア (2026 / 2029 / 2035 / 2040) | 23% / 45% / 25% / 13% | トップ1とは独立したハンドセット |
| §1.3 2040年における所有権の分割 (米国 / CH / RoW) | 35% / 20% / 45% | 地域の合計は毎年正確に一致する |
| 中国サイズの偏り | 横ばい、その後2031年に +5、2039年までに +2に緩和 | 早めに解散、 2031年に統合、 2040年までに平坦化 |
| その他の世界のサイズの偏り | −0.6、2039年までに−2.5 | 終わりに向かって横ばいになるため、米国が最大の開発者を維持する |
| フロンティアルール | トップ3 (≤2030) / 4x以内 (≥2031) | ディール時代はトップ3を指名、後は最大値の 4x以内 |
2.4計算の割り当て
このセクションでは、プランAにおけるフロンティアAI計算資源の割り当てを予測する。2025年にOpenAIが支出した費用計算の約半分は推論に基づいているそしてもっと似たような2024年の推論で3分の1残りは学習と実験に使われ、そのうち最終的なフロンティア学習実行に使われるのは約10%にすぎない。この現在の配分を2029年の協定までは単純に延長し、その後はプランAを条件として各配分比率を予測する。
2.5 AIのコピーと速度
この節では、フロンティアモデルを同時に何コピー実行できるか、また毎秒何トークンで動かせるかを予測する。どちらも不完全な指標であり、将来は足場やアーキテクチャが変わって「コピー」の数え方自体が曖昧になりうるが、ここでは提供中のモデル重みの並列インスタンスを一つと数え、コピー数=レプリカ数×バッチ数とする。速度も完全な指標ではなく、本当に重視したいのはタスク完了速度だろうが、ここではデコード時の毎秒トークン数だけを見るため、思考連鎖がneuraleseへ置き換わるなど、将来の方式変更によってトークン数による速度比較が成り立たなくなる可能性もある。
先に断っておくと、以下は具体的な最善推定であり、実際の不確実性は何桁にも及ぶと考える。AIの方式、すなわちアーキテクチャ、スパース性、エージェントの足場、「コピー」という枠組み自体の妥当性も、ハードウェアの方式、すなわちチップのメモリと帯域幅の配分、推論専用シリコンの比率も、2040年までに何度か変わりうる。方法そのものは単純なので率直に記すと、フロンティアモデルの大きさと世界の計算資源のうち推論へ回る比率を推定し、推論用設備の総メモリを各コピーに必要なバイト数で割ってコピー数を求め、メモリ帯域幅が各トークンに必要なバイト列を読み取る速さから実行速度を求める。以下では、それぞれの推定方法を説明する。
モデルのサイズ。前のセクションで得た世界的な計算資源の増加と、大手企業の集中 (§2.3)およびトレーニングの割り当て (§2.4)を組み合わせて、時間の経過とともにフロンティアのトレーニング計算資源を実現する (2029年までに現在の約32x、2040年までに160,000x)。次に、これらの計算数値とスパース性予測を、単純なモデルを使用してモデルサイズ (合計パラメーター)にマッピングする。
どこでは合計パラメータ (T、今日のレベル)、はフロンティアトレーニング計算資源であり、疎性である。指数の計算スケールアップを計算するためのモデルサイズのスケールアップの感度であり、単純なチンチラの最適性は ~0.5 を意味するが、不確実性は大きくある。たとえば、データの可用性などにより、増加する可能性がある理由がある(式を次のように当てはめると)ネソフさんの独自の計算資源およびスパース性の数値が与える)、またはたとえば、ウェイトを盗むのを難しくすることによる意図的なアンダートレーニング。また、サーブのオーバートレーニングなど、減少する可能性がある理由もある (サルダナとフランクル)、強化学習、その他パラダイム変化に関する未知の未知の領域。私たちはただ仮定するだけであるそして描く妥当な範囲であると考えられる範囲を図上の範囲として示す。スパース性指数暫定的により適切に固定される (ただし、スパース性MoEパラダイムは変わる可能性がある)。
速度とコピーに大きな影響を与える可能性があるため、スパース性の仮定を含めることは価値があると考えている。
合計 = 10T × (計算量の増加)α × (疎性の増加)β, with α = 0.5およびβ = 0.74。
| 年 | 10T × 計算資源α | × まばらさβ | = 私たちのもの (合計) | α ∈ [0.2, 0.8] | Nesov |
|---|---|---|---|---|---|
| 2026 | 10T | 係数1.0×(8x) | 10T | 10Tから10T | 10T |
| 2027 | 20T | 係数1.7×(16x) | 33T | 22T~49T | 30T |
| 2028 | 35T | 係数2.8×(32x) | 97T | 46T~205T | 240T |
| 2029 | 57T | 係数2.8×(32x) | 158T | 56T~449T | 650T |
| 2030 | 83T | x3.1 (37x) | 255T | 72T~904T | — |
| 2032 | 229T | 係数3.8×(48x) | 862T | 132T~5,638T | — |
| 2035 | 1,411T | 係数4.7×(64x) | 6,576T | 337T ~ 128,155T | — |
| 2040 | 3,992T | 係数7.8×(128x) | 31,063T | 854T ~ 1,129,715T | — |
ネソフの数字との違い
ネソフが650Tを取得する方法:どちらもネソフのもの予測一方、私たちの推定は学習計算資源量から出発し、主な違いは、Nesovの2029年のフロンティア学習実行が次の値で2x大きいことである。8e28 FLOP仮定して30xのスパース性。 30xのスパーシティ計算資源の最適な比率は次のとおりである。アクティブなパラメータごとに240トークン(ある人からスパースMoEスケーリングペーパー)したがって、8e28 FLOPは必要になる7.4Tアクティブパラメータ~1,800Tトークンで。しかし、彼は一意のデータのトークンが約200Tしか存在しないと想定している。8.5xの不足、彼はこれで分割したデータに制約されたスケーリング結果大まかに取得する アクティブなパラメーターが2.9x増加(7.4T→22T)と2.9エポック回の反復に相当する。 Nesovと同じ低データ領域の補正は行わず、強化学習の増加、学習パラダイムの変化、合成データ生成など、逆方向に作用する要因もあると考えるためである。 両方向の要因に大きな不確実性があるため、単純な基準値を用いる。
| 年 | 事前トレーニング計算 (FLOP) | スパーシティ | アクティブなパラメータ | 合計パラメータ | データ不足 | Epoch |
|---|---|---|---|---|---|---|
| 2026 | 1.3e27 | 係数8x | 1.3T | 10T | — | 1 |
| 2027 | 6e27 | 係数8x | 2.9T | 30T | 係数1.75x | 1.3 |
| 2028 | 2e28 | 係数30x | 7.9T | 240T | 係数4.5x | 2.1 |
| 2029 | 8e28 | 係数30x | 22T | 650T | 係数8.5x | 2.9 |
| 2030 | 1e29 | 係数30x | 26T | 790T | 10倍 | 3.1 |
| 2031 | 2.2e29 | 係数30x | 48T | 1,400T | 係数15x | 3.9 |
推論計算フリート。私たちは世界の計算資源 (パブリック + 内部)の§2.4推論シェアを取得し、H100eあたりのメモリと帯域幅の比率 (§1.1)を2029年以降も一定に保つ。 この計算資源を通常の汎用チップと推論専用チップに分割し、ハンドセットシナリオについては以下で説明する。
チップタイプごとにメモリを提供する (エクサバイト、ログ)。専用メモリは需要 (レプリカの重み + コピーあたりのKV)から導き出される: 2040年までに~2.3 ZBに対して、汎用は~10 ZB。
同時に提供されたフロンティアコピー (レプリカxバッチ)、2026 ~ 2040 (ログ)。
コピー。推論フリートの合計メモリを各コピーにかかるバイト数で割ることにより、コピーを取得する。各コピーには、モデル重みのシェア (重みの完全なセットは現在4ビットで約5 TB、中央モデルサイズでは2040年までに約15 PBで、同じバッチで提供されるコピー間で共有される)と独自のコンテキストが必要である。本文ではバッチサイズとKVキャッシュをモデル化するのではなく、それらの複合効果についてのみ述べる、コンテキストが今日の汎用推論メモリの約半分を占め、2040年までに約5%に低下すると仮定し、これは、重みが各コピーのコンテキストよりもはるかに速く増加するためである (詳細はメソッドボックスにあり、バッチの仮定はコンテキストの長さの仮定とトレードオフするだけであり、任意である)。これにより、今日では約3,000万部が発行される。スパース性の上昇によってモデルが推論フリートよりも速く成長するため、最初は数がわずかに減少し、最終的には2040年までに非常に大まかに2億に達し、ほとんどのコピーは汎用ハードウェア上にあり、残りは後述する推論専用チップ上のはるかに高速なコピーになる。
| 年 | 平均コンテキスト | KV / コピー | コンテキスト/レプリカ | ウェイト/レプリカ | コンテキスト共有 |
|---|---|---|---|---|---|
| 2026 | 200k | 20GB | 5.1TB | 5.0TB | 51% |
| 2029 | 341k | 68GB | 17.4TB | 79.2TB | 18% |
| 2032 | 580k | 220GB | 56.3TB | 430.9TB | 12% |
| 2035 | 988k | 896GB | 229.3TB | 3.3PB | 7% |
| 2040 | 240万 | 3.3TB | 856.1TB | 15.5PB | 5% |
マイルストーンとなる年におけるモデルのサイズ、コピー数、および速度 (プランA)。
| 年 | モデル (合計/アクティブ) | コピー (gen/inf) | すべてのコピー | 速度 (gen/inf) | 平均速度 | 合計tok/s (gen/inf) |
|---|---|---|---|---|---|---|
| 2026 | 10T/1.3T | 30.3M / 8k | 3,030万 | ~57 / ~1.0k | ~57 | 1.7B / 7.9M |
| 2028 | 97T / 3.0T | 23.4M / 60k | 2,350万 | ~65 / ~1.3k | ~68 | 1.5B / 78.6M |
| 2029 | 158T / 4.9T | 28.9M / 123k | 2,900万 | ~67 / ~1.5k | ~73 | 1.9B / 185M |
| 2032 | 862T/18T | 63.1M / 1.6M | 6,460万 | ~89 / ~3.0k | ~161 | 5.6B / 4.7B |
| 2035 | 6,576T / 103T | 154M / 21.7M | 1.76億 | ~119 / ~6.0k | ~844 | 18B / 130B |
| 2040 | 31,063T / 243T | 150M / 36.2M | 1.86億 | ~192 / ~25.0k | ~5.0k | 29B / 904B |
チップタイプ別のコピーごとのデコード速度 (トークン/秒、ログ)。
スピード。速度については、メモリ帯域幅に注目する。汎用ハードウェアでは、各デコードステップでバッチ内のすべてのコピーの重みとコンテキストを読み取る必要があるため、各コピーが1秒あたりに取得するトークンの数は、ハードウェアが独自のメモリを通じて1秒あたり何回読み取ることができるかに相当する。推論フリートのメモリ帯域幅はメモリ容量の約31xで、約2xの投機的デコード利得と約90%の使用率の後、1秒あたり約31回のフルリードスルー、またはコピーあたり約57トーク/秒を実現する。都合の良いことに、メモリフットプリントが大きくなるとそれに比例してメモリ帯域幅も増えるため、この推測はバッチ、コンテキスト、モデルサイズ、またはスパース性に依存しない。その後、速度は、H100eあたりの帯域幅がH100eあたりのメモリ容量を上回る速度でしか増加しなく、これは、2029年以降は年間約10%で発生し、2040年までに約190 tok/sに達すると想定される。
推論に特化したチップ。最大のワイルドカードは、特定のモデルの提供に特化したチップで、重みはオンチップSRAMに保持される (例:大脳、グロク)、Transformerアーキテクチャ自体をシリコンに焼き込む方式(Etched)、重みをダイに直接焼き込む方式(Taalas各段階は推定であり、専用チップの新規computeシェアを2026年0.2%、協定時1%、2040年14%(推論装置群の約半分)と置き、1コピーの速度を現在~1,000 tok/s(CerebrasがLlama-405Bで測定した969 tok/s)から、2035年の停止後にfrontier modelが固定される2040年の~25,000 tok/sまでと仮定する。1コピーを速くするほどコピー数を失う(copies = total token throughput / speed of each copy)ため追加コピーは少ないが、この仮定では2040年にほぼ全tokenを生成し、平均速度を現在の~100 tok/sから約5,000 tok/sへ引き上げ、上図の速度向上の大半を占める。専用チップが普及しなければ、平均速度は汎用チップの~190 tok/s付近にとどまる。下表は推論装置群の各部分が実際に使うcomputeとbandwidthを示す。
各チップタイプの帯域幅とデコードが使用する計算資源のシェア、バインディング (上限の下限) リソースはスループットを設定する。
| 年 | 世代: 帯域幅 | 世代: 計算資源 | Inf-spec: 帯域幅 | Inf-spec: 計算資源 |
|---|---|---|---|---|
| 2026 | 90% (結合) | 9.4% | 90% (結合) | 18% |
| 2029 | 90% (結合) | 3.3% | 90% (結合) | 21% |
| 2032 | 90% (結合) | 3.2% | 90% (結合) | 40% |
| 2035 | 90% (結合) | 3.3% | 73% | 90% (結合) |
| 2040 | 90% (結合) | 2.7% | 23% | 90% (結合) |
AIコピーの手法と速度
フロンティアモデルには、合計とスパース時のアクティブパラメータ、4ビットで提供される ( bytes/param)なので、1つのレプリカが保持される。重みのバイト数と各トークンのコストFLOP(読み取り値)バイト)。
モデルのサイズ。 とTさん、そして先頭企業の学習計算資源量(top-1 share §2.3 x world stock x training allocation §2.4)。中央値は2029年に~158T、2040年に~31,000T。
コピー。推論フリートは、§2.4推論シェアである。推論に特化した部分を含む世界のストック (H100eあたりのメモリと帯域幅は§1.1から、2029年以降は横ばい)手作業で設定した新規計算資源の配分から積み上げる(専用チップは推論処理だけを担うため、その保有量すべてがサービスに使われる)。汎用部分はメモリ容量に応じてコピーを稼働させ、1コピーはモデルの重み分を占有する。プラスKVキャッシュそれぞれの同時コピー。代わりに、特殊なチップが、選択した速度でトークンスループットがサポートするのと同じ数のコピーを提供する。ここでスループットは使用率である計算資源制限の小さい方の係数 ()とその重み読み取り帯域幅制限 ();メモリは一致するサイズに設定され、バインドされることはない。それで、
スピード。と推論フリートの帯域幅:容量比率 (メモリ全体を1秒あたり何回読み取ることができるか)、
汎用ハードウェアでは、バッチ化されたデコードステップは同じフットプリントを読み取る ()レプリカが所有する帯域幅 ()、バッチとコンテキストがキャンセルされ、デコードのみが得られる。使用率の係数のままであり、推論処理が大規模バッチでスループット最適となる動作点を維持することを前提としている。スパース化はトークン当たりのバイト数とFLOPを減らすが層数は減らさないため、実効速度そのものは変えず、その効果はモデルサイズと専用チップのトークン当たり計算量に反映される。見出しの平均速度はコピー数で加重している。
すべての入力は、それが属する推測順に並べられる (モデルサイズ、推論フリート、コピー、速度)。
| パラメータ | 値 | メモ |
|---|---|---|
| 2026年のアンカー | 合計パラメータ10T、8xスパース | 今日のフロンティア |
| 指数を計算する () | 0.5、バンド[0.2、0.8] | データの壁が押し上げる (ネソフの数字は適合する) );オーバートレーニング、RL、蒸留プッシュダウン |
| スパース性指数 () | 0.74 | アクティブなパラメータごとの最適なトークンの増加~ |
| スパース性 () | 係数8x → 32x@2028 → 128x@2040 | ハンドセット |
| 推論シェア () | ~50%協定前、77% @ 2030、25% @ 2040 | §2.4より (パブリック + 内部) |
| 新しい計算資源の特殊なシェア () | 0.2% (2026) → 1% (2029) → 14% (2040) | ハンドセット、 ~2040年までに推論フリートの計算資源の半分 |
| H100eあたりの帯域幅 | 2029年以降 +10%/年、容量は横ばい | 読み取り率を与える : ~31/s (2026) → ~107/s (2040) |
| 仕様帯域幅 () | 60x HBM (2026) → ~500x (2040) | Groq/Cerebrasを約 60 ~ 80x測定、帯域幅は ~2034 までバインドされ、その後計算される |
| サービング精度とFLOP/秒 | 4ビット (0.5 B/パラメータ)、H100eあたり4e15 FLOP/秒 | 2026年にはレプリカあたりの重みは約5 TBになる |
| バッチ () | レプリカあたり256の同時コピー | 平らに保つ、コンテキストの仮定とのトレードオフ |
| コピーあたりのKV () | ~20 GB (2026) → ~3.3 TB (2040) | ~200k → ~240万のコンテキストトークン; 2040年までにメモリの約 5%のコンテキストを残す |
| デコードゲイン () | ~2 | 投機的/マルチトークンのデコード |
| 使用率 () | 0.9 | 各チップカテゴリの結合制限 |
| スペック速度() | 1,000 / 1,500 / 3,000 / 6,000 / 15,000 / 25,000トーク/秒(2026/29/32/35/38/40) | ハンドセット、オンチップのワイヤ遅延フロアに向けて |
付録: 実効H100eモデル
A.1目標
一般的なH100 GPUクラスターと比較して、特定のクラスターがAIワークロードにとってどの程度役立つかを推定する方法が必要である。
生のH100相当の比較は、ピーク計算資源のみを測定するため、適切な代用とは言えなく、また、実際のAIワークロードの場合、クラスターは、他のハードウェア要因、特にメモリ帯域幅、メモリ容量、スケールアップネットワーク、スケールアウトネットワーク、一般的なワークロードにまたがる必要がある物理チップの数に応じて、多かれ少なかれ大幅に役立つ可能性がある。出力は
ここで、クラスターが考慮されているH100クラスターアンカーよりも生のH100eあたりの有用性が高い場合、有用性調整は1より大きく、それより悪い場合は1より小さくなる。有用性調整の主な設計目標は次のとおりである。
H100アンカークラスターは、生のH100eと同等の実効H100eを持つ必要がある。
他のすべてを一定に保ち、より多くのメモリ帯域幅、メモリ容量、スケールアップネットワーク、スケールアウトネットワーク、またはスケールアップワールドサイズが役立つはずである。これは、個々の指標 (他のすべてが等しい)でN係数の改善が必要であることを意味する。有用性調整1x。
同等の合計ハードウェアパフォーマンスを備えたクラスターでも、より小さなデバイスに分散すると、より悪くなる可能性がある。固定ワークロードサイズでは、より多くのチップに分散する必要があり、通信オーバーヘッドが増加するためであり、これは、数量をN増加加させてチップごとのすべてのメトリクスをN係数削減する (したがってクラスターの合計は同じになる)必要があることを意味する。有用性調整1x。
ボトルネックはハードではなくソフトである必要があり、リソースは相互にトレードオフする必要があり、これは、AIワークロードでは、さまざまなリソースをトレードオフするために並列処理やその他のソフトウェアレベルの選択などを再調整することが可能になる傾向があるためである。
A.2入力
入力はチップとクラスターのプロパティであり、次のように表記される。
: チップごとの計算 (H100e)。
: チップごとのメモリ帯域幅。
: チップあたりのメモリ容量。
: 特定のワールドサイズ (ラック内のNVLinkなど)内のチップごとのスケールアップ帯域幅。
: スケールアップ世界の外側、クラスタ全体の内側のチップごとのスケールアウト帯域幅。
: スケールアップワールドサイズ、インチチップ(スケールアップドメインのGPU数、例: NVL72 ).
: クラスター内のチップの数。
私たちのモデルはワークロードに依存する。つまり、(計算資源フットプリントにおける)ワークロードサイズが考慮され、単一の平均ワークロードを考慮するのではなく、ジョブサイズの広がりを使用し、それぞれを分数にする。のフロンティアスケール 、これはフロンティア企業の総計算資源を表すものとされており、ジョブ数の重み付けが行われる。()以下のように、分数で表するフロンティアスケールの:
| 仕事 | 分数 /全 | 重量 |
|---|---|---|
| 小さい(推論、実験) | 0.50 | |
| 中 (大規模な実験、テストの実行) | 0.30 | |
| 大規模(辺境に近い訓練) | 0.20 |
重要なことは、の一部である生のH100e計算資源物理的なチップ数ではない。
A.3アンカーシナリオ
raw=Effectiveのアンカーとして2024スタイルのH100-SXMクラスターを使用する。
| アンカー (生 = 有効) | 値 |
|---|---|
| チップあたり生のH100e | 1 |
| メモリ帯域幅 | 3.35TB/秒 |
| メモリ容量 | 80 GB |
| スケールアップ帯域幅 | 0.9TB/秒 |
| スケールアウト帯域幅 | 0.05TB/秒 |
| スケールアップした世界 | 8チップ(HGX-8) |
| クラスターサイズ | 10万チップ |
それとは別に、我々が考えるフロンティアスケールは、時間に依存する。私たちはこれを、世界の総計算資源に占める割合の増加としてモデル化している (フロンティアAI企業が世界の計算資源に占める割合の増加を反映している)が、約6% (2025.0)から9 / 13 / 16 / 18% (2026.0 ~ 2029.0)に上昇しているため、ワークロードの絶対サイズは年々増加し、世界規模のロードマップに沿ってスケールアウトの圧力も高まっている。構造上、アンカーは有効なH100eを出力する必要がある。つまり有用性の調整(§A.9で検証)。
A.4ワークロードのフットプリント
バケットごとに、生のワークロードサイズ (必要な計算資源)は次のとおりである。
ワークロードに必要な物理チップの数は、ハードウェアが許す限り薄く分散することを前提としている。ジョブの計算資源をチップごとの計算資源で割るメモリが空いている場合に必要なカウントを与え、次に次の値でインフレートする。ジョブの重みとアクティベーションのより小さなスライスを保持するメモリの少ないチップを考慮するためである。ただし、私たちはメモリを絶対的な制約とは扱わない: 指数容量は、活性値の再計算、オフロード、細粒度シャーディングによって一部を補えるため、チップのメモリを半減させても、必要なチップ数が必ずしも二倍になるわけではなく、やや増えるにとどまる。
どこでは、上で説明したメモリフットプリントの弾力性である (: 容量はチップ数を変更しない。: 設置面積は容量に反比例し、私たちは仮定するデフォルトで)。
これを私たちはこう呼んでいる通信フットプリント なぜなら、それが以下のペナルティにおけるクロスチップトラフィックを促進するものだからである。ジョブがより多くのチップに塗りつぶされるほど、より多くのチップ間で通信する必要がある (§A.5)、ワークロードが単一のチップに収まるエッジケースでは、それを1つにフロアする。どちらの弱点も重なり、フットプリントが大きくなる、計算資源能力が低いチップは、ジョブを実行するためにより多くのコピーが必要で、メモリが少ないチップは、状態を保持するためにより多くのコピーが必要であり、そのため、どちらかの軸でチップが弱いと、同じワークロードがより多くのチップに分散され、より多くの通信コストがかかりる。
これらすべてを、同じジョブ: 参照フットプリントは、アンカーは次のとおりであるため、記憶用語はない。
A.5スケールアップトラフィックとスケールアウトトラフィック
ここで、ワークロードの通信の割合を推定する ()は、高速スケールアップの世界にとどまることができる。ワークロードのチップフットプリントの比較(§A.4より)ワールドサイズへとする
フットプリントがスケールアップワールド内に収まる場合 ()、その後;それが大きい場合でも、全対全スタイルのコミュニケーションのうち、インワールドで行われるのはほんの一部だけである。スケールアップの世界を持たないチップでは ()、1チップを超えるワークロードは純粋なスケールアウトである。これは、AIワークロードのトラフィックの大まかな概算である。
A.6リソースペナルティ
モデルはリソースペナルティを計算し、アンカーが1になるようにそれぞれ正規化する。
6.1メモリ帯域幅ペナルティ。
チップあたりの計算資源がチップあたりのメモリ帯域幅を上回る場合 (両方ともアンカーに対して)、チップは帯域幅のボトルネックになる ()。帯域幅が計算資源よりも速く増加するとしても、それほどではない ().
6.2ネットワークペナルティ。これは、クラスターと同じジョブのアンカーがどの程度通信に束縛されているかを測定する。チップの計算資源能力が高い場合 (1秒あたりに実行される作業が増えると、供給を維持するためにより多くのデータ交換が必要になる)、およびそのジョブがより多くのチップにまたがる場合、通信のボトルネックは高くなる、これらをネットワークの速度と比較して重み付けする。
各クラスターの実効逆帯域幅から始める。(移動するデータ単位あたりの通信時間なので、高いほど悪くなる)。 §A.5より、はスケールアップワールド内のトラフィックの割合であり、スケールアウト中なので、トラフィックの行き先によって2つのファブリックをブレンドする。アンカーの場合:
独自のフットプリント、ワールド、帯域幅を持つ候補クラスターについても同様である。
通信ペナルティを3つの要素の積としてモデル化し、それぞれはアンカーに対して測定される: ジョブがどれだけのチップにまたがる必要があるか ()、各チップが作業を完了する速度 ()、およびクラスター上での通信コスト (通信時間は移動されるデータ量とその移動コストの積であるため、この速度は増加し、そのため、一度に複数の軸で悪化するとさらに悪化する。弾力性ありスパン上:
計算速度 ()と通信費()入力すること直線的に: 2xの速さで作業を完了するチップは2xの速さで交換するデータを生成し、バイトあたりのコストが2x高いリンクでは2xの時間がかかるため、通信時間に直線的な圧力をかけるものとしてそれぞれをモデル化する。スパンが入りるサブリニアに()チップ数が2xになっても、各チップが動かすデータ量は2xにはならないためである。たとえばリング型all-reduceでは、ジョブを100基で実行しても100,000基で実行しても、各チップが動かすデータ量は一定で、モデルサイズ二つ分ほどとなり、チップ当たりのチャンクが、ステップ数の増加と同じ速さで縮むからである。ただし、同期ラウンドやツリーホップなどの調整ステップ数はチップ数とともに増えるものの、その増え方は緩やかであり、そこで全体は次の式でモデル化する。指数。
A.7ボトルネックの結合
上記の2つのペナルティを計算資源のボトルネックと組み合わせ、重要度の割合で重み付けする。計算資源にはペナルティはない (ペナルティは計算資源対リソースの比率であるため、定義上1であるが、計算資源自体の場合、その比率はちょうど1である))だから、は計算律速としてモデル化する作業の比率であり、とはそれぞれメモリ帯域幅とネットワークのペナルティに割り当てる比率である。各資源が部分的に相互補完できるよう、厳密な最小値ではなくべき平均を使い、デフォルトは:
どこでH100アンカーと比較した速度の低下である。 (は単純なアムダール形式の加重平均である。デフォルトでは、大きなボトルネックがより激しく食い込みる。 CES用語でいうと置換の弾力性に対応するリソース間)。有用性の調整は、ワークロード全体のペナルティの加重平均である。
A.8完全な方程式
有用性の調整である
A.9なぜこれが望ましい特性を満たすのか
プロパティ1: アンカーrawは有効と同等である。アンカーでと、それでと。したがって、効果的なH100eまさに。
特性2: より多くのリソースが役立ちる。増加中下げる。増加中設置面積を減らするしたがって。増加中または下げる。増加中上げる、トラフィックを低速スケールアウトから高速スケールアップに移行する (これは、);効果は一度飽和するつまり、ワークロードがすでにスケールアップの世界に収まった後である。それぞれ実効H100eが上昇する。
特性3: 総計算資源は同じで、チップは小さくなる。アンカークラスターをチップから再構築する。チップごとのすべてのメトリクスでは弱いであるが、より多くの数があるため、クラスターの合計は変わりない。とチップ数と同じワークロード。
H100eのグロス合計は同じだが、各ジョブをより多くのチップにまたがって実行する必要があるため、有効度は1を下回る。チップ単位の2つの低下要因が重なるため、必要な機器規模は線形を超えて増大し、計算性能が低いと、各チップが担えるのはわずか仕事の、必要なチップの数が増え、メモリが小さくなるとさらにその額が膨らみる。(記憶弾性により)、チップ数は によって増加する。であり、を上回るのは:
帯域幅のバランスは変化せず、チップごとの計算と逆ネットワークキャンセル (チップごとの計算が小さくなると、対応して遅いネットワークによって相殺される)となり、フットプリントの項のみが残りる。
したがって、
デフォルトのパラメータでは、有用性の調整は次のようになる。
これらの値に対して次の値が得られる。:
| 有用性の調整 | ||
|---|---|---|
| 0.1 | 係数1.10x | 係数0.91x |
| 0.5 | 係数1.04x | 係数0.96x |
| 2 | 係数0.96x | 係数1.04x |
| 10 | 係数0.84x | 係数1.19x |
| 100 | 係数0.64x | 係数1.55x |
| 1000 | 係数0.45x | 係数2.23x |
弱いチップの場合 ()ペナルティは生じるものの程度は中くらいで、、が大きいほど強まり、大規模ジョブがスケールアップからスケールアウトへあふれ出す場合にも強まる。一方、(数は少ないが強力なチップ、例:行)逆も成り立ち。
A.10デフォルトのパラメータと結果
デフォルトのパラメータ (不確実、厳選):
| パラメータ | 値 | 役割 |
|---|---|---|
| 0.55 | 削減不可能な計算資源依存のシェア | |
| 0.20 | メモリ帯域幅に依存した共有 | |
| 0.25 | ネットワークに依存する共有 | |
| 1.5 | ボトルネックの鋭さ (1 = アムダール、→∞ = 最大) | |
| 0.5 | 容量が少ないと設置面積がどれくらい膨らむか | |
| 0.15 | 設置面積のサイズが通信圧力をどの程度高めるか |
§1.2のフロンティアワークロードサイズとさまざまな計算資源カテゴリの平均リソースプロパティの予測に基づいて、生の計算資源に対する次の有用性の調整が得られる。
| 生ごとに有効 () | 2024 | 2026 | 2028 | 2029 |
|---|---|---|---|---|
| AI | 1.16 | 1.06 | 1.04 | 1.02 |
| 非AIサーバー | 1.38 | 1.40 | 1.41 | 1.40 |
| パソコン | 0.35 | 0.08 | 0.04 | 0.03 |
| 電話 | 0.21 | 0.11 | 0.07 | 0.05 |
| ゲーム用GPU | 0.04 | 0.05 | 0.06 | 0.04 |
| 別の | 0.53 | 0.43 | 0.34 | 0.30 |
注意すること測定される未処理の計算資源単位あたりこれが非AIサーバーのスコアが最も高い理由であり、CPUサーバーはチップあたりの計算性能こそ小さいが、豊富なメモリ、帯域幅、データセンター間ネットワークを備えるため、その少数のH100eはいずれも周辺資源に非常に恵まれている。AI向け設置済み機器全体は1をわずかに上回る水準から始まり(基準に比べてH100のメモリが豊富なため)、メモリウォールが制約となるにつれて1に近づくが、単体デバイスは計算性能ではなくネットワークがボトルネックになるため、スコアが1を大きく下回る。
モデルを自分で実行することもでき、以下に任意のチップ/クラスター仕様を入力し (またはプリセットから開始し)、その有用性調整と実効H100eを読み取る。
選択した年のフロンティア規模に対し、公開パラメータを使って付録A.8のモデルをそのまま実行する。上部のUはジョブ構成による加重平均で、各バーはジョブ規模ごとの値を示すため、どの仕様でペナルティが生じるか分かり、U=1の基準線より上は斜線、下は赤で示す。計算単位はH100e(=TPP / 15,800)で、実際のスケールアップ接続を持たないチップではW=1とする。データセンターのプリセットは補足資料の定義表に従い、消費者向け機器とRubin Ultraは公開仕様に基づく概算で、ネットワークをポートのピーク値ではなく共有Wi-Fiや家庭用Ethernetなど実運用で持続可能な帯域に設定したため、消費者向け機器のUは付録表の約0.05〜0.2まで下がる。また、このモデル特有の逆転も生じ、同じ細い回線の背後に計算資源を増やすほど遊休部分が増えるため、計算資源1単位当たりでは低価格スマートフォンが最上位GPUを上回る。
AI関連の定義は、複数のハードウェアパフォーマンスメトリクスに基づいたしきい値であり、A100のすぐ下に設定され、詳細については、以下で説明する。計算資源の定義。
計算資源を所有する企業の国ごとに、米国、中国、または世界のその他の地域に分かれる。
1秒あたりのピーク密度 (非スパース性)テラオペレーション最も速く動作する精度でのビット幅 (例: FP16=16、FP8=8、FP4=4)。 H100には、~15,800 TPP (1,979 FP8 TFLOP/秒8 bits)に対し、Blackwell B200は約2.3xとなる(9,000 dense FP4 TFLOP/s x 4 bits = 36,000 TPP)。ただし、低いビット精度をビット幅に比例して低く評価するため、この指標には欠陥があり、精度が2x低いとTPPも2x低くなるが、ビット幅が2x小さいことが実際の有用性を2x下げるかは分からない。理論上は精度が2x低いと情報の純度も2x低くなるため、妥当な近似ではある。
H100と A100はすべてのフロアをクリアしている。対照的に、RTX 4090 ゲーム GPUは、高い raw FLOP/s にもかかわらず、メモリ容量とネットワークに問題があり、ネットワーキング フロアはスケールアウト (NIC) 帯域幅であり、チップの NVLink クラスのスケールアップ帯域幅は有用性モデルに供給されるが、それ自体が AI 関連性を遮断するものではない。
データセンターのスケールアウト速度 (およそUSB4/Thunderboltの速度)の約100分の1である。これは広義の定義であるが、実際にはデータセンターで使用されるチップをキャプチャすることがほとんどである。
実際の使うこれらの定義が捉えようとしているのは、チップの性能であり、誰かが十分なケーブル速度で複数のラップトップを接続した場合、それはAI関連ではなくなる。クラスター (一方、同じラップトップはAI関連ではありなかった)単一デバイス接続する前)。
ハイパースケーラーの設備投資 (Microsoft、Google、Amazon、Meta)とネオクラウドおよび政府系ファンドを合わせたものは、2023年から2025年にかけて年間約1.7xに増加した。絶対的なベースが成長するにつれて、その割合は年あたり約1.5xに減速し、2028年まで平均して年あたり約1.6xになる。
1ドルあたりのH100eは、ダイの縮小 (N5→N3→N2)、HBMスタックの大型化、チップレットパッケージングによって改善され、歴史的には年間約1.4xとなっている。私たちは加速を想定するのではなく、この率を2028年まで据え置く。
double-counting(二重計上)を避けるため、除外するハイパースケーラーのキャッシュフローラインからのフロンティアAIの収益 (AI企業の現金支出はハイパースケーラーのキャッシュフローの中に現れる)なので、それを近年のキャッシュフローから差し引いて、独自のソースとして追加し直する。これまでのところ、フロンティアAIの収益はハイパースケーラーのキャッシュフローに占める割合はごくわずかであるため、これはわずかな調整である。
増設資金は、負債と株式への依存を強めており、Alphabetは、2025年11月の約$25Bの社債発行に続き、2026年の約$185Bの設備投資を賄うため、2026年2月に約$20Bの社債を発行した。これは、異例の100年債を含む世界全体で約$31.5Bの調達の一部であり、同社の長期債務は2025年に4×の約$46.5Bとなった(CNBCMeta は自社の Hyperion キャンパス向けに 300 億ドルの債券と約 270 億ドルのプライベートクレジット SPVを販売し、Oracle は約 180 億ドルを発行した(現在最大の投資適格非金融債券発行会社)、 2025年にハイパースケーラー 5社が合計で約 1,210 億ドルの債券を発行したのに対し、通常は年間約 280 億ドル (フォーチュン)。資本面では、SpaceXの記録的な約750億ドルのIPO (2026年6月)は、GoogleおよびAnthropicとの大規模な計算資源供給契約に裏付けられたAI計算資源に部分的に割り当てられている (CNBC、テッククランチ).
これらの係数は単純化したものである。債務は最終的には収益ではなくマージンから返済され、大手発行体は歴史的に、受け入れるレバレッジの上限となる投資適格(A またはそれ以上)の信用格付けを擁護している。額面通りに受け取ると、私たちの道筋は、貸し手が予想される収益の伸びを認め続けた場合にのみ投資適格に留まるレバレッジを意味する(2029年初頭のフロンティア企業のARRが約1兆ドルであるのに対し、2025年から28年の累積負債は約1.6兆ドルである)、理想的には、明示的な信用格付けの制約の下で、予測されるキャッシュ フローに基づいて負債の規模を決定し、今のところは単純な収益係数を使用する。
変換はランレートの時間平均である。A_開始にA_終了である対数平均、おおよそ年末のARRの0.4x。したがって、2026年までのARRパスは300億ドル → 1,800億ドルとなる。2026年の収益は~840億ドル。
最先端ロジックとHBMはともにEUV露光に依存しており、EUVは供給連鎖の中でも短期間の増強が最も難しく、ASMLが唯一の供給企業であり、スキャナー1台の価格は >$200M、納期は数年に及ぶ一方、設置済み台数の増加率は~10-15%/yrにすぎず、AIの計算資源需要の伸びを大幅に下回る。想定しうるボトルネック(ファブの床面積、先端パッケージング、電力、EUV)のうち、ここではEUV装置の稼働時間を実効的な制約要因とみなす(かつ、最も予測しやすい)。
設置済み計算資源は累積生産量そのものではなく、再利用と中古市場を含め、AIアクセラレータの寿命を半減期~15年として緩やかな退役を差し引くため、2029年の残高は~3%減る。§1.2の全計算資源にも、カテゴリ別に同じ退役率を適用する。
ここでは、歩留まりや稼働時間によって理論上のウェハー生産能力のうち実際に最終計算資源へ変換できる割合である稼働率を、独立の係数として「良品ウェハー当たりH100e x稼働率」と置かず、最終的なウェハー当たりH100eへ織り込む。
このセクション全体を通じて、他の DUV リソグラフィ (KrF、ArF-dry、i-line) は決して結合しない成熟した層として無視し、ここでの「DUV」は ArF 液浸 (193i) を意味する。
具体的には、装置1台・年当たり約360,000回の有効露光パスをモデル化する。公称約160 wphに対して実効約50ウェーハ/時とし、稼働率約75(下限)から82%、露光量、光源出力、レチクル移動の損失を織り込む、したがって、ここでいう「100%稼働率」とは、TSMCのようなファブが実際に達成する持続スループットで装置群がすべて予約済みであることを指し、文字どおりの稼働時間100%という上限ではない。
各カテゴリの年末設置台数は、前年から残った台数に当年の生産分を加えた値であり、残存率はカテゴリ別半減期による幾何減衰で表し、携帯電話は約12年、PCとゲーミングは16年、非AIサーバーは14年、AIアクセラレータは15年、MCUなどの「その他」は30年とし、したがって、毎年およそ2(下限)から6%が退役する。
固定計算資源では、アクティブなパラメーターごとの最適なトークンは、スパース性の平方根で増加する (スパースMoE比、密度~40から30xで~240)、合計は次のように増加する。むしろその値自体は、現在の最もスパースなフロンティアモデルで実際に稼働するパラメータ数の少なさと整合する。スパース性は手作業で設定したスケジュールであり、現在の8xから合意時の32x、2040年の128xへと高まるが、これは概ね、不確実性の極めて大きい単純なトレンド外挿である。
正式にはつまり、1 つのチップに収まるほど小さいジョブでも、チップ全体を占有し、このフロアは、そのエッジ ケースでのみバインドされる。複数のチップにまたがるほど大きなワークロードの場合は不活性であり。
この指数については本当に不確かである。一部のコレクティブは拡張性が高く、適切に実装されたツリーall-reduceにはレイテンシがある。参加者数の中で(NCCLのdouble binary treesは、GPUが数万基に達してもレイテンシをほぼ一定に保ち、Summitの24,576 GPUでは約180x改善する)(NVIDIA、NCCL 2.4でディープラーニングトレーニングを大規模に拡張)、以上のにチップ範囲が近い他にはさらに悪いことがあり、リングアルゴリズムには直線的な遅延があり、ストラグラー、競合、不完全な計算/通信の重複によりオーバーヘッドが増加する。それでこれは、線形を下回る弱い成長を示す大まかな推測である。
足跡は、そして§A.5と同様である。
各コピーのKVキャッシュは、アテンション圧縮後のトークンあたり約100 KBのライブコンテキストの約20万トークンになる。モデル幅 (~active^0.5)係数の正味コンテキスト長の約12xの増加 (KV圧縮のさらなる進行を上回るエージェントコンテキストの増加、コピーあたり約200kから約240万トークン)で拡張し、2040年にはコンテキストは汎用メモリの約5%にとどまる。
スパース性によってこれは変わりなく、大規模なバッチでは各ステップであるべてのエキスパートがヒットするため、関係なくモデル全体が読み取られ、バッチ 1 サービスでは、アクティブなバイトのみを読み取ることができ、数倍高速に実行できるが、トークンごとのコストがかかるため、大規模な場合は誰も支払いない。この予測では、需要は代わりに推論に特化したチップによって満たされると考えられる (バッチ 1 の上限)診断結果としてグラウンドトゥルース シートに保存される)。また、キャンセルを 2040年まで引き継ぐには、帯域幅と容量の比率が §2.2 のパスに従うチップ上の、今日の大規模バッチでスループットが最適な動作点にサービスが維持されることが前提となり、代わりに、レイテンシのプレッシャーによって汎用のサービス (より小さなバッチ、レイテンシが調整されたパーツ) が再形成された場合、これらの速度はドリフトアップし、コピーは低下するだろう。
解釈に関する 2 つの注意点: 推論モデルは完了したタスクごとに多くのトークンを消費するため、1秒あたりの有用な作業量は生のトークンよりも遅れる、これらはフロンティア モデルのみのコピーであり、シナリオの労働者数 (2036年までに人間の速度に相当する 1,000 億人) には、より小規模な抽出モデルも含まれており、ここでのフロンティア モデルのコピーは、トークンの合計の約 20%を供給する。
