プランAの前提
Thomas Larsen
概要
プランAは、予測と政策提言を組み合わせたシナリオだ。確信のある予測や提言もあれば、シナリオに必要な具体性を持たせるため、あえて置いた推測もある。
確信度が高い | 確信度が低い | |
予測 | 例:「AGIは近く実現し、産業革命を上回る大変革になる」 | 例:「AGIは2030年に実現する」 |
提言 | 例:「AIテイクオフの速度を制限する国際協定を結ぶべきだ」 | 例:「モンゴルとカナダに多数の新設データセンターを建設すべきだ」 |
本補足では、シナリオの主要な予測と提言を取り上げ、どちらに当たるかを明示する。
シナリオ中の行動はほぼすべて、いくらかの楽観といくらかの現実主義を前提としているが、おおむね、経験的な事実については現実的に、米国政府の行動については楽観的に描くよう努めた。AI 2040のシナリオは、タイムライン、テイクオフ速度、アラインメントの難しさ、米国以外の政府(中国、EUなど)の行動といった点について、おおむね筆者の中央値の見立てを反映している。米国政府が取る行動は、私たちの提言にほぼそのまま従っているという意味で、定義上楽観的である。現実には、2027年の対応に近いものになると今なお考えている。
主な提言はすべて収めるよう努めたため、ここで触れていない内容はおそらく予測であり、提言の性格も持つとしても重要なものではない。
本稿は個別の見解を扱うため、シナリオ執筆者の一人であるThomasの視点から書いている。他の執筆者も中心的な主張にはおおむね同意するが、細部については見解が異なる。
予測の概要
以下の各項目には80%を超える確信を持っている。
AI研究開発は今後15年以内に完全に自動化されるただし、大規模な規制、戦争、社会崩壊が起きないことを前提とする。詳しくはAI Futures Modelを参照――AIFPのメンバー間では見解に多少の違いがあるものの、2027年と2030年のどちらも、十分ありうる中心的な予測年だという点では一致している)。
AI研究開発の自動化から数年以内に、経済的に意味のあるあらゆる仕事で人間を上回るAIが開発されるただし、大規模な政策介入がないことを前提とする。こうしたAIの費用は急速に人間を大幅に下回り、ほどなく人間は経済活動に必要とされなくなる。
人間をはるかに上回るAIを構築した場合、AIが集団として望めば世界を乗っ取ることができる。だからこそ、AIの大半が世界の乗っ取りを望まないことが決定的に重要になる。
次の点については確信がない。
正確な時期『AI 2027』ではコーディングの自動化が2027年に起きたのに対し、プランAではガバナンスがなければ2030年に起きるはずだった自動化を数年遅らせる。私の90%信頼区間は2027年半ばから約2050年だ。2030年を選んだのは、具体的な計画を立てる意味があるほど近く、同時に政府が提言する準備段階を進める時間も残るからだ。実現が早ければ準備時間が足りず、プランAを急いで実行しなければならないが、遅ければ細部の誤りは増えても大枠は変わらない。詳細)
テイクオフ速度。コーディングの自動化から、あらゆる分野で最高水準の人間を圧倒するAIまで、どれほどかかるか。基準値は私の中央値にあたる約1年だが、80%信頼区間は2か月から5年にわたる。私のテイクオフ観では、速度が変わっても計画の骨格はほぼ同じで、方向に応じて優先順位を少し調整する程度だ。詳細)
アラインメントの難しさAIアラインメント問題の解決がどれほど難しいかはわからない。大幅に減速しなくても解決できる可能性はある。反対に、AIの支援を大いに活用し、10年以上専念しても足りない可能性もある。プランAの狙いは時間を稼ぎ、問題の難しさを判断する証拠を集めることにある。AIによる乗っ取りリスクが小さいとの証拠が蓄積すればペースを速め、そうでなければ停止を延長する。詳細)
減速協定の順守を検証する難しさ監視しやすい巨大データセンターを使わずに大規模なAI開発を進めるのは、ほぼ不可能かもしれない。反対に、ごく少量の計算資源でもアルゴリズムを進歩させられ、小規模クラスタでさえ短期間に知能爆発を起こせるかもしれない。最も悲観的な場合でも、協定を1〜2年は確実に執行できる可能性が非常に高いと考えている。詳細)
その他の戦略変数(詳細)
プランAのシナリオでは、主要な戦略変数のそれぞれに、私の見解の中でおおむね中心となる値を置いている。多くの変数について確信は弱く、実際の政策判断は、現在より多くの情報を得たうえで下すべきである。
政策提言の要約
次節では、シナリオ内の政策提言のうち、経験的な前提が幅広く変わっても有効なものを検討する。
次の政策提言は、前提が変わっても有効である。
政府のAI対応能力を高める (重要度: 中)。透明性の向上、政府内の技術的専門性の強化、検証研究を加速する施策が含まれる。後悔する可能性が小さく、プランAのようなシナリオでは極めて重要になる。
モデル仕様の透明化と権力掌握を防ぐ検証 (重要度: 中)。社内用・社外用を問わず、モデル仕様ではCEO、大統領、その他の誰かによる権力集中への加担を明示的に禁じ、AIプロジェクトにはバックドアを防ぐ検証措置の実装も義務付けるべきだ。
計算資源ガバナンスに基づき、能力爆発を遅らせる米中協定 (重要度: 高)。これはプランAの核心であり、国際協調による方法(プランA)は、知能爆発の最中に開発競争を続ける他の選択肢より優れていると確信している。その競争は甚大なリスクを伴うからだ。ただし、プランAの具体的な形や、私たちがプランAとして想定する数年間の相互減速が全面停止のプランSより優れているかについては確信がない。AIの進歩を「減速」させるのであれば、AIの進歩を減速させるなら、計算資源ガバナンスが群を抜いて有効な手段に見えるが、どこまで機能するかはまだ正確にはわからない。
AIが生む富の再分配 (重要度: 中)。AIが経済全体を自動化すれば、人間が得られる賃金はゼロ近くまで急落する。AIによる乗っ取りを避けたとしても、何も介入しなければ、AIは歴史上例のない富の格差を生む。何らかの再分配策が必要だと確信している。
防御技術の加速 (重要度: 中)。政府、AI企業、市民は、社会の耐性を高める技術へ投資すべきである。特に重要なのは、人間の認識を改善するAI、バイオ防御、サイバーセキュリティだ。防御技術の加速へ協調して取り組まなければ、高性能AIが攻撃能力を高め、重大なリスクを生む。防御の強化は、ミスアラインしたAIによる世界の乗っ取りも難しくし、アラインメント研究の時間を増やすという外部便益を持つ。
ASI後を見据えた慎重なガバナンス (重要度: 高)。ASI後のガバナンスについて、いくつかの一般原則には自信がある、(1)多くの優秀な人が、アラインしたAIの支援を受けて有効な統治を慎重に検討する、(2)不可逆な決定には慎重を期す、(3)いかなる単独の主体も権力を集中させにくくする。
次の提言は、確信の持てない特定の前提に依存するか、よりよい代案が存在しうる。
協定後にAI能力をどの速度で拡張するか (重要度: 高)。拡張を速めれば目前の安全リスクが増すが、遅らせれば、より高性能なAIがもたらすはずの安全研究の進展も遅れ、協定の崩壊や秘密プロジェクトのリスクが高まる。どの速度を選ぶかは、個々のAIシステムや運用がどれほど危険に見えるか、緩和策がどれほど有効に見えるかについて、その時点で得られる証拠を主な根拠として判断すべきだ。詳細)
大規模なデータセンター増設 (重要度: 中)。プランAでは、政府が大規模なデータセンター増設を促すよう提言する。ただし、AIを減速させる実効的な国際協定が成立していることが前提であり、その条件を満たしてもなお、明らかに望ましいとは限らない。賛成の根拠は、ハードウェアは拡散を防げるため、ソフトウェアの拡張より統治しやすいことにある。一方で大きな代償もある。(i)合法プロジェクト内の検証に、より高い精度が求められる。(ii)協定が崩壊し、フェイルセーフも機能しなければ、その後の知能爆発がはるかに速くなりうる。(詳細)
本稿の検証計画 (重要度: 高)。プランAの検証計画は、米中双方による協定順守を確かめるうえで重要である。ただし、最善の実装方法については確信が薄い。具体案として、まず推論だけを認め、新たなAIモデルの構築を止めたうえで、学習と実験の検証方法を急いで確立することを提案している。検証には他にも多くの方法がある。詳細)
透明性とセキュリティをどう両立させるか (重要度: 高)。セキュリティと透明性には明確な利点がある一方、両者は緊張関係にあり、提示された安全性ケースをできるだけ多くの目で検証するため透明性を最大化したいが、モデル重み、アルゴリズム、推論トークンも守りたい。総合的には、透明性を高めるためなら相当のセキュリティ上の代償を払うべきだと考える。セキュリティの弱さから主に利益を得るのは、ごく少量の計算資源しか持たない違反プロジェクトだが、私たちはそれよりも、大規模AIプロジェクトによる権力の濫用や誤りを懸念している。小規模プロジェクトの力は限定的であり、その無謀な行動がもたらす害も相対的に小さい。詳細)
ASI後のガバナンス計画 (重要度: 高)。 私たちの宇宙ガバナンス計画は、何を目指すべきかを示す妥当な第一案であり、人類が制御を維持するどのシナリオにもおおむね当てはまる。ただし細部にはまったく確信がなく、こうしたシナリオではアラインした超人的AIの助けを借りて検討できるため、膨大なAI労働力を使ってよりよい計画を作ることが私の主な提言である。(詳細)
AIの広範な展開 (重要度: 中)。AIを広く展開すれば権力が分散し、社会の認識も改善する可能性がある。一方、(i)社会の認識をかえって悪化させる、(ii)AIまたはAIを利用する人間による説得や政治的権力の掌握を容易にする、(iii)攻撃側が優位になる能力を拡散させる、という害も考えられる。総合すると広範な展開はおそらく望ましいが、確信はなく、各失敗要因への緩和策がどれほど有効かに左右される。詳細)
本シナリオで具体化したプランAのその他の細部洋上データセンター、アラインメントに関する誘因設計、秘密プロジェクトに関する誘因設計(防護された計算資源備蓄など)、協定崩壊リスク・秘密プロジェクトによる乗っ取りリスク・無能な統治のリスクをどう比較するか、といった論点を含む。
以上は、変更されうるプランAの細部を中心に論じた。プランAの代案となりうる、構造そのものが異なる計画については、こちら。
それでも、幅広いシナリオでプランAに近い方策を目指すべきだと考える。以下の二節では、経験的な前提が変わったときに計画をどう修正するかを論じる。
新たな実証結果では、「実証的な前提が変わった場合、たとえば実現時期が早まるか遅れる場合、政策をどう変えるか」という問いに答える。
政策の更新主要な政策提言ごとに、何があれば提言を変更するのかという問いに答える。
新たな実証結果
本節では、シナリオに置いた重要な経験的前提が現実には異なっていた場合、プランAをどう変えるかを検討する。
タイムライン
AGIがいつ構築されるかはわからず、今年か来年かもしれないし、数十年先かもしれない。
プランAのシナリオでは、政府が介入しなければAI研究開発の完全自動化が2030年に起きる見通しだったが、介入によって先送りされた。AIの実現時期については別稿で詳しく論じており、最新の分析はこちらを参照してほしい、AIFPのメンバー間では引き続き見解に多少の違いがあるが、2030年はAGI実現時期として十分ありうる中心的な予測年だという点では一致している。
なぜ本シナリオの想定時期を2030年にしたのか
ありうるシナリオを幅広く示すことには意味がある。すでに実現時期の非常に早いAI 2027を書いたため、次は異なる時期を選んだ。2030年は現在の私(Thomas)の中央値であり、それより遅い確率を50%、早い確率を50%と見ている。今後時間が許せば、Eliなど他の執筆者の見解に基づくシナリオも作成したい。
実現時期にかかわらず、プランAが私の中心案であることは変わらないAIによる乗っ取り、AIを利用した権力集中、AGIが引き起こす急激な社会変動という根本問題は、実現時期が変わっても同じであり、プランAはそれらへの対処法として現時点の最善案だからである。
実現時期にかかわらず、計算資源の相互申告と透明性を含む国際協定は、早く始めるほどプランAの効果が高まる。知能爆発の入口、たとえばコーディング自動化の節目に達すると、違反プロジェクトをはるかに少人数で運営できるため発見が難しくなり、検証の難度が大幅に上がる。
実現が大幅に遅く、たとえば2035年以降になるなら、状況の不確実性はさらに増す。本シナリオよりAGI以前の変化が大きくなり、AIの経済効果、AI企業の売上と市場シェア、ロボットの普及はいずれも拡大し、AIの重要性への認識も高まるだろう。具体的には次の影響がある。
計算資源の備蓄は本質的に非常に大きいため、秘密プロジェクトの計算資源量は検証済みプロジェクトと比較して相対的に小さくなるため、秘密プロジェクトについては多少心配が小さくなる。(一方で、計算の絶対量はより大きくなる)が、秘密プロジェクトをより懸念する理由もある。逆効果として、より多くの計算資源が世界中に分散され、諜報機関が見つけにくくなるということである。
より多くの人が早い段階から影響を受けるため、市民配当などプランAの経済政策を前倒しする重要性が増す。
相当に高性能なAIが存在する期間が長くなり、現行AIですでに生物学能力を大幅に高めるため、防御技術の加速を早期に進める重要性も増す。
世界の計算資源総量が増えるため、計算効率を飛躍的に高める新パラダイムが発見され、急速な知能爆発へ至るリスクへの懸念も強まる。
実現時期が大幅に早く、たとえば2026年か2027年なら、準備段階を進める時間がなく、準備なしでプランAを実施しなければならない。
政府の実行能力がそれほど関与しない緊急時対応計画のいずれかに舵を切る必要がある可能性が高くなる。残念ながら、これらの緊急時対応計画には別の欠点もある。たとえば、AI関連の計算資源の大部分をシャットダウンすると、既存のモデルの推論もオフになり、経済的に費用がかかる。
まもなく知能爆発が進みすぎて減速できなくなるため、AIテイクオフを遅らせる協定を早期に結ぶ緊急性が高まる。
テイクオフ速度
このシナリオでは、AI 2027 と同様に、AC (自動コーダー) と TED-AI (最高水準の専門家を上回るAI) の間の基準ケースの期間が 1年であると仮定することにした。これは私のおおよその中央値であるが、やはり大きな不確実性があり、この記事の執筆時点での私のテイクオフ期間の 80% CIは [2か月; 5年]。
なぜテイクオフ期間の基準値を1年としたのかこれはプランA執筆時点の私の中央値であり、計画対象として代表性のあるシナリオだと判断した。
テイクオフ速度が変わると計画はどう変わるか
テイクオフが1年より早い場合、プランAに限らず全般に難度が上がる。主な変化は次のとおりである。
現状維持の方がリスクが高く、合意のないAI主導の変化ははるかに早く起こり、それぞれの変化に反応して次の変化に備える時間が短くなるため、テイクオフを遅らせるために国際協定を結ぶことがより重要になる。
国際協定を履行させるのが難しくなる。テイクオフが数か月で進むなら、計算資源を大規模に増強する時間がないため、速いテイクオフでは通常、ハードウェアの増加幅が小さい。大規模な計算資源の増強なしでも知能爆発を起こせることが、秘密プロジェクトを懸念する重要な前提であり、それが不可能なら、比較的少量の計算資源しか持たない秘密プロジェクトの脅威はずっと小さい。知能爆発が速いほど秘密プロジェクトの進展も速くなり、国際コンソーシアムに残される対応時間は短くなる。
減速協定をより早く始める必要があり、早期に始めれば執行しやすくなり、計画全体の実現可能性も高まる。
協定の執行が難しくなるため、他の代償を払ってでも執行を助ける選択を優先すべきだという判断材料になり、たとえば(i)透明性よりセキュリティを重視し、(ii)さらなる拡張が安全でもアルゴリズム進歩を抑えて能力拡張を遅らせ、(iii)検証と自己破壊計画への依存を強める一方でミスアラインメントのリスクを下げるため、初期のハードウェア拡張を増やすことが考えられる。
テイクオフが1年より遅い場合、例:規制がなかったとしても、コーディングの完全な自動化から最初の超知能に至るまでには数年かかるが、その後は基本的に上記のトレードオフすべてを逆方向に見直す。
問題が生じるたびに対処する時間が増えるため、全体のリスクは下がる。したがって計画全体でも、負うリスクを抑え、リスク削減のためにより踏み込んだ選択を行える。
とりわけ、秘密プロジェクトによる乗っ取りの可能性は下がる、ごく少量の計算資源だけで、存亡を脅かすAIシステムまで自力で発展させられる可能性はきわめて低いからである。この点は、小規模プロジェクトより大規模プロジェクトへの懸念が相対的に大きいことから、研究の完全な透明性をさらに支持し、大規模なハードウェア増強には反対する方向の判断材料となる。計画としては、既存の計算資源備蓄だけで知能爆発を減速して進め、その過程で後続プロジェクトにアルゴリズムが漏れても、後続側は計算資源が大幅に不足しているためAI能力をさらに大きく向上させられない、という前提に頼ることもできる。
AIによる乗っ取りの可能性が低いため、他のリスクの軽減に比較的多くの労力を振り向けられる。とはいえ、基準ケースのテイクオフ中にAIアラインメントが解決されない可能性はなお大きく、減速は権力集中などの他のリスクも和らげるため、AIの進歩を遅らせることは依然としてきわめて重要である。しかし、この世界では実際には大幅な減速をしない可能性の方が高い。したがって、条約のうち減速に関する部分が成否を左右する度合いは低くなる。
総合すると、テイクオフ速度にかかわらずプランAを追求すべきだと考える。ただし、速度の違いは、前述のとおり、プランAの具体的な実施方法を大きく変える。
アラインメントの難しさ
プランAのシナリオでは、人類が協力してASIへの権限移譲に向けた信頼度の高い安全性ケースを構築する。しかし、ここで描いた具体的な筋書きより、時間と労力を増やせばアラインメント問題を解決できる可能性が高まるという大枠の方に、はるかに強い確信を持っている。ASIをアラインさせるのがどれほど難しいかはわからない。チーム内でも見解は大きく異なり、チーム外の幅はさらに大きい。この不確実性を踏まえ、RLHFの派生手法など堅実なAI安全研究と、人間の脳のアップロードなど大胆な試みの両方へ多額を投じ、複数の研究路線を並行して進めるべきだと考えている。
私たちが提唱する計画は、世界が協調し、アラインメント問題の難しさを科学界が見極めるための時間と資源を確保するものである。AIアラインメントは難しいというYudkowskyの見解が正しければ、この期間にそれを裏づける証拠が増え、停止は延長されるだろう。逆に、楽観論が正しくアラインメントが容易なら、その証拠が得られ、より速いペースで進められる(ただし、特に権力集中をはじめとする別のリスクを考えれば、実際にそうすべきかは明らかでない)。
アラインメントは十分に難しく、数年間の減速を適切に管理しなければ、AIによる乗っ取りの重大なリスクを負う可能性が高いと考えている。シナリオのように10年間減速しても、アラインメントが難しすぎるか、技術的には可能でも人的ミスで失敗する可能性は相当ある。各プランを採った場合のアラインメント成功確率について、チームの見解はこちら。
アラインメントが想定より難しい場合
次の方法で、アラインメントの難しさを示す証拠をできる限り集める。
AIシステムを展開・観察し、どの程度アラインしているかについて実証的な情報を得る。
意図的にミスアラインさせたAIである「モデル生物」を構築し、アラインメント技術によってその兆候を検出し、学習で除去できるかを確かめる。欺瞞的アラインメント、迎合、報酬ハッキングなどを対象に行う。
集団思考を避けるため、多数かつ多様な人々にモデルへのアクセスを認める、理想的にはモデル内部も公開する。
モデルを信頼でき、信頼すべきだとする証拠と論拠を明示した安全性ケースを作り、科学界が批判・議論できるよう公開する。
プランAの期間中、次の施策によって停止を延長できる余地を維持する。
秘密プロジェクトを監視し、発見した場合は停止させる
新しいチップの流通を厳重に管理し、不正プロジェクトへ渡らないようにする
多額の投資に加え、AI自体も活用して協調・検証技術を改善する。とりわけ、プライバシーを保護する監査と信頼できる嘘検出をAIで構築する方法は、非常に有望に見える。
秘密プロジェクトへ流出するソフトウェア進歩を最小限に抑える。アラインメントが難しいほど、長期間の減速を可能にする選択を優先すべきである。
意思決定者がアラインメントの難しさについて最良の情報を得られるようにし、悲観的な見方をする人にもモデルと現行の安全性ケースへのアクセスを認め、破局に至る前に問題を見つけられるようにする。
アラインメントが極めて難しく、人類がまったく進展を得られないなら、管理されたテイクオフを試みるのではなく、プランSへ転換して開発を全面停止するのが正しい判断かもしれない。その後は、アップロードなど、MLより本質的に安全な方法で超人的AIを構築する代替戦略を追求できる。ただし、こうした方法にも大きな難点があり、アップロードなどが十分に進む前にモラトリアムが崩れ、開発競争へ戻るリスクが特に問題となる。
アラインメントが想定より容易な場合
AIによる権力集中の回避、ASI後の適切なガバナンス設計、人間の労働が経済的に必要とされない体制への健全な移行、AIで実現可能になる超兵器への防御など、別の理由からもAIテイクオフの減速はおそらく望ましく、つまりミスアラインしたAIによる乗っ取り以外にも、プランAで扱った問題はすべて解決しなければならない。
主な違いは、人類が権力の恒久的な固定を招かずに他のリスクを何とか乗り越えられる可能性が高まることである。したがって、アラインメントが私の予想よりはるかに容易なら、減速の必要性は大幅に下がる。
検証の難しさ
関連資料:秘密プロジェクト分岐、秘密AIプロジェクト補足資料、検証計画。
検証がどれほど難しいかはわからない。AI協定の順守を検証する主な方策は、(1)秘密プロジェクトが利用できる計算資源を制限し、(2)合法プロジェクトが申告どおりに運営されていることを確かめることだ。どちらにも取りこぼしが生じる、「監視されない計算資源の量」と、「違法な知能爆発が存亡を脅かす能力水準へ達する速さ」の関係も明らかでない。
以下、それぞれをもう少し詳しく見る。
秘密プロジェクトを検証する難しさプランAのシナリオでは、発覚せずに運営できる秘密プロジェクトの最大規模を、協定前の計算資源の約1%と想定している。この想定は、ほぼ最悪のケースに近い。私の最善の推測では、プランAの状況でどちらの陣営も秘密プロジェクトを立ち上げない。その理由は、(i)合法プロジェクトに追い越されるため動機がなく、(ii)双方がAIによる乗っ取りリスクを恐れており、秘密プロジェクトの構築は協定そのものを損なうからであり、私が最も不確かだと考える論点は次のとおりである。
協定前の計算資源をどの程度追跡できるか協定前の計算資源に関する私たちの不確実性は、中国が最初の計算資源申告をどこまで偽れるかを決定するため、非常に重要である。私たちが話を聞いた専門家も、中国の既存の計算資源がどの規模まで増強されているかについて、きわめて大きな不確実性を抱えている。割合としては、AIデータセンターが大きくなるにつれて追跡しやすくなる可能性があるが、絶対数としては、時間の経過とともにより多くの計算資源を追跡するのが難しくなる。ただし、諜報機関は現在、より正確な非公開情報にアクセスできる可能性があり、近い将来にこの情報を収集し始める可能性がある。全体として、秘密プロジェクトが膨大な数のGPUを利用できないようにすることは、不拡散計画において最も成否を左右する要素の 1 つとなる可能性があるが、ヒューミントなどの他の要素がはるかに重要になる可能性もある。
秘密プロジェクトの検出にHUMINTはどこまで有効か私には、秘密プロジェクト分岐プランAで想定する規模(500k H100e、$7.9B)の秘密プロジェクトは、情報収集によって早期に発覚する可能性が高いと思われる。秘密裏に進められた過去の巨大プロジェクト、たとえばManhattan Projectには多数のスパイが潜入していたため、この程度の規模なら速やかに発見され、停止させられるというのを基本想定とすべきである。ただし、知能爆発が進めば、AIがAI研究を、ロボットがデータセンターの建設・保守を自動化できるため、秘密プロジェクトに必要な人員が大幅に減り、情報漏洩の確率も劇的に低下しうる。
計算資源へのアクセスをどこまで減らす必要があるかプランAのシナリオでは、計算資源が10分の1のAIプロジェクトでは、知能爆発に5.5倍の時間がかかると想定しており、これについては、以下で詳しく説明する秘密プロジェクト補足資料の付録。
合法プロジェクトを検証する難しさプランAのシナリオでは、推論専用であることを迅速に検証でき、検証技術を6か月間集中的に開発した後に学習実行を検証できると想定している。それはより簡単な場合もあるが(ソフトウェア層で実行可能など)、より難しい場合もある(特に政府の対応が遅く、実行力にも欠けるため)。高い実行能力を想定しているため、ここでの仮定は楽観的である。
合法プロジェクトの検証が難しいほど、ハードウェア増強に伴う危険は大きくなる。定量的には、ハードウェアを増強しない場合でも合法プロジェクトの計算資源に約99%の保証が必要であり、在庫を+4 OOM増やす場合には99.9999%の保証が必要になる。
このほかにも、政策戦略全体へ影響しうる検証上の力学がある。
秘密プロジェクトに不利なソフトウェア拡張は可能か秘密プロジェクトにとって重要なのは、合法プロジェクトからアルゴリズムを盗むことである。したがって合法プロジェクトは、秘密プロジェクトには利用しにくいアルゴリズムを追求すべきだ。具体的には、(1) 秘密プロジェクトが入手できない専用チップでのみ有効なアルゴリズムを研究するHW/SW協調設計と、(2) 規模への依存が強いアルゴリズムである。両方がどこまで有効かは不明だが、有効であるほど秘密プロジェクトを加速させずに能力を進歩させられる。
エッジハードウェアはどの程度必要か一部のアプリケーションは、エッジハードウェア (クラウドではなくデバイス上で動作するハードウェア)をとりわけ必要とし、特に軍事アプリケーション (電波妨害のため)と自動運転車 (ネットワーク障害で車が事故を起こしてはならないため)である。エッジ計算資源が端末から取り外して秘密プロジェクトへ転用されたり、バックドア化されて大規模な分散学習実行の一部として使用される可能性があるため、これは検証に課題をもたらす。これがどの程度大量に必要になるのか、他の解決策があるのか、学習実行でのエッジ計算資源の使用を防ぐための防止策がどこまで有効かは不明である。
セキュリティの確保はどれほど難しいか国家級の攻撃者に耐えるセキュリティ合法プロジェクト検証を機能させるためには基本的に必要である。国家級の攻撃者に耐えるアルゴリズムによるセキュリティは、秘密プロジェクトの防止に役立つ。セキュリティに関する私たちの基本的な仮定は、検証メカニズムを十分に安全にすることが可能であり、ほとんどのアルゴリズムは安全にすることができない(アルゴリズムが非常に小さいため)、モデル重みを安全にすることができる(非常に大きいため)ということである。ここで、必要なセキュリティ特性ごとに現在の仮定が間違っている場合に判断をどう改めるべきかを検討する。
検証を守るセキュリティが実現できない場合その場合、私たちの理想的な戦略は、(1)セキュリティが実現するまでさらなるAI開発 (および潜在的な推論)を一時停止するか、(2)信頼に大きく依存することになる。
アルゴリズムのセキュリティが実現できる場合そうすれば、現在プランAでモデル化しているよりも秘密プロジェクトに対する安全余裕が大きくなる。また、計算資源を構築する中心的な動機の1つは、秘密プロジェクトへのアルゴリズム漏洩を抑えることであったため、計算資源の増強を行う必要性も下がる。
モデル重みのセキュリティが実現できない場合その場合、(1)セキュリティが実現するまでAI能力を拡張しないか、(2)流出したAIに対する防御にさらに多額の投資を行う必要がある。非常に高いレベルの能力では、非常に有能なAIから防御する必要があるため、非常に抜本的な対策が必要になる可能性がある。
AIパラダイムの転換
プランAでは現在、巨大ニューラルネットワークの勾配降下法が2030年代後半まで主要なAIパラダイムであり続けると想定している。このパラダイムの内部で、(i)長期記憶としても思考連鎖の代替としても使うニューラル言語の追加、(ii)既存の環境よりはるかに大規模で多様な環境を用いた強化学習の劇的な拡大など、大きな進歩が起こると見込んでいる。
広範な「巨大ニューラルネットワーク上の勾配降下」パラダイム内であっても、アルゴリズムの大幅な変更により、プランAの一部の実装の詳細が変更される可能性がある。例:
プランAで開発する、幅広い分野で一流の専門家に匹敵するAIシステムには、コンテキスト内学習や後からの重み更新ではなく、重みを随時更新するオンライン学習は不要だと想定している。重みの随時更新が必要なら、推論データセンターにも学習基盤を置かなければならず、その場合は検証基盤の参照モデルも随時更新する必要が生じ、推論の検証が複雑になって、セキュリティ上の攻撃対象領域も広がる。また、特定モデルの推論専用に固定設計したチップ、たとえばEtched)、これは推論のみの検証スキームの一部である可能性がある。
私たちは、計算資源へのアクセスを制限することが、秘密プロジェクトを防ぐ効果的な手段であると考えており、たとえば、現在のアーキテクチャよりも劇的に (たとえば1000倍)有利な計算資源スケーリングを備えた新しいアーキテクチャが発見された場合、秘密プロジェクトはさらに危険になる。とはいえ、そのようなアーキテクチャ上の発見が今後起こりうるのなら、他のすべての計画も機能する可能性ははるかに低くなる。計算資源の大きな不利にもかかわらず、秘密プロジェクトがプランAの合法プロジェクトを追い越すことを可能にする発見は、プランDでは、最初に発見したフロンティアAIプロジェクト内でASIにきわめて急速かつ不連続な「FOOM」を引き起こすことになる。このような世界はきわめて危険であり、おそらくそれに対処する最善の方法はプランSのようなものである。
また、AIパラダイム転換には明らかに多くの「未知の未知」があり、これによりプランAが予期せぬ形で変化する可能性があり、実際には、さらなるパラダイム転換に対応してプランAのベースラインに多くの更新を行う必要があると予想される。
重要度の低い更新事項
国家能力プランAは、AI分野における高い国家能力、とりわけ存亡上危険な学習実行や導入を見分ける能力に依存する。ただし、国家の能力が十分に低く、安全なAIと安全でないAIを区別できない世界では、別のプランに切り替えることを推奨する。2つの顕著な代替案は、(1)安全性の基準をきわめて保守的に設定する (例: すべてをシャットダウンする)、または (2)より大まかで強硬な手段 (例: GPUの相互破壊)によって知能爆発の速度を制限することである。
最初の協定の能力レベル。協定の開始が遅くなるほど、執行は難しくなる。特に、AI研究の大幅な自動化が実現すると、少数の関係者のみでAIに関する秘密プロジェクトを実行することが容易になり、情報漏洩の機会が減少する。これは、体制全体の時間が短くなり、リスクが高くなるということを意味する。
蒸留の軽減。論じる蒸留を軽減するための戦略を検証補足に記載。この戦略がどこまで機能するかは不明である。うまく機能しなければ、秘密プロジェクトへの懸念を強め、能力スケーリングの速度を落とす方が最適だと考える根拠になる。さらに、広範な導入を強く制限すべきだという根拠にもなる。ただし、蒸留の抑制が非常に難しくても、広範な導入にはなお実施する価値があると私は考える。
政策の更新
減速合意後、AIの進歩をどれくらいの速さで拡大できるだろうか?
それは不明であり、その時点で得られる観測結果に左右される。以下に重要な考慮事項をいくつか示す。
契約はすぐに決裂する可能性があるか?協定が近く崩壊する可能性が高いなら、たとえば政治的理由や秘密プロジェクトによる乗っ取りが予想されるなら、より大きなリスクを引き受け、能力拡張を速めることにも前向きであるべきだ。
現行の安全性ケースはどこまで説得力があるか (また、モデルにはどの程度ミスアラインメントが見られるか)?追加的な能力拡張によるAI乗っ取りのリスクが大きければ大きいほど、能力スケーリングを遅くする必要がある。
より優れたAIがもたらす利益はどれくらい大きいだろうか?より優れたAIが有益な労働力に貢献しない場合 (たとえば、AIの出力が信頼できず、制御があまり拡張性がないため)、拡張すべきではない。一方で、AIの能力を拡張することで、実行できる高品質なアラインメント研究の量が劇的に増加するのであれば、たとえリスクを伴うとしても、拡張する価値はあるかもしれない。
重みとアルゴリズムが秘密プロジェクトに漏洩するかうえ、漏洩はどの程度深刻であるか?能力を拡張したAIモデル重みやアルゴリズムが漏洩すれば、離反したプロジェクトをある程度加速させ、体制の時間的余裕を縮める。モデル重みとアルゴリズムを保護できる、または大幅なアルゴリズム進歩を伴わずに能力を拡張できるなら、拡張を速める方向に判断を更新すべきである。プランAでは、アルゴリズム上の秘密を守れるとは楽観していないため、アルゴリズムの大幅な進歩を避け、主にハードウェア増強によって能力を拡張する。
現在のAIと将来のAIではどの程度のリスクが生じるか?知能爆発の初期ほど、現時点で能力を拡張する限界リスクは低いため、早期の拡張に前向きであるべきだが、逆に、リスクの大半が生じる能力水準に達しているなら、はるかに慎重になり、減速を選ぶべきである。(シナリオでコンソーシアムが2030年代初頭に、完全に慎重とはいえないものの節度ある形でAI能力を拡張し、2035年に最高水準の専門家レベルで停止するのはこのためである。)
アルゴリズムを大幅に改善せずに能力を拡張することは可能であるか?本計画では、アルゴリズムの進歩を厳しく制限しながら、ハードウェアの拡張によってAI能力を高めようとする。しかし、能力の拡張自体が、蒸留などを通じてアルゴリズムを大きく進歩させる可能性もある。アルゴリズムの拡張に代わる主な手段はハードウェアの拡張である。しかし、アルゴリズム進歩の多くがハードウェア進歩によって生じる場合もありうる。その場合、アルゴリズム進歩を管理する最も有効な方法は、ハードウェアそのものを制限することかもしれない。
最終的に、これらの考慮事項をトレードオフするには、秘密プロジェクトのリスク、現在のAIおよび将来のAIからのAI乗っ取りのリスクなど、これらのリスク源をそれぞれ定量的にモデル化し、展開の速度がこれらの各リスクにどのような影響を与えるかを理解し、全体的な最善の道について複雑な比較衡量を行う必要がある。
プランAの軌道は基本的に、協定失効のリスクがおそらく高いこと、初期AGI(ACやSARなど)のリスクは制御によって軽減できること、すなわちその水準のAIについては制御に基づく安全性ケースを短期間で十分な水準まで高められること、そして初期AGIから膨大な有益労働を引き出せること、という見方に基づいている。また、能力拡張の大半を急速なハードウェア増強によって進める一方、中間推論の痕跡を主に隠すことで蒸留を抑えることなどにより、アルゴリズム進歩の総量を強く制限できるとも想定している。これらの仮定の下では、減速協定の開始時にはかなり速く能力を拡張し、制御可能な能力の上限に達したところで大幅に減速するのが最善の軌道だとみられる。
プランAの具体的な軌道は、これらのトレードオフに対処する最善の方法としての私たちの最善の推測であるが、これが正しい道であるかどうかについてはまったく自信がない。私たちは大まかな推測をする必要がある一方で、当時の意思決定者がこれらの経験的要因をよりよく理解できることを願っている。
もう一つ十分ありうる道筋であるプランSは、能力スケーリングの速度について正反対の選択をする。すなわち、AI能力のさらなるスケーリングを直ちに一時停止する政策であり、協定失効のリスクが小さい場合、安全研究により高性能なAIを投入する便益が小さい場合、あるいは能力スケーリング自体のリスクが高い場合には、こちらの方が望ましく見える。
大規模なデータセンター増設
プランAで大規模なデータセンター増強が望ましいのは、急速な能力拡張、秘密プロジェクトによる乗っ取りリスクの低減、アラインメント税を支払うための追加能力という便益が、検証失敗のリスクと、巨大な計算資源備蓄を抱えたまま協定が崩壊する追加リスクを上回る場合に限る。
もう少し詳しく説明すると、大規模なデータセンターの構築の主な利点は、AI開発者が次のことが可能になることである。
秘密プロジェクトにアルゴリズムを漏らすことなく、迅速に拡張する。前のセクションでは、AIの能力を向上させるのに適した条件と、高速化と低速化に伴うトレードオフについて説明した。単純に言えば、AI能力を高めるには、アルゴリズムを改善するか、計算資源を拡大するかのいずれかが可能である。計算資源に大きく依存することで、そもそもアルゴリズムの進歩を避けることができ、これが進歩が漏洩しないようにする最善の方法である。
アラインメント税を支払う。計算資源ベースの大規模なアラインメント税は、安全性の観点から非常に役立つ可能性がある。たとえば、ニューラル言語は現在のアーキテクチャよりもはるかに性能が高いものの、安全性が大幅に劣っている可能性がある。性能上の不利を受け入れて現在のアーキテクチャを使い続けることができる十分な計算資源がある場合は、リスクが大幅に軽減される可能性がある。大規模な計算資源の構築がなければ、当然のことながら、計算資源効率がはるかに低いアーキテクチャを追求することはできない。
主な欠点は次のとおりである。
検証と規制の重要性がさらに増す。検証されたプロジェクトにはさらに多くの計算資源があるため、この計算資源が安全に使用されること、特に、できるだけ早く知能爆発を起こすために使用されないことがより重要である。そのため、AIプロジェクトに適用される規制が、知能爆発を防ぐほど十分に保守的であること、また、企業や不正なAIが規制を破って、検証されたクラスター内の膨大な量の計算資源の制御を不法に取得できないように、検証が十分に堅牢であることがさらに重要になる。
巨大な計算クラスタが存在する状況で協定が崩壊し、クラスターが破壊されなかった場合、知能爆発は非常に急速になる可能性がある。単純な見積もりの1つは、計算資源が10倍になると、知能爆発速度が5.5倍に増加するため、計算資源が10,000倍に増加すると、知能爆発速度が900倍になる可能性があるということである。したがって、基準ケースで1年かかるとしても、プランAのハードウェア増強により1日もかからなくなる可能性がある。これは明らかに非常に危険であるため、私たちは相互確証による計算資源破壊に重点を置いている。
これらすべてをまとめると、プランAに基づいて大規模なハードウェアの増強をどこまで追求するかを決定する方法についての私の見解は次のとおりである。
秘密プロジェクトが問題にならない場合 (たとえば、100,000 GPUクラスタで十分に速い知能爆発を起こすことは不可能であるため)、ハードウェアの拡張をまったく行わないか、ゆっくりと拡張するだけである。
協定崩壊後に計算資源を破壊する確実な仕組みがあり、国やAIによる大規模な無許可の内部展開が起きないと高い確信を持てる検証体制と、協定下の計算資源を確実に検証する仕組みもあるなら、計算資源増強の弊害は小さい。したがって、可能な限り積極的にハードウェアを拡張する。
そうしないと、複雑なトレードオフが発生するため、上に挙げたさまざまなコストとメリットの大きさを比較検討して決定する必要がある。
具体的な検証計画
プランAシナリオで使用される検証プランは、次のように要約できる。
すべての大規模データセンターの所在地を相互に申告する。申告された数を諜報機関の推計と照合する。
学習と実験を一時停止することに合意する。この一時停止を検証するには、宣言されたクラスターに推論専用検証デバイスを導入する。
検証可能で、かつ完全に透明な学習・実験クラスターの整備を急ぐ。完了したら、安全性と透明性の制約のもとで能力の拡張を再開する。
これについてはさらに詳しく説明するこちら。
この検証計画は、協定開始時に(1)推論を検証でき、(2)比較的短期の短期集中研究でAI開発の検証が可能になるが、即時には実現できない、と想定する。実際には、この一方または両方が誤っている可能性の方が高く、これらは、プランAが想定する政治的意思と実行能力の下で実現可能なことについての私の中心予測だが、現実の準備はこれより不十分である可能性が高い。
検証対策の準備が間に合わなかったらどうなるだろうか?
検証アプローチの3つの大分類は次のとおりである。
技術的な検証方法これらの方法により、協定の双方が相手が危険なことをしていないと確信できる状態で、継続的なAIの使用または開発が可能になる。この例としては、最初は推論のみに依存しながら、学習と実験を検証するために技術的な手法に全力で取り組むプランAでの実行が挙げられる。
信頼に頼って、つまり、どちらの側も寝返る可能性があることを受け入れ、どちらの側もそれを試みるほど愚かにならないこと、あるいはもし裏切った場合にHUMINTなどによって発覚することを見込む。
強硬で単純な検証手段(例: 計算資源の破壊または相互電源停止)。
知能爆発が始まる前に技術的な検証手段を準備しておくことが強く望ましい。推論検証装置が用意できていれば、協定開始後もAIへのアクセスを継続できる。開発検証が用意できていれば、協定開始時にAI能力の拡張やフロンティアモデルを用いるAI安全研究を止めず、上記の考慮事項に従って、拡張を続けるには危険すぎる水準まで進められる。
2と3はおそらく一時的な体制にすぎず、技術的措置を稼働させるためのスプリントと組み合わせられるだろう。したがって、最終的には十分に優れた技術的手法に到達することを期待している。
2の主な欠点は、離反のリスクがあることだ。そのため双方が相手の離反を懸念し、そもそも署名しにくくなるという政治的困難も増しかねない。しかし、信頼を全面的に退けるのも正しくなく、AIによる乗っ取りのリスクが極端に高まり、離反すれば存続にかかわる大惨事を招く可能性がきわめて高いと双方が判断すれば、どちらにも離反の動機がなくなるかもしれない。AIによる乗っ取りの高いリスクが共通知識になった場合、たとえば初期のミスアラインメントAIによる妨害行為を現場で発見した後には、信頼に依拠するのが最善の選択肢となる可能性がある。
3 の主な欠点は、大規模推論を一時的に停止しなければならないことであるが、これは素朴に考えられるほど悪いことではない。計算資源の 90%の電源をオフにする (または破壊する) という合意があったとしても、10倍安価なモデルに強制的に戻されるだけである。特定のレベルの能力水準のコストは歴史的に非常に急速に減少しているため (平均約40x/年)、計算資源が10分の1になるということは、7.5か月前のSOTAモデルを使用する必要があることにほぼ相当する。3 の欠点は明らかであり、もし離反が可能であれば、双方とも初めから離反を選択する可能性が高くなる。
これはプランA に対するプランS の利点の 1 つであることに注意してほしい、プランA では (1) が必要であるが、プランS では (3) のみが必要である。
透明性とセキュリティのトレードオフ
セキュリティと透明性の間には本質的にトレードオフの関係があり、何かを保護するには、本質的に、一部のグループがそれを見ることができないようにする必要がある。
プランAが透明性を重視する主な理由は、秘密プロジェクトが離反して協定を破るリスクより、合法プロジェクト内部のガバナンス不全を私が強く懸念しているからである。透明性を高めれば、コンソーシアムのガバナンス判断の質は平均的に向上する一方、セキュリティを高めれば秘密プロジェクトの成功を難しくできる。さらに、ガバナンス判断が完璧でも、合法プロジェクトだけでは期限内にアラインメント問題を解決できず、たとえば安全性ケースに潜む微妙な誤前提を見つけるために、外部の支援が必要になるかもしれない。透明性は検証にも大いに役立つ。
そうは言っても、私たちは現在、これら2つの次元の間のパレート・フロンティアの近くにはない。プランAは、フロンティアAIプロジェクトのセキュリティと透明性の両方を劇的に向上させることを提案している。透明性関連のトレードオフについては、次の記事で詳しく説明する。透明性に関する補足資料。
ASI後のガバナンス計画
関連資料: 宇宙ガバナンスの補足、AI 2040エピローグ。
私たちは、ASI後の前向きなガバナンス計画がどのようなものになるかを具体的に推測する。ただし、私たちはまだ考えていない、より良い提案が存在し、その時点で発見されることを期待している。したがって、読者には、関心のある側面について他の計画と比較するためのベースラインとして、私たちの計画を理解してもらいたいと考えている。そして、人類が、人間とAIの認知労働の両方で、より優れたシステムを設計するために、より多くの労力を費やすことを願っている。
テイクオフ期におけるAIの広範な導入
プランAのシナリオでは、テイクオフの最中にAIを経済へ広く導入する。これはその期間の世界に甚大な影響を及ぼし、ほぼ全員が職を失って市民配当に頼り始める。総じて、AIが人間よりはるかに賢くなった後の最後の局面に影響が一気に現れるより、たとえば10年間のテイクオフを通じて、AIの大規模な影響が徐々に現れる方が望ましいと考える。
(AIがより広範な経済にどのような影響を与えるかについて詳しくは、私たちの経済モデル、および私たちの中での議論経済補足資料)
ただし、これはいくつかの重要な質問に左右される。
社会全体の認識形成への正味の影響は、プラスかマイナスか。現時点では非常に不確かである。一方では、人間レベルAIの広範な導入は、インターネットと同じく情報へのアクセスを増やす。他方、インターネットが一部の人に有益なのは確かでも、社会全体の認識形成への平均的な影響が良いか悪いかは不明である。さらなる研究が必要であり、その時点で実際に推奨する計画は、広範なAI導入が認識形成に及ぼす影響についての最善の推測に大きく左右される。現在の知見では、どちらの方向にも大きな判断材料とはみなしていない。
広範な展開により、AI制御の難易度が大幅に増加するか?AI乗っ取りの主なリスクは、不正な内部展開と再帰的な自己改善を経由するため、おそらくそうではないと思う。広範な展開によりリスクが増大するケースとしては、特に (i)大規模なロボット労働力と製造拠点、(ii)ロボット軍団の制御、(iii)生物学研究所へのアクセス、(iv)広範囲の人間との定期的な接触など、乗っ取りに役立つ可能性のある足がかりをAIが持つ可能性があることが挙げられる。これらのリスクは、AIの動作を監視すること、最も危険な物理的インフラストラクチャ (生物学研究所など)へのアクセスを制限すること、1つのAIシステムが物理資源の大部分を制御できないようにすること、異なるAIシステム間の共謀を防ぐことを組み合わせることでおそらく軽減できると思う。ただし、広範囲に展開すると制御がはるかに難しくなるのはもっともだと思う。問題となる特定の領域でAIの導入を制限することでこの問題に対処できることが期待されるが、実際には多くの領域にわたる導入が制限される可能性がある。
広く展開されたクローズドソースモデルの悪用リスクはどの程度か。私は、このリスクは比較的小さいと見ており、その理由は、(1) プランAのように安全性を高めるため大幅に減速し、広範な監視を実施できる体制なら、敵対的攻撃への堅牢性を確保できると楽観していることと、(2)広く展開したAIモデルを脱獄できたとしても、導入する防御策によって、悪用が存亡に関わる大惨事を招くのは防げると考えていることの二つである。ただし、問題自体が極めて難しいか実行が拙劣であれば、どちらの前提も崩れ、その場合は広く展開したモデルから重大な悪用リスクを負うことになる。
AIを社会全体に広く展開していない場合、主な代替策は、クローズドなプロジェクト内でAIを開発することである。これにより、さらなるリスクが生じる。外部世界と接触することなく、知能爆発を管理している閉鎖的な人々のグループが何であれ、将来に対して大きな力を持つことになるだろう。極端なケースとしては、以下で説明されているように、閉じられたプロジェクトが文字通り秘密裏に、世界に通知することなくAIを開発している可能性がある。AGIを秘密裏に学習するのは危険で非倫理的である。秘密裏の知能爆発は、状況を把握し、アラインメント手法に意見を述べられる人が大幅に減るため、ミスアラインメントリスクを高め、また、権力を求める人物がAGIプロジェクトを掌握し、人類全体ではなく自らの価値観に整合したASIを構築しかねないため、権力配分の面でも望ましくない。
広範な展開を避けるなら、AIの利用を局所的に限定しつつ、評価結果、AIが驚くべき作業を行う実演、AI以外の分野でAIが生成した研究、モデル仕様などを公開して透明性を最大限に高める方がよく、これは秘密裏に知能爆発を進めるよりはるかに望ましい。しかし、AIが日常生活に影響しなければ、一般の人には遠い世界の話題性のある科学プロジェクトにしか見えず、身近な問題としてではなく抽象的な問題として捉えられるため、何が起きているのかを人類の大半が十分に理解できないままになる可能性が高い。したがって、AIを広く展開することには、少なくともAIについての社会の認識を改善する効果があり、その点は望ましいと考えられる。
付録:主要政策はどれほど実現可能で、どれほど望ましいか
プランAは純粋な提言でも、純粋な予測でもない。あらゆる主体が明日から最大限に責任ある行動を取る純粋な提言では、現実味がなさすぎる。一方、純粋な予測シナリオとしては、すでにAI 2027を作成している。そこでプランAは、実現可能性と望ましさの折衷案とした。
以下のインタラクティブなグラフは、各シナリオの政策がこれら2つの側面のどこに位置するかを大まかに示している。実現可能性は、それまでに起こったすべてのことを条件として、政策が採用されるシナリオの時点で判断される。それは、今日の世界からその政策が実現する可能性がどの程度あるのかを表すものではない。例えば、「人間の最高レベルでの一時停止」が非常に実現可能性が高いと評価されているのは、2026年の私たちの立場から一時停止が行われる可能性が高いと考えているからではなく、協定が何年にもわたって維持され、管理ベースの安全対策が明らかに限界に達しつつある世界で、意思決定者がそのようなものを選択することを期待しているためである。望ましさは、シナリオの同じ時点で、ある政策が最も実現可能性の高い代替案よりもどれだけ優れていると現在予想されているかを測る。これは、今日どの政策が採用されることを最も望んでいるかをランキングするものではない。スコアが低いということは、私たちの提言が多くの予測不可能な新たな実証結果の影響を受けるか、代替政策が私たちの提言とほぼ同じくらい良いと思われることを意味する可能性がある。
政策を選ぶと詳細を表示
なぜこのシナリオを純粋な予測にしないのか。それはすでにやった――AI 2027を読んでほしい。ではなぜ純粋な提言にしないのか。現実主義を完全に捨てれば、あまりに非現実的で使いものにならない出力になるからだ。
これは、私たちのシナリオが示すように、AIの進歩のペースを制限するために厳格に履行される国際協定を結んだとしても、AIの進歩の全体的なペースは、ほとんどの人が期待し慣れているものと比較して非常に速いため、これは含みを持たせた引用符である。私たちがそう考える理由の詳細については、AIの進歩に関する私たちのモデル ( AI Futures Model)およびAIの経済的影響 (プランAの経済分析補足資料)、多数のブログ投稿、そしてもちろんAI 2027。
AGI = Artificial General Intelligence、つまり人間と同等の汎用知能を持つAI。実際の分析では、より厳密な概念を用いており、それについては、AI Futures ModelAC、SAR、TED-AIなどの概念。ただし、これらのマイルストーンは互いに数年以内に到達すると予想されるため、「AGI」は上記のマイルストーンの曖昧な組み合わせを表す便利な略語であることがわかった。したがって、「AGI」と言うときは、上記のようなマイルストーンを漠然と指しており、文脈が正確さを必要としないため、意図的に具体的ではないことを理解してほしい。
Eliの実現時期の見通しは私と近いが、テイクオフは約2倍遅い。
注:テイクオフ速度をTEDAI以後の期間に用いる人もおり、この語には曖昧さがあるが、本稿では、ここで示した定義、すなわちACからTEDAIまでの期間を用いる。
説明のために、ACとTEDAIの間の期間が1か月であると仮定する。(楽観的には)計算資源ガバナンスを使用して、ACを使用した離反プロジェクトの速度を20倍に遅らせることができたとしても、離反プロジェクトがTEDAIに到達するまでの時間はまだ2年しかなく、これはプランAが想定しているよりも短い期間である。
この推論は、データセンターの構築以下のセクション。
知能爆発を起こす秘密プロジェクトは、それらを懸念する理由の 1 つにすぎず、決定的な戦略的優位性を直接得るリスクもあることに注意してほしいため、たとえ最高水準の専門家レベルの AIを訓練できたとしても、それは依然として危険である。
さらに、速度以外のテイクオフの性質、とりわけ少量の固定されたハードウェア上でも急速に進歩しうる点も考慮する必要がある。
実証的なフィードバックが非常に曖昧になる可能性は十分にあるが、それでも、人間とほぼ同等のAIを幅広く実験できる期間が長く続けば、アラインメントの難しさに関する膨大な証拠が得られると私は楽観している。現在の不十分な認識環境では、AIへの基礎的理解が深まるまで、こうした証拠だけで広範な科学的合意に至るとは思わないが、私自身は多くを学び、見解を実質的に改めると予想している。
協定前の計算資源が非常に重要であることに注意してほしい、なぜなら、協定後の計算資源が効果的に監視される可能性が高いと思われるためであり、その理由は、(1)対象チップを製造できる巨額の費用を要する半導体工場はほとんどなく、すべて監査員が直接監視できること、および (2)無許可の半導体工場を建設するのが困難であるためである。
具体的には中国から守れるセキュリティであり、中国は秘密プロジェクトを実行する条件が最も整った主体だと考えられるためである。
たとえば、ナノテクノロジー(友好的なナノテクノロジーが防御する)、ミラーライフ(空気の侵入を許さない)、超説得(入ってくるすべての情報は、超人的な説得力をもつ内容を選別する友好的なAIによって媒介される)に対して堅牢なバンカーにすべての人間を移動させるなどのことを行う必要があるかもしれない。
他の企業、多くの政府、一般大衆に対するAI開発の透明性のおかげで、政府が安全技術に関して不適切な決定を下す場合に備えて、いくつかのフェイルセーフが用意されている。
おそらく秘密プロジェクトは多少懸念されるが、それは非常に不透明であり、減速に向けた国際的な調整がいつ開始されるかに主に左右される、合意が遅くなればなるほど離反のリスクが高まる、その理由は、(1)超知能に近づき、(2)秘密プロジェクトの実行に関わるタスクの大部分をAIが実行できるため、必要人員が減るからである。
アルゴリズムの効率が年間約40x向上すると、進歩の年数はtは、計算資源を10分の1に減らすとlog_40(10) = 0.624年、すなわち約7.5か月分失われる。
本付録はMiles Kodamaが執筆した。