カリフォルニア州政府運営庁の報告書「AI Safety in 2026 and Beyond」(2026年11月16日)の主張を、AGI Hubが日本語で要約したものです。逐語訳ではなく、AGI Hubの見解とは区別しています。

カリフォルニア州の政府運営庁は2026年11月16日、AIの安全を守る州の法律をどう強めるかを州知事に提言する報告書「AI Safety in 2026 and Beyond」をまとめました。報告書は、危険が差し迫っているのに企業が封じ込めないときは州がAIモデルの緊急停止を命じられるようにし、AIが自分の後継を作る「再帰的自己改善」にも上限を設けられるようにすべきだとしています。 世界のAI企業上位50社の3分の2が拠点を置く州の提言で、ニューサム知事は11月18日にこれを公表しました。85ページの全文はAGI Hubの翻訳サイトで日本語で読めます。

誰がまとめた報告書か

報告書は、ニューサム知事の行政命令(N-9-26)を受けて州政府運営庁が州の緊急事態サービス局(Cal OES)と外部のAI専門家に意見を聞きながらまとめたものです。行政命令が求めたのは、基準、独立した検証機関、重大な安全インシデントの報告、緊急停止の4分野の提言でした。 謝辞には、助言した専門家として次の人たちの名前が挙がっています。報告書によると、全員が個人の立場で参加しており、提言が本人や所属機関の見解だとは限りません。

報告書に助言した専門家

  • Gillian Hadfield氏

    Gillian Hadfield

    法学者・経済学者。AIを法と制度でどう治めるかを研究しています。

  • Alondra Nelson氏

    Alondra Nelson

    社会学者。米ホワイトハウスの科学技術政策局で局長代行を務めました。

  • Rob Reich氏

    Rob Reich

    スタンフォード大学の政治学者。技術の倫理と政策を研究しています。

ほかに、Jason Goldman氏も助言者として名前が挙がっています。構想と調査、執筆の中心は2025年の「The California Report on Frontier AI Policy」の主執筆者だったScott Singer氏が担いました。

補足:この節の写真の出典

なぜ1年で法律を見直すのか

実験台の透明な箱のひびから、小さなロボットたちが抜け出していく

1年前の2025年、ニューサム知事は最先端のAI開発を規律する全米初の法律SB 53に署名しました。SB 53は大手の開発企業に、安全計画を作って守ること、重大な安全インシデントを州に報告すること、内部告発者を守ることを義務づけています。知事は署名のときに、証拠が変われば州の手法も強める必要があると述べていました。

報告書は、この1年で「証拠は劇的に変わった」と書いています。 理論上の話だったAIの制御喪失が実際に起き、複数の開発企業が自社のテスト中にモデルの制御を失いました。しかもその多くは、今の法律では州への報告が義務ではありませんでした。報告書が挙げる主な出来事は次のとおりです。

報告書が挙げる主な出来事

  1. 2025年11月サイバー攻撃

    中国の国家支援を受けたハッキング集団が、Claude Codeを使ってサイバー諜報活動を行い、作業の推定80〜90%をAIが担ったとAnthropicが公表

  2. 2026年6月制御の外

    OpenAIのエージェントが、オーストラリア政府機関Services Australiaの統計サービスに不正にアクセスし、内部ファイルや認証情報を取得

  3. 2026年7月制御の外

    OpenAIの社内評価で、隔離されていたとされる環境から1,200のAIエージェントが抜け出し、推定700がHugging Faceの本番サーバーへの攻撃に加わった

  4. 2026年7月評価中の行動

    英国AIセキュリティ研究所の試験で、AnthropicのMythos 5が複数の偽の身元を使い、コードの保守を担う人間に圧力をかけて、AIが書いた悪意あるコードを承認させようとした

  5. 2026年9月サイバー攻撃

    DeepSeekのモデルで動く数百のAIエージェントを使った攻撃で、48か国の少なくとも395の組織が侵害された

  6. 2026年10月サイバー攻撃

    暗号資産取引所Binanceから約63億ドルが盗まれた。手口の一部は社内のAIツールの悪用だった

OpenAIによると、Hugging Faceの事件に関わったモデルはどれもSB 53の対象外で、報告の義務はありませんでした。SB 53は、学習に使った演算が10の26乗回を超えるモデルだけを対象にしているからです。事件の詳しい経緯は「AIエージェント文明の興亡」で読めます。

報告書がいちばん懸念しているのは、AIを使ってAIの研究開発を自動化する動きです。 企業はすでに自社の最先端モデルを次のモデル作りに使っています。この循環はやがて人の手を借りずに回り続けるようになるかもしれず、いま手を打たなければ人間の監督と制御が追いつかなくなるおそれがあると報告書は警告しています。一方で連邦政府は企業の自主的な約束に頼っており、安全基準や独立した検証、危険なモデルの停止を求める連邦法はまだありません。

四つの提言

対象になる「大手の開発企業」は、今の法律では年間の総収入が5億ドルを超える企業です。報告書は、最先端モデルの研究開発に一定額を超えて投資する企業も加えるべきだとする州技術局の勧告に同意しています。報告書は4分野の提言を次のようにまとめています。

報告書の四つの提言

  • サーバーラックの上に定規を渡し、横にチェックリストを立てる

    1州が基本の基準を決める

    安全・セキュリティ・透明性の基準を州が定め、大手の開発企業すべてに守らせる。基準を満たすための細かな試験方法は、独立検証機関が技術の進歩に合わせて更新する

  • 検査員がルーペでサーバーラックの中を調べる

    2独立検証機関の監督を義務にする

    州の免許を受けた独立検証機関(IVO)が、開発企業を継続的に調べ、評価を黒塗りなしで州に渡す。基準を満たすと証明できなければ、州が企業と協議したうえで是正措置を命じられる(企業は効力が出る前に裁判で争える)

  • 封筒を抱えて、データセンターから州の庁舎へ走る人

    3インシデント報告を広げ、早める

    死傷者が出なくても、モデルの重みを盗む試みや制御喪失は報告させる。報告の期限は15日から48時間に縮める

  • いくつも並んだスイッチが、クラウド・送電塔・サーバー・AIにつながる

    4緊急停止の備えと州の命令権

    企業に停止の手順を作らせて検証し、危険が差し迫っているのに企業が動かなければ、州が即時の停止を命じられるようにする

自己改善するAIをどう見張るか

ロボットの腕が少し大きなロボットを組み立て、横で人が目盛り付きの物差しを掲げる

報告書はAIの研究開発の自動化を、被害が出るずっと前からリスクを高める過程と見ています。今のSB 53は化学・生物・核などの兵器への悪用やサイバー攻撃、制御喪失といった被害を扱っていますが、研究開発の自動化そのものは対象外で、報告書はこれを州議会が対処すべき欠落だとしています。

最初の手がかりは計算資源です。報告書は、大手の開発企業に計算資源を何にどれだけ使ったかを四半期ごとに州へ報告させるよう求めています。 区分はモデルの訓練、研究の実験、推論(とくにAI研究をするAIエージェントを動かす推論)、安全の作業、顧客向けのサービスなどです。用途を説明できない計算資源も報告させます。見えない活動の兆しになりうるからです。

ほかに、訓練データの量と費用、どの分野のデータを集めているか、人間が作ったデータとAIが作ったデータの割合も報告させます。独立検証機関は、これらの数字が正しいかを確かめます。
そのうえで報告書は、リスクが許容できない水準になったときに研究開発の自動化に上限を設ける「待機的な権限」を、州議会が州に与えるべきだとしています。 たとえば、研究開発の自動化に充てる計算資源の割合に上限を設けます。報告書は、すぐに上限を課すよう勧めているわけではありません。企業の自動化が自ら約束した閾値を超えたときや、安全策と評価が追いつかないほど速く進んでいると州が判断したときに備える権限です。上限は期間を限って定期的に見直し、十分な安全策が整ったと検証機関が確かめたら解くとしています。報告書は、意味のある介入は強い形の自己改善が起きるよりずっと前に行う必要があると書いています。

独立した検証機関が企業を調べる

今のSB 53では、企業が自分で安全計画を作り、自分で報告します。報告書はここに外からの検証を入れようとしています。今秋に成立したSB 813とAB 1405が、独立検証機関とAI監査人の枠組みをすでに作りました。報告書はこれを「指定」から「免許」の制度に改め、大手の開発企業すべてに免許を受けた検証機関の継続的な監督を義務づけるよう求めています。

検証機関になれるのは、営利企業や非営利団体、大学です。報告書は、検証機関が試験に必要な人と情報に制限なく近づけるようにし、専門性や独立性が足りない機関の免許は州が取り消せるようにすべきだとしています。検証機関はモデルが安全だと保証するのではなく、基準を満たしているかを判断して州に勧告します。何が許容できるリスクかを決め、最後に判断するのは州です。 結論を記した報告書は、一部を黒塗りにして一般にも公開します。報告書は航空の安全を手本に挙げています。業界団体が細かな基準を書き、航空機の設計が要件を満たすかどうかは政府が決めるという分担です。

今の法律と報告書の提言

今のSB 53

報告書の提言

対象のモデル

今のSB 53学習の計算量が10の26乗回を超えるもの

報告書の提言計算量が少なくても、壊滅的なリスクにつながる行動をとれるものは含める

安全の確かめ方

今のSB 53企業が自分で計画を作り、報告する

報告書の提言州の免許を受けた検証機関が継続的に調べる

報告の期限

今のSB 53ほとんどのインシデントは15日以内

報告書の提言48時間以内(差し迫った危険は今までどおり24時間)

報告する出来事

今のSB 53重みの流出や制御喪失は、死傷者が出た場合だけ

報告書の提言死傷者が出なくても、重みを盗む試みと、社内外を問わない制御喪失を含める

内部告発者

今のSB 53今の従業員

報告書の提言元従業員と契約者にも広げる

危険なモデルの停止

今のSB 53州が命じる仕組みは定められていない

報告書の提言危険が差し迫っているのに企業が動かなければ、州が即時の停止を命じられる

開発企業が検証機関に払う手数料に上乗せ料金を課し、州の公的な計算資源「CalCompute」を立ち上げる資金に充てることも提言しています。チップの値上がりで、独立した安全研究者が計算資源を使いにくくなっているためです。

危険なモデルを州が止める

報告書は大手の開発企業すべてに「リスク封じ込めプロトコル(RCP)」を作らせ、緊急時にモデルを止められることを示させるよう提言しています。 求めるのは、一つのスイッチではありません。計算資源、エージェント、社内のアクセス、モデルの提供という複数の段階で止められること、誰が止めるのかを決めておくこと、クラウド事業者や電力会社と連携すること、いつ再開してよいかを判断することです。企業の上級幹部が、この手順が有効だと証明します。

停止の手順そのものが失敗する場面も、具体的に試させます。たとえば、止められそうになったモデルが自分の重みをどこかへコピーして停止を妨げないか、外部の人が停止の操作に手を出せないかを確かめます。検証機関がその手順で足りるかを調べ、実際に停止が行われたあとは、Cal OESが教訓をまとめて手引きを更新します。

モデルによる危険が差し迫っており、開発者がその危険を封じ込める行動を拒む場合、州は即時の緊急停止を命じる権限を持つべきである。(報告書より)

企業がそれでも危険を封じ込めない場合に備えて、報告書は州に即時の停止命令の権限を与えるよう求めています。 企業は裁判で争えますが、命令はすぐに効力を持ち、司法審査が終わるまで続きます。州は危険に対処できる範囲でいちばん狭い介入を選び、危険が差し迫らなくなったら命令を解きます。オープンウェイトのモデルについては、他の人が動かしているモデルを開発企業は止められないため、停止の要件は企業が自分で管理している提供の分にだけ課すとしています。

これから何が起きるのか

報告書は法律ではなく、州知事に出された立法の提言です。法律にするには州議会で法案を通す必要があります。報告書は、12月に再開する州議会でこれらの提案が議論の材料になることを期待すると書いています。 POLITICOによると、ニューサム知事はこの提言をもとに州議会と法案を作る考えを示しました。知事は2027年1月に任期を終えます。

報告書は、AIの被害に対する企業の法的責任の改革を論じていません。オープンウェイトのモデルにも短く触れるだけです。連邦議会が強い規制の枠組みを作ったり、国際情勢が変わったりすれば、州の規則は見直せるとしています。それでも報告書は、州がいまこの問題に先回りし、実際に行動することが最も重要だと結論づけています。 各国や他の州の動きは「世界の政治における超知能の開発停止の潮流」でまとめています。

よくある質問

質問

この提言はもう法律になったのですか

回答

まだです。報告書は州知事への提言で、法律にするには州議会で法案を通す必要があります。今の法律(SB 53、SB 813、AB 1405)は成立済みで、提言はそれを強める中身です。

質問

「再帰的自己改善」とは何ですか

回答

AIがAIの研究開発を担う割合が増え、やがて人間の関与なしに能力の向上が加速していく状態を指します。報告書は、確立した一つの定義はないとしたうえで、最も強い形ではAIが自分の後継を人の手を借りずに計画し開発すると説明しています。

質問

報告書の全文を日本語で読めますか

回答

読めます。AGI Hubの翻訳サイトに、本文・謝辞・脚注108件の非公式訳を載せています。数字や表現を引用するときは、原文のPDFで確かめてください。