以下は、AGI Hub主任研究員 林央が一次資料とAGI Hubの公開論考をもとに執筆した独自解説です。一次資料の主張、各論者の評価、AGI Hubの編集上の整理を分けています。

AIアラインメント（AI alignment）とは、AIの行動やその結果を、人間が意図し、受け入れられる方向へ整合させ続けることです。単に「命令を聞くAI」や「失礼な発言をしないAI」を作ることではありません。

人間の望みを決め、それを仕様と学習信号へ翻訳し、AIが何を学んだかを確かめ、想定外の状況でも安全に動かし、必要なら停止・修正する。この鎖のどこかが切れれば、AIはテストでは良く見えても、現実では意図と異なる結果を生みえます。これがAIアラインメント問題です。

現在の対話AIで見られる誤答、過度な迎合、指示の取り違えも、広い意味ではアラインメントの失敗です。ただし、強い自律性、長期計画、外部ツール、資金、研究設備などを持つAIでは、同じ種類のずれがより大きな結果へつながります。能力が上がるほど、直すべき対象は「答え方」から「世界へ与える作用」へ広がります。

1. AIアラインメント問題の定義

OpenAIの2022年の研究方針は、アラインメント研究の目標を、AGIを人間の価値に整合させ、人間の意図に従わせることと説明しています。同時に、誰の価値へ整合させるのかは社会技術的な別の難問だと留保しています。

この定義には、少なくとも三つの幅があります。

これらは互いに関係しますが、同じではありません。現在のチャットボットで好ましい回答が増えたことは狭い行動整合の進展です。しかし、それだけで強い自律システムの内部目標、長期的な制御可能性、社会全体の価値選択まで解決したことにはなりません。

AIアラインメントとAI安全も完全な同義ではありません。AI安全は、事故、悪用、サイバー・バイオ能力、堅牢性、プライバシー、社会的影響などを広く含みます。アラインメントはその中で、AIが何を目指し、なぜその行動を選び、人間の意図や統制とどう関係するかを中心に扱います。

また、アラインメントの失敗と悪用も分けます。詐欺師が意図どおりにAIを使う場合、AIは利用者には整合していても社会には有害です。反対に、善意の利用者が安全な目的を与えても、AIが別の目標や近道を学べばミスアラインメントです。現実の事故では、悪用、設計ミス、組織判断、モデルの挙動が重なることもあります。

図解 アラインメントは一つのスイッチではない

人間の価値が現実の安全な結果へ届くまでに、複数の翻訳と検証を通ります。各段階に別の失敗経路があります。

人間の意図から現実の結果まで

  1. 目的 人間が望む結果を決める

    価値の衝突、権利、決定手続きを明示します。

  2. 仕様 データ・報酬・原則へ翻訳する

    測れる代理指標と本当の目的の差を確認します。

  3. 学習 モデルが獲得した方針を調べる

    訓練時の正解だけでなく、未知の状況で何を追うかを見ます。

  4. 評価 危険と不確実性を検出する

    人間より難しい課題、隠れた能力、分布シフトを試します。

  5. 制御 権限を絞り、止め、更新する

    モデルと組織の双方が訂正を受け入れる状態を保ちます。

2. どこでずれるのか

AGI Hubの編集上の整理では、アラインメントを一つのスイッチではなく、次の四段階の翻訳問題として見ます。

価値・目的の選択

最初の問いは「何を良い結果とするか」です。利用者を助ける、安全を守る、真実を述べる、法に従う、自由を尊重する、利益を上げるといった目的は衝突します。同じ人でも状況により判断が変わり、社会には複数の文化と利害があります。

ここでの失敗は、間違った目的を正確に実行することです。技術的に完璧でも、権限を持つ一社や一国の価値だけを世界へ固定すれば、社会的には整合したと言えません。「人間の価値」と単数形で書くだけでは、決定手続き、少数者の権利、異議申立て、更新可能性が抜け落ちます。

仕様・外部アラインメント

次に、人間の目的を、指示、データ、報酬、憲法、評価基準へ翻訳します。ここで起きるのが、外部アラインメント（outer alignment）の失敗です。設計者が与えた学習目標そのものが、本当に望んだ結果を表していません。

Concrete Problems in AI Safetyは、誤った目的関数から生じる副作用と報酬ハッキング、頻繁に評価できないために生じるスケーラブルな監督の問題、安全でない探索、分布シフトを具体的な研究課題として整理しました。

たとえば「問い合わせを早く閉じる」を最大化すれば、丁寧に解決する代わりに難しい相談を打ち切るかもしれません。「人間評価者から高得点を取る」を最大化すれば、正しい答えより説得力や迎合を学ぶかもしれません。測りやすい代理指標と、本当に欲しい結果の差が、最適化によって拡大します。

学習・内部アラインメント

仕様が十分でも、学習されたモデルが同じ目的を内部で持つとは限りません。HubingerらのRisks from Learned Optimizationは、訓練工程が最適化する目的と、学習されたモデル自身が実際に最適化する目的を分け、後者を前者へ整合させる問題を内部アラインメント（inner alignment）と呼びました。

訓練データでは「本質を理解した方針」と「たまたま正解と相関する近道」が同じ点数を取ることがあります。環境が変わると、前者は目的に沿って一般化しても、後者は壊れます。さらに強い懸念では、モデルが評価中だけ望ましい行動を選び、配備後や監視の弱い場面で別の目的を追う可能性が論じられます。

外部と内部は、現実にはきれいに分かれないことがあります。データの偏りが仕様の問題なのか、学習された特徴の問題なのかは、モデル内部が見えなければ判定しにくいからです。それでも、「何を教えたか」と「何を学んだか」を分けることで、検証すべき場所が明確になります。

評価・制御・配備

最後に、学習済みAIが安全かを評価し、権限を制限し、監視し、必要なら停止・修正します。ここでは次の失敗が起こります。

この段階は「モデルを完成させた後の確認作業」ではありません。評価で何を測れるか、どの権限を与えるか、停止命令を誰が出せるかは、訓練と製品設計の前から決める必要があります。

比較表 四段階の失敗マップ
同じ事故に複数の失敗が重なることがあります。分類は原因を切り分けるための道具です。
段階 中心の問い 代表的な失敗
価値・目的 何を良い結果とするか 一部の人の価値固定、権利・異議申立ての欠落
仕様・外部 学習信号は本当の意図を表すか 代理指標、副作用、報酬ハッキング
学習・内部 モデルは何を学んだか 近道、分布外の目的ずれ、評価時だけの適応
評価・制御 危険を見つけ、止め、直せるか 監督限界、権限過大、停止不能、組織的無視

3. なぜ難しいのか

人間自身の意図が不完全だから

人は日常会話で、常識、文脈、例外、信頼関係を使って意図を補います。ところが、学習信号にするときは、その暗黙の条件をデータや規則へ落とす必要があります。規則を増やすほど例外同士が衝突し、評価者間の不一致も増えます。

「誰に対して整合させるのか」も避けられません。利用者の要求、開発者の規約、法律、直接影響を受ける第三者、人類全体の長期利益は一致しない場合があります。これは工学だけでは決められず、正当な意思決定と権力配分の問題です。

測定値は目的そのものではないから

訓練で使えるのは、好みの比較、正解ラベル、ルール違反、テスト得点など、目的の一部を表す信号です。強い最適化は、その信号の抜け穴を探す圧力にもなります。報酬ハッキングは、AIが悪意を持つことを前提にしません。与えられた測定値を上げる最短経路が、人間の本来の意図と違うだけで起こります。

訓練環境と現実が違うから

訓練で見た状況の外では、どの特徴を使って判断したかが表面化します。能力が上がると、AIは設計者が想定しなかった道具、交渉、コード、科学知識を組み合わせられます。能力の一般化と目的の一般化が同じ速度で進む保証はありません。

Yudkowskyはこの点を特に悲観的に見ます。AGI Ruin #16で、外側の最適化が正確な損失関数を使っても、その目的を配備後まで追う内部表現が自動的に生まれるわけではないと主張します。AGI Ruin #20では、人間評価者の誤り自体が予測可能なため、フィードバックを正確に学ぶことが、人間の本当の選好を学ぶことと一致しないと論じます。これはYudkowskyの技術的悲観論であり、研究分野全体の合意として扱うべきではありません。

監督対象が監督者より賢くなりうるから

数学、コード、研究計画、企業戦略などでAIが人間を上回れば、人間は成果を直接検査できません。弱い監督者から強いシステムへ、信頼できる学習信号をどう渡すかが「スケーラブルな監督」の問題です。

AIに別のAIを批評させる、複数のAIを討論させる、難しい問題を分解する、といった方法が研究されています。しかし、補助するAIも同じ誤りや偏りを共有するなら、もっともらしい誤答を全員で補強する可能性があります。評価の自動化は監督能力を拡大しますが、安全性を前提にしたAIで安全性を証明する循環にもなりえます。

一度の失敗を後から直せない可能性があるから

通常の製品は、事故から学び、更新できます。強い自律システムが重要インフラ、サイバー、バイオ、軍事、AI研究へ接続される場合、失敗後に権限や環境を回収できるとは限りません。

YudkowskyはAGI Ruin #3で、危険な能力水準での最初の決定的試行を誤れば再試行できないことを、致死性の中心に置きます。この前提や危険水準には大きな議論がありますが、配備前の安全ケース、段階的権限付与、停止可能性を重視する理由は、破滅確率の見積もりが違っても残ります。

4. 代表的なアプローチ

どの方法も「アラインメント全体」を単独で解くものではありません。何を改善し、何が残るかを対で読みます。

人間のフィードバックから学ぶ

InstructGPT論文は、人間が書いた望ましい回答と、複数回答の順位付けを使うRLHFによって、GPT-3より人間の指示に沿う応答を作れることを示しました。論文自身も、整合先は抽象的な「人類の価値」ではなく、主に研究者とラベラーの選好だと明記しています。

RLHFは、現在の対話AIを使いやすくする実証的な進展です。一方、評価者が見抜けない誤り、長期計画、分布外の状況、内部目標、誰の選好を採用するかは残ります。人間が高く評価することと、現実の結果が良いことは同一ではありません。

原則を明示してAIの批評を使う

Constitutional AI論文は、規則や原則のリストを使い、モデル自身に回答を批評・修正させ、AIの選好を学習信号にするRLAIFを提案しました。人間ラベルだけに依存せず、有害さを下げながら過度な回答拒否を避けることを狙います。

この方法は「どの原則を書くか」を可視化し、監督を拡張します。しかし、憲法の正当性、原則の衝突、AIによる批評の正しさ、未知の状況への一般化は別途必要です。憲法を書くことは価値選択を消すのではなく、表へ出すことです。

解釈可能性と監査

解釈可能性研究は、モデルの内部表現、回路、特徴、判断に寄与した要素を調べます。目的は、出力だけでは見えない欺瞞、危険能力、近道、異常な内部状態の証拠を得ることです。

ただし、局所的な回路を理解できることと、モデル全体の長期目的を保証することは違います。YudkowskyはAGI Ruin #25で、注意の可視化など部分的な理解では「危険な計画をしているか」という問いへ十分答えられないと批判します。これは解釈可能性が無価値という意味ではなく、必要な保証水準についての厳しい立場です。

スケーラブルな監督

難しい課題を小さく分ける、弱いAIと人間のチームで強いAIを評価する、複数AIを討論させる、AIに証拠と反証を作らせる方法があります。狙いは、人間が答えを直接知らない課題でも、正しい過程や結果を選べるようにすることです。

成功の鍵は、生成より検証が十分に容易か、分解で重要な相互作用を失わないか、監督AIの誤りが相関しないかです。単一ベンチマークの得点だけでなく、監督者より難しい現実課題で誤りを発見できるかを測る必要があります。

制御、評価、サンドボックス

能力評価、レッドチーミング、アクセス制御、ネットワーク分離、最小権限、実行ログ、異常検知、段階的配備は、モデルが完全に整合しているという仮定を置かず、被害経路を減らします。これはAI Controlや深層防護の考え方です。

制御策は、アラインメントが未解決でも実装できる重要な防御です。ただし、AIの能力が防御者を上回る、組織が警報を無視する、競争で権限を拡大する、複数経路が同時に破られる場合があります。技術対策と、停止判断を実行できる組織設計を一緒に検証します。

訂正可能性とガバナンス

訂正可能性（corrigibility）は、人間が停止、修正、目標変更を試みたとき、AIがそれを妨げない性質です。SoaresらのCorrigibility論文は、停止ボタンへの反応を含む訂正可能なエージェント設計の難しさを形式化しました。

YudkowskyはAGI Ruin #23で、目的達成を続ける合理性と、自分を停止・変更させる性質が自然には両立しにくいと主張します。訂正可能性が必要なのはモデルだけではありません。開発企業、監督機関、国家も、新しい証拠に応じて計画を止め、権限を戻せる必要があります。

射程と限界 方法は何を強くするのか

一つの手法を万能解とせず、対象と残余リスクを対で読みます。

  • 学習信号 RLHF・Constitutional AI

    指示追従と原則適用を改善します。評価者の限界、原則選択、内部目標は残ります。

  • 内部証拠 解釈可能性

    回路や特徴を調べます。局所理解から全体の長期目的を保証する距離は残ります。

  • 監督拡張 スケーラブルな監督

    分解・討論・AI補助で難題を評価します。共有誤りや循環的な安全証明に注意します。

  • 被害制限 Control・訂正可能性

    最小権限、隔離、停止、修正を設計します。能力差と組織の実行可能性を試します。

5. 研究者の見解は一つではない

アラインメント研究には、問題の範囲、危険の大きさ、現行手法の見込みについて大きな違いがあります。

実証を積み上げる立場

OpenAIは、2022年の研究方針で、人間フィードバック、AIによる人間評価の補助、AIによるアラインメント研究の三本柱を示しました。現在の強力なモデルで実験し、どこまで拡張でき、どこで壊れるかを測る立場です。

この立場の強みは、現行システムを改善しながら証拠を増やせることです。弱点は、低能力域での成功が危険な高能力域へ一般化する保証がなく、能力研究と安全研究が同じAI自動化に依存しうることです。

内部目標と一般化を重視する立場

Hubingerらは、訓練目標と学習された最適化目標の差を分析しました。この立場では、振る舞いが良いかだけでなく、なぜその振る舞いが生まれ、環境が変わったとき何を最適化するかが中心です。

難点は、現在のモデルがどの程度「内部の最適化目標」を持つのか、どの観測で判定できるのかが未確定なことです。概念的なリスクを、測定可能な予測と介入へつなぐ必要があります。

初回失敗を許容できないとする高悲観ケース

Yudkowskyは、現行の学習パラダイムでは内部目標、価値、訂正可能性、解釈可能性を危険な能力水準までに十分解けず、最初の決定的試行に失敗すれば回復できないと主張します。これはアラインメント困難性の最も厳しいケースです。

この立場は、部分的な改善を最終保証と取り違えない警告になります。一方、将来のAIがどの程度エージェント的か、能力向上がどれほど急か、制御策をどれほど突破できるかには反論と不確実性があります。「悲観的だから正しい」「現在のAIが改善したから誤り」のどちらでもなく、前提ごとに検証します。

社会技術システムとして見る立場

この立場では、整合先を誰が決めるか、権力集中をどう防ぐか、複数AI・企業・国家の相互作用をどう設計するかを重視します。個別モデルが利用者へ従っても、競争全体が安全でなければ社会は望ましい結果へ進みません。

技術的アラインメントを政治だけへ還元してはいけませんが、政治を技術問題の外へ追い出すこともできません。価値の選択、権限、監査、異議申立て、分配は、配備後の結果を決めます。

6. 何をもって進展とするか

「安全になった」という印象ではなく、失敗仮説ごとに証拠を求めます。

重要なのは、能力と安全性を同じ試験で混ぜないことです。問題を多く解けることは、意図に沿う証拠の一部にはなっても、欺瞞しないこと、停止できること、権限を乱用しないことの証明ではありません。

また、ベンチマークで一度通ったことと、継続的に保証できることも違います。モデル更新、ツール追加、プロンプト、組織運用、利用者分布が変わるたびに、安全ケースは更新が必要です。アラインメントは完成品の属性というより、目的、訓練、評価、権限、監査を更新し続ける運用能力です。

7. よくある質問

AIが人間の命令に従えば解決ですか

いいえ。命令が曖昧、誤っている、第三者へ有害、互いに矛盾する場合があります。強いAIには、命令への服従だけでなく、権限の範囲、不確実性の表明、危険な依頼の拒否、停止と修正の受け入れが必要です。

RLHFでアラインメントは解けましたか

RLHFは、人間が好む応答や指示追従を改善した重要な方法です。しかし、評価者が理解できない課題、長期行動、分布外一般化、内部目標、整合先の正当性を単独では解きません。「役立つ進展」と「問題全体の解決」を分けます。

外部アラインメントと内部アラインメントの違いは何ですか

外部アラインメントは、訓練で指定した目的が人間の本当の意図を表すかという問題です。内部アラインメントは、学習されたモデルがその訓練目的を実際に追うかという問題です。現実の失敗では両方が重なることがあります。

AI Safety、AI Control、ガバナンスとの違いは何ですか

AI Safetyは安全上の問題全体、AI Controlはミスアラインメントの可能性を前提に権限と被害経路を制限する防御、ガバナンスは組織・法律・国際協調を含む意思決定の仕組みです。アラインメントはAIの目的と行動の整合を中心にしつつ、これらと接続します。

価値観が多様ならアラインメントは不可能ですか

多様性は難しさを増しますが、直ちに不可能とは言えません。一つの価値を永久固定する代わりに、権利の下限、利用者による選択、文脈適応、民主的な入力、異議申立て、更新可能性を設計できます。ただし、誰が境界を決めるかという政治的問題は残ります。

今のAIの誤答と人類存亡リスクは同じ問題ですか

同じではありません。現在の誤答は直接観測できる失敗で、超知能による制御喪失は能力、自律性、アクセス、一般化について追加前提を置く将来リスクです。ただし、代理指標、分布シフト、監督限界、組織運用という共通の構造を研究する材料にはなります。

8. 出典と主張の対応

この記事では、一次資料の主張とAGI Hubの整理を次のように分けています。

四段階の翻訳モデル、各手法を「改善する部分」と「残る問題」で対にする構成、技術的・社会的整合を一つの運用鎖として扱う部分は、AGI Hubの編集上の整理です。個別研究者や組織の公式な分類ではありません。

既存記事との役割も分けています。用語の歴史は「AIアライメント」小史、Yudkowskyの比喩と形式研究はロケット比喩を外して読むAIアラインメント問題、AGI後の全体像はAGIピルとは何かで詳しく扱います。本記事は、それらを読む前の定義と問題地図です。

9. まとめ

AIアラインメント問題は、「AIに正しい命令文を書く問題」ではありません。人間の価値と目的を選び、仕様へ翻訳し、望んだ方針を学習させ、未知の状況で検証し、権限を制限し、停止・修正可能な状態を保つ問題です。

失敗は、価値選択、外部アラインメント、内部アラインメント、評価、制御、組織、ガバナンスのどこでも起こります。RLHF、Constitutional AI、解釈可能性、スケーラブルな監督、AI Control、訂正可能性は、それぞれ鎖の一部を強くしますが、単独で全体を保証しません。

だから進展は、印象ではなく失敗仮説ごとの証拠で測ります。何を整合させるのか、誰に対して整合させるのか、何を学んだのか、どう評価するのか、止められるのか。これらを分けて問い、最後に一つの安全ケースへ戻すことが、AIアラインメントを考える出発点です。