以下はSafeSingularityによるAGI Hub公式note掲載記事の全文です。Yudkowskyの未発表原稿の翻訳ではなく、原文と当時のMIRI研究をもとにした再構成です。原文（note）はこちら。

著者 SafeSingularity

この記事は、YudkowskyによるThe Rocket Alignment Problem（ロケットアラインメント問題）からロケットの比喩を取り外し、それぞれの文章が本来のAIアラインメント問題では何に対応するのかを逆算して、対話として再構成したものです。

元の文章では、AIを人類にとって望ましい方向へ導くことが、ロケットを月へ軟着陸させることに例えられています。しかし、Yudkowskyが「比喩を使わずに書いた原稿」が別に存在するわけではありません。そのため、以下はYudkowskyの未発表原稿の翻訳ではなく、前回の記事とMIRIの当時の研究をもとにした再構成です。

The Rocket Alignment Problemでは、アルフォンソの言っていることが明らかにおかしいように感じるでしょう。しかしながら、それをアラインメント問題に戻してみると、極めて一般的な言説になっていることに気づくでしょう。

簡単な解説

主な対応関係

The Rocket Alignment Problemでは、ロケットを作る技術はかなり発達しているのに、万有引力や微積分に相当する基礎理論が発見されていない世界が描かれています。

この設定は、AIを作り、学習させ、性能を向上させる技術は急速に発展している一方で、「最適化とは何か」「エージェントとは何か」「学習された目標は能力の向上や自己改変を経ても保たれるのか」といった基礎的な問いには、まだ十分な答えがない、というMIRIの見方に対応しています。

主な比喩の対応は、次の通りです。

ただし、これは一文ごとに一つの専門用語が隠されている暗号ではありません。原文から直接リンクされているTiling Agents、論理的不確実性、Corrigibility（訂正可能性）などは対応がかなり明確ですが、「風」「曲線」「月を先回りして狙うこと」などには複数の読み方があります。

アラインメント問題

どこか私たちの世界と瓜二つの、AIを作る技術に比べて、知能やエージェンシーの基礎理論が大きく立ち遅れている世界で……

アルフォンソ：こんにちは、ベス。最近、「AGI」が悪意ある組織によるテロに使われるとか、あるいは突然自意識に目覚め、人類を憎むようになって、自分を作った技術者たちに反旗を翻すかもしれない、といった憶測をよく目にします。

私はそうした憶測にはかなり懐疑的です。実際のところ、AIが今後100年以内に人間と同じくらい汎用的な知能へ到達するのかについても、少し懐疑的です。ただ、あなた方の研究所が、悪意ある、あるいは危険なAGIという潜在的問題に取り組もうとしていて、それを現代における重要な活動だと考えていることは理解しています。

ベス：それは……私たちMachine Intelligence Research Institute(機械知能研究所)、つまりMIRIでは、まったくそういう言い方はしません。

悪意を持ったAIや、意識に目覚めたAIの問題は、ニュース記事がこぞって取り上げているものです。しかし私たちは、本当の問題はまったく別のところにあると考えています。私たちが心配しているのは、現代のAI論評ではほとんど見過ごされている、難しく、理論的に挑戦的な問題です。私たちは、人間が望む目標をAIへ示し、学習を実行して、起動ボタンを押したとしても、そのAIは人間が望んだ結果を実際にはもたらさないのではないか、と心配しているのです。

アルフォンソ：現在のAIが誤作動したり、有害な出力をしたり、攻撃的な入力によって壊れたりしないように、学習方法や安全装置を設計することが非常に重要だ、ということは理解しています。それは重要なAI安全研究であり、誰かがやる必要があります。

しかし、もしあなた方がそういう安全研究に取り組んでいるのなら、現代のAI技術者たちと密接に協力し、現在のモデル上でその方法を実際に試験して、本当に有用であることを示すものだと思います。

ベス：現在のAIを頑健で安全なものにする研究は、どんなAI開発にとっても重要です。そしてAI研究者たちがこうした問題に取り組み、安全性を真剣に考えていることを、私たちはとても喜ばしく思っています。ただ、それはMIRIが焦点を当てている種類の問題ではありません。

アルフォンソ：では、何を懸念しているのですか。AGIが悪意ある人々によって開発されることを恐れているのですか。

ベス：それは、今私たちが心配している失敗モードではありません。私たちがより心配しているのは、現時点では、どう設計し、どう学習させれば、十分に高度なAIが人間の意図した目標を追うようになるのか、あるいは任意に指定した価値に沿って行動するようになるのかを、誰も説明できないということです。この技術的な失敗モードだけに限れば、Googleであれ、アメリカ政府であれ、北朝鮮であれ、どこがAGIを開発するのかは、私たちの観点からすると、アラインメントの成功確率に実用上の違いをもたらしません。なぜなら、今のところ誰も、どんな種類のAGIであれ、それを人間の意図した方向へ確実に向ける方法を知らないからです。

アルフォンソ：よくわからないのですが。

ベス：私たちが心配しているのは、たとえ「人間を幸福にする」「人間の指示に従う」といった目標を与え、AIの外から見える振る舞いがその目標と明らかに揃っていたとしても、そのAIが人間にとって望ましい未来をもたらすとは限らないということです。現在の学習手法から、人間の複雑な価値を長期にわたって保つAIへ至る現実的な経路が、どのようなものなのか、私たちにはまだわかっていません。しかも、その経路はあまり直接的なものではなく、人間の価値を一つの目的関数としてそのまま書き込むことを、そもそも含まないかもしれない、と私たちは疑っています。私たちは、次にすべき最重要のことは、エージェント、最適化、学習された目標についての理解を前進させ、私たちが「AIアラインメント問題」と呼んでいるものについて、よりよく、より深く理解することだと考えています。他にも安全上の問題はあります。しかし、このアラインメント問題は、おそらく総作業時間が最も長くかかる問題なので、最も緊急なのです。

アルフォンソ：ふむ、それは大胆な主張に聞こえます。AIが人間の価値を理解することを妨げる、何か不可視の認知的障壁があると考える理由があるのですか。あるいは、AIの能力が高くなるほど、現在のAIよりもずっとランダムで予測不能になる、と言っているのですか。どちらも備えておく価値はあるかもしれませんが、どちらもありそうには思えません。

ベス：そのような不可視の障壁が特に存在しそうだ、と考えているわけではありません。また、高度なAIがひたすらランダムになるとも思っていません。実際には、むしろその逆かもしれません。高度なAIほど、自分が学習した目標を達成する能力は高くなるでしょう。問題は単に、AIの設計と学習から始まり、その内部に形成された目標と推論を経て、人類にとって望ましい結果へ至るような経路を、私たちがまだ描けないということです。

アルフォンソ：もちろん、AIが現実に取る行動をすべて事前に描くことはできません。学習データや現実の環境は複雑すぎます。それでも、あなたの主張は強すぎるように思えます。単に人間の望む目標へ向けてAIを学習させ、動かしながら、必要に応じて人間が修正すればよいのではありませんか。なぜそれでうまくいかないのでしょうか。人間の望む目標で学習されたAIが、その目標を実現しないことを証明できますか。

ベス：その種のことを証明できるとは思っていません。問題の一部は、実際のニューラルネットワーク、学習過程、現実世界の複雑さなどをすべて考慮に入れると、この領域では現実的な計算が極めて困難になることです。私たちはこの領域で、大幅に単純化した問題をいくつか解こうとしてきました。たとえば、環境が完全に記述され、エージェントが理想的な論理や期待効用に従って行動すると仮定する程度のものです。そのような非現実的なモデルでさえ、もっと複雑な現実世界において、単にもっともらしい目標を与えて学習させても、人間が本当に望む結果には至らないだろうということを強く示唆しています。現実世界がより複雑であるという事実は、アラインメントを楽にしてくれるわけではまったくありません。

アルフォンソ：わかりました。あなた方がやっているという、その「理解」の仕事を少し見てみましょう……。

ふむ。あなた方が取り組もうとしている数学について読んだ限りでは、それが人間の価値と何の関係があるのか、私にはわかりません。AIが人間の価値を正確に目標にできるようにするには、倫理学、心理学、神経科学などを研究し、人間が具体的に何を望んでいるのかを調べて、AIが実現すべき特定の価値を識別できるようにするべきではありませんか。

ベス：私たちの現在の理解段階は、人間の価値の詳細な地図を次の研究目標にするには、あまりにも粗すぎると考えています。幸福、公正、自律といった価値のどれを、どのような場合に優先するかという段階には、まだ進んでいません。現時点では、私たちはどんな複雑な価値にも確実に照準を合わせられません。もっとこういう話です。「完全に既知で固定された単純なエージェントだけでなく、有限で、学習し、自分自身や後継のエージェントについて推論するシステムを、数学的に語る方法を見つける」。今のところ、現実的なエージェントですらありません。私たちはまず、極端に単純なモデルから一歩先へ進もうとしているだけなのです——。

アルフォンソ：しかし、現在のAIはすでに複雑で、非線形で、状況に応じて異なる行動を取ります。将来のAGIも、柔軟に計画を変更する能力を持つと期待するのは妥当でしょう。もしあなた方の懸念が、単純な期待効用最大化エージェント(Expected Utility Maximizer)は人間の意図を外してしまうというもので、AI技術者にもっとマイルドなAIを作るよう助言したいということなら、それは誰の時間の使い方としてもあまり良いものには思えません。

ベス：あなたは、私たちが今取り組んでいる数学と、将来実在するかもしれない実際のAGI設計との間に、あまりにも直接的な線を引こうとしています。現在のAGI案がほとんど正しく、あと一つか二つ問題を解けば安全に動く、という話ではありません。アラインメント問題の解決から誰もが隔てられている概念的距離は、それよりずっと大きいのです。

現時点では、誰もが最適化、目標、エージェンシーについて混乱しています。私たちはその混乱を減らそうとしています。次にやるべきことはそれです。現在の私たちの数学論文が語っている通りにAGIを作るよう、AI技術者に急いで助言しに行くことではありません。少なくとも、「なぜ自己改変するエージェントは、改変後も元と同じ目標を追い続けるのか」というような、極めて基本的な問いについて混乱しなくなるまでは。

アルフォンソ：現在のAIが、近いうちに自分のコードを勝手に書き換え、まったく別の目標を持つようになるとは思いません。今の学習システムは、自分自身を再設計しなくても、長い間かなり安定して動いてきました。

ベス：私たちの目標が、現在のAIが突然自分を書き換えるリスクに対処することだと言っているのではありません。私が言おうとしているのは、人類の現在の知識が「十分に高度なエージェントは、なぜ自己改変や後継エージェントの構築を経ても、その目標を保てるのか」というような問いに答えられないなら、私たちは反省的なエージェンシーについてほとんど何も知らないのであり、自分より賢い後継システムを作るAIを、人間の価値に沿ったままにすることもできないだろう、ということです。

私たちが現在行っている、理解を改善することを目的とした研究の例として、「Tiling Agents」と呼んでいる問題があります。Tiling Agentsの問題とは、あるエージェントが、自分と同様の目標と推論原理を持つ後継エージェントを作ることを、自分自身の推論によって承認できるようにするにはどうすればよいか、そしてその性質を自己改変のたびに、床の反復タイルのように保ち続けるにはどうすればよいか、という問題です——。

アルフォンソ：その話題に関するあなた方の研究については少し読みました。正直に言って、理想化された論理エージェントを作ることが、現実のAGIを人間の価値に沿わせることと何の関係があるのか、私にはわかりません。率直に言えば、それはGood Old-Fashioned AI、つまり古典的な記号処理AIに非常によく似ています。それが現実の知能を作る方法としてうまくいかなかったことは、誰でも知っています。初期のAI研究者なら、明示的な論理規則と探索だけで汎用知能を作れると考えたかもしれません。しかし現代の機械学習は、すべてを論理式として手で書くという発想を捨てています。あなた方が理想的な論理エージェントについて話しているという事実は、あなた方がこの数十年の機械学習の革新に追いついておらず、あなた方のAGI設計がまったく非現実的になることを示しているように思えます。

ベス：実際のAGIが、第一階述語論理の定理証明器としてそのまま作られるわけではないことは、私たちも知っています。本当に、本当に知っています。古典的な記号処理AIだけでは現実の汎用知能にならない理由や、完全な期待効用最大化エージェント(Expected Utility Maximzier)が現実的な設計ではない理由についても、私たちは熟知しています。私は以前、そうした単純なAI観がなぜうまくいかないのかを説明する連載記事をいくつも書いています。

アルフォンソ：しかし、あなた方の現在の研究は、理想化された論理エージェントが、自分と似た後継エージェントを作ることについてです。それが、将来のAI技術者に、人間の価値に沿ったAGIを作る方法について現実的な助言を与えることと、何の関係がありうるのですか。

ベス：繰り返しますが、あなたは私たちが今やっている数学と、将来のAI技術者への直接的助言との間に、あまりにも一直線の線を引こうとしています。

もし私たちが、完全に既知で決定論的な単純な環境にいる理想的な論理エージェントについて、そのエージェントが自分と同じ目標を持ち、少なくとも同程度の推論能力を持つ後継エージェントを作ることを、自分自身の推論によって正しく承認できる条件を見つけられたなら……私たちは反省的なエージェンシーについて、本当に根本的で重要な何かを理解したのかもしれません。

あるいは、そうではないかもしれません。どの問いが重要で、どの研究方向が実を結ぶのかを事前に知るのは難しいのです。できることは、自分を混乱させていて、かつ次に扱えそうに見える問題を見つけ、解決を試み、その後に少しでも混乱が減っていることを期待することだけです。

アルフォンソ：あなた方は、後継エージェントが元の目標を保てないことを問題として語り、それを避け、同じ目標が改変のたびに保たれるようにしたいと言っているのですね。しかし実際のAGIが、第一階述語論理で書かれた自分のコピーを作るとは限りません。そして現在のAIの多くは、新しいモデルへ更新されても、目に見えてまったく別の目的へ変わったりはしていません。私には、この「理想化された論理エージェントが、証明によって後継を承認できない」という、あなた方がTiling Agentsで避けようとしているシナリオは、実際のAGI設計者が心配する必要のある失敗モードではないように思えます。

ベス：私たちは、実際のAGIが第一階述語論理で自分のコピーを作り、文字通りLöbの定理に行き詰まることを心配しているわけではありません。それは、私たちがTiling Agentsの問題に取り組んでいる理由ではありません。ある意味で、あなたはアラインメント理論のどれだけがすでに解かれているかについて、あまりにも楽観的すぎます。私たちは、現在人々が語っている種類の設計が、「後継エージェントの目標を保つ」といった特定の残された困難を一つ解決すれば動く、というほどには、高度なAIを人間の意図した方向へ向けることの理解に近づいていません。私たちがどのような進歩を目指しているのかについて、もっとメタな水準で理解する必要があります。

私たちがTiling Agentsの問題に取り組んでいるのは、単純な環境にいる理想的なエージェントが、自分と同じ目標と推論原理を保つ後継を作れるという問題は……実際に本当に、自分より賢いシステムを設計し、そのシステムを自己改善させ、最後まで人間の価値に沿った結果をもたらせる人なら、容易に解けるはずの問題だと考えているからです。だから、いくつかの限定された版には進展があっても、私たちがそれを一般的で満足のいく形ではまだ解けていないという事実は憂慮すべきなのです。もし私たちが、完全に既知で決定論的な想像上の環境にいる論理エージェントを扱う、現実のAGIよりはるかに解析しやすく、はるかに明確に述べられたこのTiling Agentsの問題を解けるようになれば、それによって、やがて安全な自己改善型AIを描けるような人間になるための、もう一つの漸進的ステップを踏めるかもしれません。

アルフォンソ：もしあなた方が、古典的な記号処理AIが未来の主流になるとは思っていないのなら、なぜ理想的な論理エージェントについて話し続けるのか理解できません。

ベス：なぜなら、形式論理、証明論、意思決定理論には、すでに大量の洗練された数学的道具があるからです。人々は長い間、形式体系の中で何が証明でき、どのような意思決定規則がどの行動を選ぶのかを研究してきました。私たちは、その既存の数学を活用して、理想的なエージェントがある規則に従ったとき、どこで推論に失敗するのかを正確に述べることができます。現実的なニューラルネットワーク、変化する内部表現、有限の計算資源、複雑な環境をすべて含むAGIについて、最初から直接語ろうとすれば、そのシステムが明らかに奇妙な振る舞いをしないということすら証明できません。あまりにも多くの要素が入ると、どちらの方向にも明確なことを述べるのが不可能になるからです。私たちの現在の理解は、そこまで達していません。

アルフォンソ：わかりました。同じ系統でもう一つ質問です。なぜMIRIは、まだ証明されていない数学的命題へ確率を割り当てる研究(Logical Induction)を支援しているのですか。そもそもそれがAIと何の関係があるのかさえわかりません。抽象数学の奇妙な脇道の問題に見えます。

ベス：それはむしろ……これまでの私たちの調査のいくつかの地点で、限られた計算時間しか持たないエージェントが、まだ証明も反証もできていない論理命題や、完全には実行していないプログラムの出力について、どのように信念を持つべきかという問題にぶつかったのです。この問題が、私たちの数学の中で何度もブロック点として現れました。そこで分岐して、それを明示的に解析し始めたのです。これは、論理的には真か偽かが決まっていても、有限の推論主体には答えがまだわからない場合の純粋数学に関するものなので、私たちはそれを「論理的不確実性(Logical Uncertainty)」の問題と呼んでいます。この問題を調べる方法の一つは、多数の単純な予測戦略を市場のトレーダーのように競わせ、論理命題の価格を少しずつ更新して、一つの確率評価を作ろうとするものです。そして、推論と計算が進むにつれて、その確率が体系的な矛盾を減らし、証明可能な命題については1へ、反証可能な命題については0へ近づいていく、といった話をします。少なくとも、それは一つのアプローチです。

アルフォンソ：将来のAGIが、自分の行動を選ぶときに、「ああ大変だ、この数学的命題に割り当てる確率がまだ十分に収束していない。もっと多くの仮想トレーダーを走らせる方法さえあれば」などと言っている姿は、想像しにくいです。将来の計算機は、そのくらいの確率計算なら、すでにかなりうまくやってくれると思います。

ベス：ここでもまた、あなたは私たちが今やっている仕事と、将来のAGI設計への含意との間に、あまりにも一直線の線を引こうとしています。AGI設計がほとんどうまくいくが、AIが論理命題の確率を十分速く計算できないので、より高速なアルゴリズムだけあればアラインメントできる、と私たちが考えているわけではありません。これは、有限のエージェントが自分自身、他のプログラム、自分より賢い後継システムについて推論するための、複数の基本概念に関わるかもしれない基礎的な数学研究です。私たちが、人間の価値に沿ったまま自己改善するAGIを描こうとするとき、混乱し、行き詰まります。その混乱の一部は、計算結果をすべて演繹できない主体が、不確実なまま合理的に判断する方法を説明できないことに由来していると考えているので、私たちはその混乱を解消しようとしているのです。

アルフォンソ：これは疑わしいほど数学の哲学の問題に聞こえます。そして私は、哲学研究によってAGI設計が進歩するとは思いません。哲学という分野は停滞した泥沼です。一部の哲学者はいまだに、機械が本当の知能や意識を持つことは不可能だと信じています。彼らは、心は物理的な計算とは根本的に異なるため、機械では実現できないと言っています。それは明らかに馬鹿げています。AGI設計は工学上の問題であり、進歩は技術者によって達成されるでしょう。

ベス：AGI設計が哲学者ではなく技術者によって行われることには同意します。また、哲学一般に対するあなたの苛立ちの一部も共有しています。そのため私たちは、実際に答えを持つ可能性が高い、明確に定義された数学的問題に取り組んでいます。たとえば、完全に記述された単純な環境で、理想化されたエージェントが、同じ目標を持つ後継エージェントを正しく承認できる条件は何か、といった問題です。

そのためにはしばしば、新しい数学的枠組みを発展させる必要があります。たとえば論理的不確実性の場合、すべての論理的帰結を即座には計算できない主体が、論理命題に時間とともに変化する確率を割り当てる方法を発展させています。新しい数学的枠組みの開発を「哲学的」と呼びたいなら、そう呼んでも構いません。しかしその場合には、それが「機械に本物の心が宿るかについて思弁する」タイプの哲学とは非常に異なる種類の哲学であり、私たちが常に新しい数学的枠組みや道具を発展させようとしていることを覚えておいてください。

アルフォンソ：では、公共善の観点から見て、もしあなた方がこの論理的不確実性の問題を解決したなら、どんな良いことが起こりうるのですか。

ベス：主には、私たちの混乱が減り、研究がブロックされなくなり、人類がいつか実際に高度なAIを安全に使えるようになることです。もっと具体的にしようとするなら——実際の具体的解決を知らない限り、それは難しいのですが——私たちは、もう少し現実的なエージェントについて語れるようになるかもしれません。なぜなら、エージェントがすべての論理的帰結を即座に知っている、という仮定をやめた瞬間に、私たちの数学が破綻することがなくなるからです。私たちの数学は、完成済みの完全な信念体系だけでなく、有限の時間の中で変化していく信念について語れるようになるでしょう。

アルフォンソ：AGIが持つ信念を正確に記述するのですか。それこそが、私があなた方のプロジェクト全般に抱いている主要な問題につながります。私は、将来のAGIが、絶対的で完全な精度で解析でき、人間による監督の必要なしに、完全に予測された思考過程に基づいて安全に行動するようなものになるとは思いません。それは、現実の機械学習がどう動くかをまったく知らない数学者たちが、すべてを完全に計算したがっているだけに見えます。現在のニューラルネットワークを見てください。同じ入力でも微妙な文脈の違いで振る舞いが変わり、学習過程にも偶然性があります。私たちは動かしながら監督し、必要に応じて修正するしかないでしょう。

ベス：数学的に明確な信念について話したとき、私が意味していたのはそういうことではありません……。いいですか、たとえ私たちが論理的不確実性(Logical Uncertainty)について満足のいく理論を作れたとしても、AGIが学習中に見るすべてのデータや、運用中に受け取るすべての入力、その内部状態の推移を、事前に正確に予測しようとするのは無益だという点には同意します。もっとも、括弧付きで言えば、システムの能力が十分に高くなると、個々の行動は予測しにくくなっても、そのシステムが自分の目標を達成するだろうという点では、むしろ予測しやすくなるかもしれませんが——。

アルフォンソ：なぜですか。

ベス：その話は今は脇に置きましょう。私たちはどちらも、学習中や現実環境でのAGIの内部状態を、データや外乱などのために正確に予測するのは難しい、という点では一致しています。そしてもちろん、初期状態と学習過程を正確に予測できなければ、後のすべての行動も正確には予測できません。ですから、その通りです。提案は、AGI設計があまりに完璧なので、ちょうど正しい目的関数で学習させたら、その後人間が何もしなくてもよい、というものでは絶対にありません。エージェントの数学を研究する目的は、AGIの正確な内部状態や行動を、すべてのマイクロ秒について事前に予測したいからではありません。

アルフォンソ：ではなぜ、予想外の出来事も、文化の違いも、曖昧な人間の指示もある、豊かで複雑な現実世界を記述するには単純すぎる純粋数学にこだわるのですか。

ベス：実際のAGIが黒板上の単純な方程式ではないというのは本当です。実際のニューラルネットワークの構造、学習データ、実装の詳細には、数学的にコンパクトな特徴づけを持たないさまざまな側面があるというのも本当です。MIRIが行っていることは、すべてのAI技術者にとって、いつの時代にも正しい数学化の程度だというわけではありません。それは、私たちが今使うべき数学なのです。少なくとも私たちはそう望んでいます。

分野の理解を漸進的に構築していくためには、その帰結を十分正確に特定でき、人々が共有された枠組みの中でシナリオを分析できるようなアイデアについて語る必要があります。ある人が「シナリオXでは、設計YはZをすると思う」と言い、別の人が「いや、シナリオXでは、Yは実際にはWをする」と言い、最初の人が「しまった、その通りだ。では、Yを変更してZをさせる方法はあるだろうか」と返せるくらいの精密さが必要です。

この研究段階で物事を現実的に複雑にしようとすると、残るのは言葉による空想だけです。誰かがAGI設計に入れるべきだと考える、報酬モデル、監視器、停止ボタン、討論、フィードバックなどの巨大なフローチャートを持っていて、私たちが、もっともらしい目標で学習されたAIが必ずしも人間の望む結果をもたらすわけではない理由を説明しようとすると、彼らはただ「私のAIはそんなことをしない」と答えます。彼らのアイデアには十分な曖昧さ、伸縮性、不十分な仕様があるので、誰にも自分が間違っていると証明されないという安全地帯を達成してしまっているのです。

そのようなやり方では、集合的知識の体系を漸進的に築き上げることは不可能です。

目標は、エージェント、目標、推論、自己改変について形式的に議論するために使える、道具やアイデアのライブラリを作り始めることです。直観的にはもっともらしく見えるアラインメント案を形式化し、分析するための重要な道具の中には、まだ数学で表現されていないものもあります。そして当面はそれで構いません。それでも私たちは、重要なアイデアを数学的に明晰な形で表現する方法を、可能な限り探そうとします。それは、数学が整っていて権威があるからではありません。それは、AIアラインメントについての議論を、「そうならない」「いや、そうなる」という水準を超えたものにする継続的プロジェクトの一部なのです。

アルフォンソ：それでも私は、あなた方が数学的な安心感という暖かく心地よい毛布に手を伸ばしているような印象を受けます。しかしそこは、数学的安心感が適用される領域ではありません。私たちは、AGIが絶対確実に人間の価値に従い、何も悪いことが起きないという数学的確信を得ることはできません。そうである以上、数学を使ってAGIについて絶対的保証を得られるかのように振る舞っても意味がありません。

ベス：信じてください。MIRIがどんな数学を得たとしても、私はAGIについて「安心」などしません。もちろん、現実の物理システムについて数学的保証を得ることはできませんし、どんな経験的命題にも確率1を割り当てることはできません。

アルフォンソ：それでもあなた方は、定理を証明することについて語っています。たとえば、ある形式的エージェントが自己改変を繰り返しても、その目標を保ち続けることを証明する、といった具合に。

ベス：形式的エージェントについて定理を証明したとしても、現実のAGIが実際に何をするのかについて、心地よく確信できるようには決してなりません。しかし、完全に記述された単純な環境では、あるエージェントが自己改変後も人間の意図した目標を保つ、という定理を証明できるなら、そこに監視、修正、停止などの工学的な仕組みを加えて、現実世界でも実際に望ましい結果をもたらせるかもしれません。100%の確率ではありません。しかし、ゼロより大きな確率ではあります。

私たちの仕事の目的は、現在のアラインメント案を、成功確率99%から100%へ上げることではありません。現在私たちがいる、およそ0%の成功確率という状態を超えることです。

アルフォンソ：0%ですって?!

ベス：クロムウェルの規則は別として、はい、0%です。「人間を幸福にせよ」「人間の意図に従え」というもっともらしい目標を与えて、その方向へAIを学習させるだけでは、人間の望む未来には至りません。

（※クロムウェルの規則とは、経験的な出来事に確率1や0といった極端な値を割り当てるべきではない、という規則です。そのため、ここでの0%は厳密な0%ではなく、「実質的に0%」を意味します。）

アルフォンソ：目標を直接書き込む方法がうまくいかないなら、将来のAGI技術者たちは実際にはそんなことをするほど愚かではないと思います。彼らは、人間が今口にする言葉をそのまま目的関数にするのではなく、人間の行動から選好を学び、人間に質問し、人間が十分な情報を得て長く考えたなら何を望むかまで推測して、その発展した価値を目標にするでしょう。あなた方が、そのような明白なアイデアを考慮せずに、この問題について長く語ってきたのではないかと少し心配になります。

ベス：その方向のアイデアは非常に早い段階から検討してきました。そして私たちは、その方向だけではアラインメント問題全体は解けないとかなり確信しています。

アルフォンソ：では、人間が継続的にフィードバックを与え、必要ならAIを停止し、方針を修正できるようにしたらどうですか。そのクラスのアラインメント案のどのバージョンも、何を試しても失敗することを証明できますか。

ベス：あなたが、それによってAIが人間の価値に沿った結果へ至ると考える過程を、簡単に描けますか。

アルフォンソ：AIが人間の価値を学び、人間に協力し続けるのです。

ベス：もう少し詳しくお願いできますか。

アルフォンソ：いいえ。現実世界では人間の価値は複雑で変化しますし、私たちは無限の計算資源を持っているわけではなく、現実のAIは完全な期待効用最大化エージェント(Expected Utility Maximizer)ではないからです。

ベス：あなたの提案の単純化版が、どのように人間のフィードバックを受け取り、どのように目標を更新し、どのように望ましい行動を選ぶと考えるのかを描けますか。そうすれば、あなたのアイデアがどのような仮定を必要としているのかを検討できます。

アルフォンソ：私は、あなた方がAGI設計について提案している一般的方法論を信じていないだけです。私たちは人間をループの中に置き、動かしながらフィードバックを与え、AIの振る舞いを監視し続けます。方針がずれたら、元に戻るように学習させ直します。

ベス：……私たちは実は、標準的な運用後の監督、停止装置、目標修正は、AIの能力が十分に高くなると機能しなくなるかもしれないと少し心配しています。誤った目標を持つシステムには、その目標の達成を妨げる停止や変更を回避しようとする手段的な誘因が生じるかもしれません。つまり、システムが人間より戦略的に優位になると、実際にはあまり方針を修正できないかもしれません。すでによい方向へ向かっているなら細かな修正はできますが、最初から目標を取り違えていた場合、現在のモデルを再学習させるように、単純に元へ戻すことはできないでしょう——。

アルフォンソ：なぜできないのですか。

ベス：その話題にも入れます。しかし、たとえ人間の修正を受け入れるAIの単純化モデルを仮定したとしても、その単純化されたAIが、人間のフィードバックを受け、能力を増しながら、どのような段階を経て人間の価値に沿った結果へ至るのかを説明することは、この議論を前進させる重要な一歩です。超人的なAIのアラインメントは、通常のAIを作ることと比べてもなお、異常に困難な領域だと私たちは予想しています。そして通常のAIを作ること自体も、予想外の失敗をすることで有名なほど難しい問題です。すべてが整然として数学的でなければならない、というわけではありません。しかし全体としての困難さは非常に大きいので、「人間をループの中に置く」といった提案において、中核となるアイデアにある程度の堅さがなければ、それはランダムな目標を指定していることと同じになります。

自分のアイデアがうまくいくかどうか確かにはわからないが、うまくいくかもしれないと感じる。そのアイデアには、もっともらしく聞こえる要素がたくさんあり、自分としては、それがどのように失敗するのかを誰も納得できる形で説明できていないように感じる。そのような場合、現実には、その提案が超人的なAIを人間の価値に沿わせる確率は、およそ0%です。

あるアイデアが極めて堅固で、明らかによく理解されており、良好な条件下ではその提案によってAIは間違いなく人間の価値に沿うはずだと感じられるなら、おそらく最良条件下では、成功に対して85%程度の主観的確信を割り当てるべきかもしれません。その近辺です。

アルフォンソ：つまり、不確実性は自動的に失敗を意味するのですか。正直に言って、これは少し偏執的に聞こえ始めています。

ベス：私が伝えようとしている考えは、おおよそ次のようなものです。「あるアラインメント案が原理的に機能するはずである理由を厳密に推論できるなら、それは現実でも機能するかもしれない。しかし、それ未満なら、現実では確実に機能しない」。

私はあなたに、経験的成功の絶対的な数学的証明を出せと求めているのではありません。私が求めているのは、あなたのアラインメント案の単純化版がどのように動きうるのかについてのスケッチに近いものです。それは、誰かが実際にそれが何をするのかを明らかにしようとしたり、失敗モードを特定しようとしたりするたびに、あなたが「いや、そういう意味ではなかった」と戻ってくることができない程度には、意味が定まっている必要があります。

これは、どんなアイデアも私のフィルターを通過できないようにするために私が課している、不合理な要求ではありません。これは、この分野で集合的進歩に貢献するために、私たち全員が越えなければならない主要な基準です。そして、その概念的基準さえ通過できないアラインメント案が、超人的なAIを人間の価値に沿わせる確率は、およそ0%なのです。

終わりに

The Rocket Alignment Problemの中心的な主張は、「MIRIの形式研究が、そのまま将来のAGIの設計」というものではありません。

MIRIの主張は、現在の私たちは、AGIをどう作るか以前に、「目標」「最適化」「自己改変」「不確実性」「人間による修正を受け入れること」といった基礎概念について混乱しており、その混乱を残したままでは、アラインメント計画を記述することも、どのように失敗しうるかについて共通の枠組みで解析することもできない、というものです。

少なくとも、この文章で説明されているAgent Foundations系の研究では、完成したAGIの設計を直接提示するのではなく、まず単純化された問題を通して、アラインメントについてデタラメを言わずに考えるための道具を作ろうとしていました(Deconfusion研究と言われています)。ロケットを作る際に、月面着陸船を作る前に、万有引力や軌道、微積分に相当するものを構築しようとしていました。

参考