以下は、Eliezer Yudkowsky「The Rocket Alignment Problem」（MIRI, 2018）の日本語訳（訳：SafeSingularity）をAGI Hubがnoteに掲載した記事の全文です。英語の原文はMIRIのサイト（intelligence.org）にあります。原文（note）はこちら。

著者 SafeSingularity

Yudkowskyによる、 The Rocket Alignment Problem(ロケットアラインメント問題)の和訳記事です. The Rocket Alignment Problemでは、Yudkowskyが、アラインメントの難しさやMIRIの研究の意義を説明するために、アラインメント問題がロケットの制御問題に例えられています.

The Rocket Alignment Problem - Machine Intelligence Research Institute_The following is a fictional dialogue building off of AI Alig_ _intelligence.org_https://intelligence.org/2018/10/03/rocket-alignment/

簡単な解説

Yudkowsky、MIRIとは？

Yudkowskyは、超知能AIが人類を絶滅させるリスクについての議論の創始者です.元々は「超知能ならば何が倫理的かわかるから倫理的になるはずだ」との考えから超知能をできるだけ早く作ることを目的に活動していましたが、後に考えを改め、「AIをフレンドリーにする」ための研究をするようになりました.この問題は後に「AIアラインメント問題」と名を変え、AIラボなどでも度々議論されるものになりました.

(とはいえ彼の問題意識は、「人類が全滅する」というものだったので、「フレンドリーなAIを作る」という表現はいささか抑制的すぎるようにも思えます)

この研究のために作られた機関がMIRI(Machine Intelligence Resaerch Institute：機械知能研究所)です.MIRIは、研究を主軸としていましたが、2020年頃から、研究が間に合う見込みはほとんどないとの判断から、コミュニケーション(：AIによる絶滅リスクを訴える活動)に主軸を移しました.

Yudkowsky、そしてMIRIの、「AIが人類を滅ぼす」という危機意識は、去年コミュニケーションの一環として書籍にまとめられ、出版されました.日本語版も今年4月に出版されました.

If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All (English Edition)_amzn.asia_ _1,763 円_ (2026年06月24日 15:53時点 詳しくはこちら) Amazon.co.jpで購入するhttps://amzn.asia/d/08Sf7AC6

超知能AIをつくれば人類は絶滅する_amzn.asia_ _2,640 円_ (2026年06月24日 15:10時点 詳しくはこちら) Amazon.co.jpで購入するhttps://amzn.asia/d/07qf5JfF

原文の目的

Yudkowskyの率いるMIRIは、外から見ると非常に意義が理解しにくい問題を研究しています.

例えば、Decision Theory(：自分の行動を推論できる存在がいる時にどういう行動をしたらいいのか)やLogical Induction(：有限の計算資源でどのように信念に確率割り当てをしたらいいのか)といった問題を研究しています.

なので、Yudkowskyたちは頻繁に、「MIRIの研究が一体どうAIをアラインメントするのに役立つというんだ」という批判を受けてきました.それらに応えるために、アラインメント問題をロケット(スペースプレーン)の制御問題に例えて、研究の意義を説明しようとしたのがThe Rocket Alignment Problemです.また、現在のアラインメントがいかに解決に遠いのかを、わかりやすく説明しようとしたものでもあります.

(要するに、AIをアラインメントするための具体的な方法を研究しているのではなく、将来の研究者がAIをアラインメントするための研究を行うのに必要な基礎的なツールを作ろうとしているのだ、ということです)

The Rocket Alignment Problemでは、「MIRIの研究の意義は何なのか」という問い以外に、

などにも、ロケットの例えを用いて応答しようとしています.

(訳文での応答の順番通りにリストアップしたので、どのように応答されているのか、読みながら是非考えてみてください)

設定

スペースプレーンの開発が進行していて、工学的にはかなり発展していますが、万有引力といった基本的な法則の理解が欠けている世界(それどころか、天動説が支持されています)で、MIRIに対して批判的なアルフォンソと、MIRIに勤めているベスが会話をしています.

(この設定は、現実世界で、AIの開発自体は非常に進んでいるが、AIがなぜ上手く機能するのかといった基本的な理論の理解が欠けていることに対応しています)

この世界のMIRIは、「ロケットを月に送れない」(現実での AIが人類を滅ぼす に対応)という問題意識を持っており、ロケットを月に送るための研究をしています.

ロケットアラインメント問題

アルフォンソ: こんにちは, ベス. 最近, 「スペースプレーン」が都市攻撃に使われるとか, あるいは天界に住む悪意ある霊に取り憑かれて, 自分を作った技術者たちに反旗を翻すかもしれない, といった憶測をよく目にします.

私はそうした憶測にはかなり懐疑的です. 実際のところ, 飛行機が今後100年以内に成層圏の気象観測気球ほどの高度にすら到達できるようになるのかについても, 少し懐疑的です. ただ, あなた方の研究所が, 悪意ある, あるいは危険なスペースプレーンという潜在的問題に取り組もうとしていて, それを現代における重要な活動だと考えていることは理解しています.

ベス: それは……私たち「意図的ロケット工学数学研究所(Mathematics of Intentional Rocketry Institute)」, つまりMIRIでは, まったくそういう言い方はしません.

悪意ある天界の霊の問題は, ニュース記事がこぞって取り上げているものです. しかし私たちは, 本当の問題はまったく別のところにあると考えています. 私たちが心配しているのは, 現代のロケット論評ではほとんど見過ごされている, 難しく理論的に挑戦的な問題です. 私たちは, ロケットを空に見えている月の位置へ向けて発射ボタンを押しても, そのロケットは実際には月に到達しないのではないか, と心配しているのです.

アルフォンソ: 強風の中でスペースプレーンの飛行を安定させるための翼を設計することが非常に重要だ, ということは理解しています. それは重要なスペースプレーン安全研究であり, 誰かがやる必要があります.

しかし, もしあなた方がそういう安全研究に取り組んでいるのなら, 現代の航空機技術者たちと密接に協力し, 翼の設計を実際に試験して, それが本当に有用であることを示すものだと思います.

ベス: 空力設計は, 安全なロケットにとって重要な要素です. そしてロケット科学者たちがこうした問題に取り組み, 安全性を真剣に考えていることを, 私たちはとても喜ばしく思っています. ただ, それはMIRIが焦点を当てている種類の問題ではありません.

アルフォンソ: では, 何を懸念しているのですか. スペースプレーンが悪意ある人々によって開発されることを恐れているのですか.

ベス: それは, 今私たちが心配している失敗モードではありません. 私たちがより心配しているのは, 現時点では, ロケットの機首をどう向ければ月に行けるのか, あるいは任意に指定した天体上の目的地へ行けるのかを, 誰も説明できないということです. Googleであれ, アメリカ政府であれ, 北朝鮮であれ, どこがロケットを打ち上げるのかは, 私たちの観点からすると, 月面着陸の成功確率に実用上の違いをもたらしません. なぜなら, 今のところ誰も, どんな種類のロケットであれ, それをどこかへ向ける方法を知らないからです.

アルフォンソ: よくわからないのですが.

ベス: 私たちが心配しているのは, たとえロケットを月に向け, ロケットの機首が空の月に明らかに一直線に揃っていたとしても, そのロケットは月へ行かないということです. 地球から月へ至る現実的な経路がどのようなものなのか, 私たちにはまだわかっていません. しかも, それはあまり直線的な経路ではないかもしれず, ロケットの機首を月へ向けることをそもそも含まないかもしれない, と私たちは疑っています. 私たちは, 次にすべき最重要のことは, ロケットの軌道についての理解を前進させ, 私たちが「ロケット・アラインメント問題」と呼び始めたものについて, よりよく, より深く理解することだと考えています. 他にも安全上の問題はあります. しかしこのロケット・アラインメント問題は, おそらく総作業時間が最も長くかかる問題なので, 最も緊急なのです.

アルフォンソ: ふむ, それは大胆な主張に聞こえます. 地球と月の間に, スペースプレーンが衝突してしまうような見えない障壁があると考える理由があるのですか. あるいは, 地球上よりもずっと強い風がここから月までの間に吹いているかもしれない, と言っているのですか. どちらも備えておく価値はあるかもしれませんが, どちらもありそうには思えません.

ベス: 見えない障壁がある可能性が特に高いとは思っていません. また, 天上の領域で特に風が強いとも思っていません. 実際にはむしろその逆です. 問題は単に, 地球から月へ到達するために, 乗り物が現実的に取りうる軌道を, 私たちがまだ描けないということです.

アルフォンソ: もちろん, 実際の軌道を描くことはできません. 風や天候は予測不能すぎます. それでも, あなたの主張は強すぎるように思えます. 単にスペースプレーンを月へ向け, 上昇し, 必要に応じてパイロットが調整すればよいのではありませんか. なぜそれでうまくいかないのでしょうか. 月に向けられたスペースプレーンがそこへ行かないことを証明できますか.

ベス: その種のことを証明できるとは思っていません. 問題の一部は, 大気摩擦や他の天体の運動などを考慮に入れると, この領域では現実的な計算が極めて困難になることです. 私たちはこの領域で, 大幅に単純化した問題をいくつか解こうとしてきました. たとえば, 大気は存在せず, すべてのロケットは完全な直線運動をすると仮定する程度のものです. そのような非現実的な計算でさえ, もっと複雑な現実世界において, 単にロケットの機首を月へ向けても, そのロケットは月に到達しないだろうということを強く示唆しています. つまり, 現実世界がより複雑であるという事実は, 月へ行くことを楽にしてくれるわけではまったくありません.

アルフォンソ: わかりました. あなた方がやっているというその「理解」の仕事を少し見てみましょう……

ふむ. あなた方が取り組もうとしている数学について読んだ限りでは, それが月と何の関係があるのか, 私にはわかりません. スペースプレーンのパイロットが月を正確に目標設定できるようにするには, 月面望遠鏡を覗き, 月が具体的にどのような姿をしているのかを研究して, パイロットが着陸すべき地形上の特定の特徴を識別できるようにするべきではありませんか.

ベス: 私たちの現在の理解段階は, 詳細な月面地図を次の研究目標にするには, あまりにも粗すぎると考えています. 着陸のために, どのクレーターを狙うかという段階にはまだ進んでいません. 現時点では, 私たちは何も狙えません. もっとこういう話です. 「直線運動するロケットではなく, 曲がったロケット軌道について数学的に語る方法を見つける」. 今のところ, 現実的に曲がる軌道ですらありません. 私たちはまず, そもそも直線から抜け出そうとしているだけなのです——

アルフォンソ: しかし地球上の飛行機は常に曲線を描いて動いています. 地球そのものが曲がっているからです. 将来のスペースプレーンも, 曲線を描いて動く能力を持つと期待するのは妥当でしょう. もしあなた方の懸念が, スペースプレーンは直線にしか動かず月を外してしまうというもので, ロケット技術者に曲線を描くロケットを作るよう助言したいということなら, それは誰の時間の使い方としてもあまり良いものには思えません.

ベス: あなたは, 私たちが今取り組んでいる数学と, 将来実在するかもしれない実際のロケット設計との間に, あまりにも直接的な線を引こうとしています. 現在のロケット案がほとんど正しく, あと一つか二つ問題を解けばそれが動く, という話ではありません. ロケット・アラインメント問題の解決から誰もが隔てられている概念的距離は, それよりずっと大きいのです.

現時点では, 誰もがロケット軌道について混乱しています. 私たちはその混乱を減らそうとしています. 次にやるべきことはそれです. 現在の私たちの数学論文が語っている通りにロケットを作るよう, ロケット技術者に急いで助言しに行くことではありません. 少なくとも, なぜ地球は太陽に落ち込まないのか, というような極めて基本的な問いについて混乱しなくなるまでは.

アルフォンソ: 地球が近いうちに太陽に衝突するとは思いません. 太陽は長い間, 安定して地球の周りを回ってきました.

ベス: 私たちの目標が, 地球が太陽へ落ちるリスクに対処することだと言っているのではありません. 私が言おうとしているのは, 人類の現在の知識が「なぜ地球は太陽に落ち込まないのか」というような問いに答えられないなら, 私たちは天体力学についてほとんど何も知らないのであり, 天上の領域を通って月へ軟着陸するようにロケットを向けることもできないだろう, ということです.

私たちが現在行っている, 理解を改善することを目的とした研究の例として, 「位置のタイル張り問題」と呼んでいるものがあります. 位置のタイル張り問題とは, 大砲から砲弾を発射し, その砲弾が地球を何度も何度も周回し, ちょうどモザイク床の反復タイルのように, 初期座標を「タイル張り」するようにするにはどうすればよいか, という問題です——

アルフォンソ: その話題に関するあなた方の研究については少し読みました. 正直に言って, 大砲から何かを発射することが月へ行くことと何の関係があるのか, 私にはわかりません. 率直に言えば, それは「古き良き宇宙旅行」に非常によく似ています. それがうまくいかないことは誰でも知っています. ジュール・ヴェルヌなら, カプセルを大砲から発射して地球の周りを旅することが可能だと考えたかもしれません. しかし現代の高高度飛行機研究は, 大砲から物を撃ち出すという発想を完全に捨てています. あなた方が大砲から物を撃ち出す話をしているという事実は, あなた方がこの1世紀の航空機設計における革新に追いついておらず, あなた方のスペースプレーン設計がまったく非現実的になることを示しているように思えます.

ベス: ロケットが実際に大砲から発射されるわけではないことは, 私たちも知っています. 本当に, 本当に知っています. 現代の大砲から発射されたものが脱出速度に達することは決してない理由についても, 私たちは熟知しています. 私は以前, 大砲ベースの宇宙旅行がなぜうまくいかないのかを説明する連載記事をいくつも書いています.

(※期待効用最大化AIを使って議論をしていることへの批判に応答していると思われます)

アルフォンソ: しかしあなた方の現在の研究は, すべて, 地球の周りを何度も回るように何かを大砲から発射することについてです. それが, 将来のスペースプレーンのパイロットに月へ行く方法について現実的な助言を与えることと, 何の関係がありうるのですか.

ベス: 繰り返しますが, あなたは私たちが今やっている数学と, 将来のロケット技術者への直接的助言との間に, あまりにも一直線の線を引こうとしています.

もし私たちが, 理想的な大砲が, 理想的な砲弾を, 完全な球形で大気のない地球上で, ある角度と速度で発射したとき, その砲弾が地面に衝突することなく, 私たちが「安定軌道」と呼ぶものに入るような角度と発射速度を見つけられたなら……私たちは天体力学について, 本当に根本的で重要な何かを理解したのかもしれません.

あるいは, そうではないかもしれません. どの問いが重要で, どの研究方向が実を結ぶのかを事前に知るのは難しいのです. できることは, 自分を混乱させていて, かつ次に扱えそうに見える問題を見つけ, 解決を試み, その後に少しでも混乱が減っていることを期待することだけです.

アルフォンソ: あなた方は, 砲弾が地面に衝突することを問題として語り, それを避けて, 砲弾が永遠に飛び続けるようにしたいと言っているのですね. しかし実際のスペースプレーンは, そもそも地面に向けて発射されるわけではありません. そして普通の飛行機の多くは, 地面に衝突しないことに成功しています. 私には, この「大砲から発射されて地面に衝突する」という, あなた方が「位置のタイル張り問題」で避けようとしているシナリオは, 実際のスペースプレーン設計者が心配する必要のある失敗モードではないように思えます.

ベス: 私たちは, 実際のロケットが大砲から発射されて地面に衝突することを心配しているわけではありません. それは, 私たちが位置のタイル張り問題に取り組んでいる理由ではありません. ある意味で, あなたはロケット・アラインメント理論のどれだけがすでに解かれているかについて, あまりにも楽観的すぎます. 私たちは, 現在人々が語っている種類の設計が, ロケットを地面に撃ち込まないようにするなどの特定の残された困難を解決すれば動く, というほどには, ロケットの向け方を理解することに近づいていません. 私たちがどのような進歩を目指しているのかについて, もっとメタな水準で理解する必要があります.

私たちが位置のタイル張り問題に取り組んでいるのは, ある瞬間的速度で砲弾を発射し, それを安定軌道に入れることができるという問題は……実際に本当にロケットを宇宙へ打ち上げ, それを特定の曲線に沿って動かし, 最後に本当に月へ軟着陸させられる人なら, 容易に解けるはずの問題だと考えているからです. だから, 私たちがそれを解けないという事実は憂慮すべきなのです. もし私たちが, 大気のない完全な球形の地球上の想像上の砲弾を扱う, 月打ち上げよりはるかに解析しやすく, はるかに明確に述べられたこの「位置のタイル張り問題」を解けるようになれば, それによって, やがて月打ち上げを描けるような人間になるための, もう一つの漸進的ステップを踏めるかもしれません.

アルフォンソ: もしあなた方が, ジュール・ヴェルヌ式の宇宙大砲が未来の主流になるとは思っていないのなら, なぜ大砲について話し続けるのか理解できません.

ベス: なぜなら, 大砲を狙うための洗練された数学的機械がすでに大量に発展しているからです. 人々は16世紀以来, 大砲を狙い, 砲弾の軌道を描いてきました. 私たちは, その既存の数学を活用して, 理想的な砲弾をある方向に発射した場合, それがどのように地面へ突っ込むのかを正確に述べることができます. もし現実的に変化する加速度を持つロケットについて話そうとすると, そのようなロケットが地球の周りを完全な正方形に沿って進むことはない, ということすら証明できません. なぜなら, 現実的に変化する加速度や現実的な空気摩擦がすべて入ると, どちらの方向にも明確なことを述べるのが不可能になるからです. 私たちの現在の理解は, そこまで達していません.

アルフォンソ: わかりました. 同じ系統でもう一つ質問です. なぜMIRIは, たくさんの小さなベクトルを足し合わせる研究を支援しているのですか. そもそもそれがロケットと何の関係があるのかさえわかりません. 抽象数学の奇妙な脇道の問題に見えます.

(※たくさんの小さなベクトルを足し合わせる とは、ベクトルの積分のこと)

ベス: それはむしろ……これまでの私たちの調査のいくつかの地点で, 時間変化する加速度に関する関数から, 時間変化する位置に関する関数へ移るという問題にぶつかったのです. この問題が, 私たちの数学の中で何度もブロック点として現れました. そこで分岐して, それを明示的に解析し始めたのです. これは離散的な間隔で動かない点の純粋数学に関するものなので, 私たちはそれを「論理的非離散性」問題と呼んでいます. この問題を調べる方法のいくつかは, たくさんの小さく変化するベクトルを足し合わせて大きなベクトルを得ようとするものです. そして, その和が, ベクトルをより小さくし, より多く足し合わせるにつれて, どんどんゆっくり変化するようになり, 極限に近づいていくように見える, といった話をします. 少なくとも, それは一つのアプローチです.

アルフォンソ: 将来のスペースプレーン・ロケットに乗った人々が, 窓の外を見ながら, 「ああ大変だ, 進路を修正するためのベクトルが十分に小さくない. もっと小さいベクトルをもっとたくさん足し合わせる方法さえあれば」などと言っている姿は, 想像しにくいです. 将来の計算機械は, すでにそのくらいはかなりうまくやってくれると思います.

ベス: ここでもまた, あなたは私たちが今やっている仕事と, 将来のロケット設計への含意との間に, あまりにも一直線の線を引こうとしています. ロケット設計がほとんどうまくいくが, パイロットが十分速くたくさんの小さなベクトルを足し合わせられないので, より高速なアルゴリズムだけあればロケットが月に到達する, と私たちが考えているわけではありません. これは, 天体軌道を理解するための複数の基本概念に関わるかもしれない, 基礎的な数学研究です. 私たちが, 動いている月への軟着陸に至る軌道を描こうとするとき, 混乱し, 行き詰まります. その混乱の一部は, 加速度関数から位置関数へ移ることができないことに由来していると考えているので, 私たちはその混乱を解消しようとしているのです.

アルフォンソ: これは疑わしいほど数学の哲学の問題に聞こえます. そして私は, 哲学研究によってスペースプレーン設計が進歩するとは思いません. 哲学という分野は停滞した泥沼です. 一部の哲学者はいまだに, 月へ行くことは不可能だと信じています. 彼らは, 天上界は地上界と根本的に分離しているため到達不可能だと言っています. それは明らかに馬鹿げています. スペースプレーン設計は工学上の問題であり, 進歩は技術者によって達成されるでしょう.

ベス: ロケット設計が哲学者ではなく技術者によって行われることには同意します. また, 哲学一般に対するあなたの苛立ちの一部も共有しています. そのため私たちは, 実際に答えを持つ可能性が高い, 明確に定義された数学的問題に取り組んでいます. たとえば, 大気のない完全な球形の惑星上で, 大砲から砲弾を発射し, それが安定軌道に入るようにするにはどうすればよいか, といった問題です.

そのためにはしばしば, 新しい数学的枠組みを発展させる必要があります. たとえば論理的非離散性問題の場合, 私たちは時間変化する加速度と時間変化する位置の間を翻訳する方法を発展させています. 新しい数学的枠組みの開発を「哲学的」と呼びたいなら, そう呼んでも構いません. しかしその場合には, それが「天上界と地上界について思弁する」タイプの哲学とは非常に異なる種類の哲学であり, 私たちが常に新しい数学的枠組みや道具を発展させようとしていることを覚えておいてください.

アルフォンソ: では, 公共善の観点から見て, もしあなた方がこの論理的非離散性問題を解決したなら, どんな良いことが起こりうるのですか.

ベス: 主には, 私たちの混乱が減り, 研究がブロックされなくなり, 人類がいつか実際に月へ着陸できるようになることです. もっと具体的にしようとするなら——実際の具体的解決を知らない限り, それは難しいのですが——私たちは, もう少し現実的なロケット軌道について語れるようになるかもしれません. なぜなら, ロケットが直線運動するという仮定をやめた瞬間に私たちの数学が破綻することがなくなるからです. 私たちの数学は, 曲線を近似する一連の直線ではなく, 正確な曲線について語れるようになるでしょう.

アルフォンソ: ロケットがたどる正確な曲線ですか. それこそが, 私があなた方のプロジェクト全般に抱いている主要な問題につながります. 私は, 将来のロケット設計が, 絶対的で完全な精度で解析でき, 操舵の必要なしに, 完全に描かれた軌道に基づいて月へ到達できるようなものになるとは思いません. それは, 現実世界がどう動くかをまったく知らない数学者たちが, すべてを完全に計算したがっているだけに見えます. 金星が空でどう動くかを見てください. 普段は一方向へ動きますが, 時々逆行して別の方向へ動きます. 私たちは進みながら操縦するしかないでしょう.

ベス: 正確な曲線について話したとき, 私が意味していたのはそういうことではありません……いいですか, たとえ私たちが論理的非離散性を発明できたとしても, ロケットが地上から離れるまでの間にぶつかる風のすべての軌跡を, 事前に正確に予測しようとするのは無益だという点には同意します. もっとも, 括弧付きで言えば, ロケットが十分高く上がれば, 実際には状況はより穏やかで予測しやすくなるかもしれません——

アルフォンソ: なぜですか.

ベス: その話は今は脇に置きましょう. 私たちはどちらも, 大気中の軌道部分では, 風などのためにロケットの位置を正確に予測するのは難しい, という点では一致しています. そしてもちろん, 初期軌道を正確に予測できなければ, 後の軌道も正確には予測できません. ですから, その通りです. 提案は, ロケット設計があまりに完璧なので, ちょうど正しい角度で発射したら, その後パイロットが何もしなくてもよい, というものでは絶対にありません. ロケット数学を行う目的は, ロケットの正確な位置を, すべてのマイクロ秒について事前に予測したいからではありません.

アルフォンソ: ではなぜ, 時には雨も降るような豊かで複雑な現実宇宙を記述するには単純すぎる純粋数学にこだわるのですか.

ベス: 実際のロケットが黒板上の単純な方程式ではないというのは本当です. 実際のロケットの形状や内部配管には, 数学的にコンパクトな特徴づけを持たないさまざまな側面があるというのも本当です. MIRIが行っていることは, すべてのロケット技術者にとって, いつの時代にも正しい数学化の程度だというわけではありません. それは, 私たちが今使うべき数学なのです. 少なくとも私たちはそう望んでいます.

分野の理解を漸進的に構築していくためには, その帰結を十分正確に特定でき, 人々が共有された枠組みの中でシナリオを分析できるようなアイデアについて語る必要があります. ある人が「シナリオXでは, 設計YはZをすると思う」と言い, 別の人が「いや, シナリオXでは, Yは実際にはWをする」と言い, 最初の人が「しまった, その通りだ. では, Yを変更してZをさせる方法はあるだろうか」と返せるくらいの精密さが必要です.

この研究段階で物事を現実的に複雑にしようとすると, 残るのは言葉による空想だけです. 誰かがロケット設計に入れるべきだと考える歯車や操舵舵の巨大なフローチャートを持っていて, 私たちが, 月を向いたロケットが必ずしも月へ行くわけではない理由を説明しようとすると, 彼らはただ「私のロケットはそんなことをしない」と答えます. 彼らのアイデアには十分な曖昧さ, 伸縮性, 不十分な仕様があるので, 誰にも自分が間違っていると証明されないという安全地帯を達成してしまっているのです. そのようなやり方では, 集合的知識の体系を漸進的に築き上げることは不可能です.

目標は, 軌道について形式的に議論するために使える道具やアイデアのライブラリを作り始めることです. 直観的にはもっともらしく見える軌道を形式化し分析するための重要な道具の中には, まだ数学で表現されていないものもあります. そして当面はそれで構いません. それでも私たちは, 重要なアイデアを数学的に明晰な形で表現する方法を, 可能な限り探そうとします. それは, 数学が整っていて権威があるからではありません. それは, ロケット工学についての議論を, 「そうならない」「いや, そうなる」という水準を超えたものにする継続的プロジェクトの一部なのです.

アルフォンソ: それでも私は, あなた方が数学的な安心感という暖かく心地よい毛布に手を伸ばしているような印象を受けます. しかしそこは, 数学的安心感が適用される領域ではありません. 私たちは, スペースプレーンが絶対確実に月へ到達し, 何も悪いことが起きないという数学的確信を得ることはできません. そうである以上, 数学を使ってスペースプレーンについて絶対的保証を得られるかのように振る舞っても意味がありません.

ベス: 信じてください, MIRIがどんな数学を得たとしても, 私はロケット工学について「安心」などしません. しかし, もちろん, 物理的命題について数学的保証を得ることはできませんし, どんな経験的命題にも確率1を割り当てることはできません.

アルフォンソ: それでもあなた方は定理を証明することについて語っています. たとえば, 砲弾が地球の周りを無期限に回り続けることを証明する, といった具合に.

ベス: ロケットの軌道について定理を証明したとしても, ロケットが実際にどこへ行き着くのかについて, 心地よく確信できるようには決してなりません. しかし, 完全な真空中で発射したならロケットは月へ行く, という定理を証明できるなら, そこにいくつかの姿勢制御ジェットを取り付けて, 現実世界でも実際に月へ行かせることができるかもしれません. 100%の確率ではありません. しかしゼロより大きな確率ではあります.

私たちの仕事の目的は, 現在のロケット照準のアイデアを, 成功確率99%から100%へ上げることではありません. 現在私たちがいる, およそ0%の成功確率という状態を超えることです.

アルフォンソ: 0%ですって?!

ベス: クロムウェルの規則は別として, はい, 0%です. ロケットの機首を月へ向けて発射しても, それは月へ行きません.

(※クロムウェルの規則とは、ある出来事に確率1や0といった極端な値を割り当てるべきではないという規則.この規則のため、ここでの0%は、厳密な0%ではなく、実質0%を意味していると思われます)

アルフォンソ: 直接月を狙う方法がうまくいかないなら, 将来のスペースプレーン技術者たちは実際にはそこまで愚かではないと思います. 彼らは月の現在の空での運動を見越して, スペースプレーンが月までの距離を進んだ日に月が現れる空の位置を狙うでしょう. あなた方が, そのような明白なアイデアを考慮せずに, この問題について長く語ってきたのではないかと少し心配になります.

ベス: そのアイデアは非常に早い段階で検討しました. そして私たちは, それでも月へは行けないとかなり確信しています.

アルフォンソ: では, ロケットがより曲がった軌道を取れるように操舵翼を追加したらどうですか. そのクラスのロケット設計のどのバージョンも, 何を試しても月へ行かないことを証明できますか.

ベス: あなたがそのロケットがたどると思う軌道を, スケッチできますか.

アルフォンソ: 地球から月へ行くのです.

ベス: もう少し詳しくお願いできますか.

アルフォンソ: いいえ. 現実世界には常に変動する風速があり, 私たちは無限の燃料を持っているわけではなく, 私たちのスペースプレーンは完全な直線を動くわけではないからです.

ベス: あなたのロケットの単純化版がたどると思う軌道をスケッチできますか. そうすれば, あなたのアイデアがどのような仮定を必要としているのかを検討できます.

アルフォンソ: 私は, あなた方がスペースプレーン設計について提案している一般的方法論を信じていないだけです. 私たちは操舵翼を取り付け, 進みながらハンドルを回し, 月を窓の中に捉え続けます. 進路がずれたら, 戻るよう操縦します.

ベス: ……私たちは実は, 標準的な操舵翼はロケットが十分高く上がると機能しなくなるかもしれないと少し心配しています. つまり, 天上の領域に入ると, 実際にはあまり進路修正できないかもしれません. すでによいコースに乗っているなら修正はできますが, 最初に失敗していた場合, 飛行機のように引き返すことはできないでしょう——

アルフォンソ: なぜできないのですか.

ベス: その話題にも入れます. しかし, たとえ操縦可能なロケットの単純化モデルを仮定したとしても, その単純化されたロケットが月へ向かう道筋に沿ってどのようなステップをたどるのかを説明することは, この議論を前進させる重要な一歩です. 天体ロケット工学は, 地球上でロケットを作ることと比べてもなお, 異常に困難な領域だと私たちは予想しています. そして地球上でロケットを作ること自体も, たいてい爆発することで有名なほど難しい問題です. すべてが整然として数学的でなければならない, というわけではありません. しかし全体としての困難さは非常に大きいので, 「空の月を先読みして狙う」といった提案において, 中核となるアイデアにある程度の堅さがなければ, それはロケットを虚空へランダムに撃ち込むことと同等になります.

自分のアイデアがうまくいくかどうか確かにはわからないが, うまくいくかもしれないと感じる. そのアイデアには, もっともらしく聞こえる要素がたくさんあり, 自分としては, それがどのように失敗するのかを誰も納得できる形で説明できていないように感じる. そのような場合, 現実には, その提案がロケットを月へ導く確率はおよそ0%です.

あるアイデアが極めて堅固で, 明らかによく理解されており, 良好な条件下ではその提案によってロケットは間違いなく月へ行くはずだと感じられるなら, おそらく最良条件下では, 成功に対して85%程度の主観的確信を割り当てるべきかもしれません. その近辺です.

アルフォンソ: つまり, 不確実性は自動的に失敗を意味するのですか. 正直に言って, これは少し偏執的に聞こえ始めています.

ベス: 私が伝えようとしている考えは, おおよそ次のようなものです. 「あるロケットが原理的に必ず機能するはずだと厳密に推論できるなら, それは現実でも機能するかもしれない. しかしそれ未満なら, 現実では確実に機能しない」.

私はあなたに, 経験的成功の絶対的な数学的証明を出せと求めているのではありません. 私が求めているのは, あなたのロケットの単純化版がどのように動きうるのかについてのスケッチに近いものです. それは, 誰かが実際にそれが何をするのかを明らかにしようとしたり, 失敗モードを特定しようとしたりするたびに, あなたが「いや, そういう意味ではなかった」と戻ってくることができない程度には, 意味が定まっている必要があります.

(※現在のアラインメント計画はすべて非常に雑なもので、ちゃんと定まっていないから論破することも難しいが、機能しないだろう、ということを例えていると思われます)

これは, どんなアイデアも私のフィルターを通過できないようにするために私が課している, 不合理な要求ではありません. これは, この分野で集合的進歩に貢献するために, 私たち全員が越えなければならない主要な基準です. そして, その概念的基準さえ通過できないロケット設計が, 月へ軟着陸する確率は, およそ0%なのです.

終わりに

The Rocket Alignment Problemは、非常に良い例えのように思えます. MIRIの抱いている問題意識、研究の目的などが伝わりやすいように書かれています. MIRIは、研究の目的をdeconfusion(混乱の解消)、すなわち、

making it so that you can think about a given topic without continuously accidentally spouting nonsense
和訳：あるテーマについて考えるときに、うっかりデタラメを垂れ流し続けずに済むようにすること

Nate Soares (MIRI President)

2018 Update: Our New Research Directions - Machine Intelligence Research Institute_For many years, MIRI’s goal has been to resolve enough fundam_ _intelligence.org_https://intelligence.org/2018/11/22/2018-update-our-new-research-directions/

としています.AIアラインメントの分野は、基礎的な概念が十分に整理・定義されていないために、適切な議論ができる段階にないとMIRIは考えているのです.

混乱している状況の例として、1700年代における「無限」が挙げられています.当時の「無限」の定義が極めて曖昧であったために、優れた数学者であっても、無限について考える時に、「6に無限を足してから無限を引いたらどうなるのだろう？」などのナンセンスな問いを立ててしまうことがありました.

「無限」について適切な議論をするために「無限」の適切な定義が必要なのと同じように、「AIの安全性」についての適切な議論のために「Agency(自律性)」や「Optimization(最適化)」の適切な定義が必要だとMIRIは考え、それらの定義の構築などの基礎的な問題に取り組んできたのです.

MIRIの基本的な問題意識や研究の目的について、少しでもこの記事で理解を深めていただけていれば、幸いです.