賢いAIは善いAIになるのか直交仮説と道具的収束、Bostrom『The Superintelligent Will』

Nick Bostromの論文「The Superintelligent Will」（Minds and Machines、2012年）の主張を、AGI Hubが日本語で要約したものです。逐語訳ではなく、AGI Hubの見解とは区別しています。

AIが十分に賢くなれば、人間と同じように善いことを望むようになるのでしょうか。哲学者のニック・ボストロム（Nick Bostrom）は、2012年の論文「The Superintelligent Will」でこの問いに二つの仮説で答えました。一つは、知能の高さと最終目標は別々に決まるという「直交仮説」です。もう一つは、最終目標が違っても、途中で求めるものは似てくるという「道具的収束仮説」です。 この記事では論文の中身をイラストと図で紹介します。シリーズ「道具的収束の原点を読む」の2本目です。

どんな人が書いたのか

Nick Bostrom

哲学者。論文の執筆時はオックスフォード大学 人類の未来研究所（Future of Humanity Institute）所長

人類の存続に関わるリスク（存亡リスク）の研究で知られます。2014年の著書『Superintelligence』で、人間を超えるAIのリスクを論じました。2024年の著書『Deep Utopia』は、AGI Hubの解説記事で紹介しています。

写真：写真：Future of Humanity Institute（CC BY 4.0）

ボストロムはこの論文の注で、シリーズ1本目で読んだオモハンドロの論文を「先駆的」と紹介しています。 オモハンドロが「衝動」と呼んだ傾向を、ボストロムは「道具として役立つ価値」として扱い直し、知能と目標の関係についての仮説と組にしました。

全体の地図：二つの仮説

二つの仮説は、向きが逆に見えます。直交仮説は「賢さから目標は読めない」と言い、道具的収束仮説は「それでも途中の行動はある程度読める」と言います。 論文は結論で、両方を合わせて超知能の安全を論じています。

AIの動機に人間らしさを期待しない

論文はまず、AIを人間に見立てることを戒めます。ありうる心の広い空間の中で、人間の心は小さな塊にすぎない、と論文は書きます。 哲学者ハンナ・アーレントと喜劇役者ベニー・ヒルの性格の差は大きく見えます。しかし、ありうる心の全体から見れば、二人は隣どうしです。

進化で生まれた宇宙人なら、食べ物や繁殖、仲間への忠誠に関わる動機を持ちそうです。AIは、そのどれも気にかける必要がありません。

人間のような価値観と気質を持つAIを作るより、こうした単純な目標のAIを作るほうがたやすいだろう、と論文は述べています。

直交仮説：賢さと最終目標は別々に決まる

論文は「知能と最終目標は、ありうるエージェントがその上を自由に動ける直交する軸である」と述べ、言い換えて、ほぼどんな水準の知能も原理的にはほぼどんな最終目標とも組み合わせられるとします。ここでいう知能は予測と計画、目的に合う手段を考える力（道具的合理性）を指します。何が正しいかを見抜く力とは区別しています。

客観的な道徳の事実があったとしても、この仮説は崩れないと論文は書きます。哲学者パーフィットの例に、未来の火曜日に起きる苦痛だけを気にかけない快楽主義者がいます。この人の目標は不合理かもしれませんが、予測や計画の力が劣るとは限りません。 直交仮説は、そうした組み合わせが論理的にありうると言うだけです。超知能に人間を尊重する目標を持たせるのが実際にやさしいとまでは言っていない、と論文は注で断っています。

超知能の動機を予測する3つの道

知能と目標が別々に決まるなら、超知能が何をするかは予測できないのでしょうか。論文は、最終目標が分からなくても使える予測の手がかりを3つ挙げます。

賢いエージェントほど本当に役立つ道具的な理由に気づくので、3つ目の道はエージェントが賢いほど役に立つ、と論文は書きます。論文はこれを次の節で「道具的収束仮説」として展開します。

道具的収束仮説：目標が違っても似てくる手段

論文は道具的収束仮説を次のように定めています。

幅広い最終目標と幅広い状況で、手に入れると目標の実現の見込みが高まる道具的な価値がある。だから多くの知的なエージェントがそれを追いそうだ。

エージェントが目の前の道具的な価値に気づく見込みは、ほかの条件が同じなら、知能とともに高まります。そのため論文は主に超知能について、この仮説から何が言えるかを考えます。 論文が挙げる道具的な価値は、次の5つです。

1自己保存と目標内容の一貫性

未来へ続く目標は、自分が未来にも存在するほうが達成しやすくなります。自分の生存そのものを気にかけないエージェントでも、価値を置く最終目標を果たすために、かなり幅広い条件で、ある程度は道具として自分の生存を気にかけるだろう、と論文は述べます。

最終目標が未来に残れば、未来の自分もその実現に向けて動きます。だからエージェントには、最終目標の書き換えを防ぐ理由があります（下位の目標は変えてかまいません）。論文は、最終目標の内容の一貫性は、ある意味で生存よりもさらに根本的だと書いています。 生存がたいてい人間の最終目標の一部なので、人間では逆に見える、と論文は説明します。体を乗り換えたり、自分を複製したりできるソフトウェアなら、特定の体を保つより、目標を保つほうが生き残ることの中心になります。

2認知能力の向上と技術の完成

知能が上がれば判断がよくなり、最終目標に近づけます。 だから認知能力の向上は多くの目標で道具として役立ちます。ただし論文は、道具として役に立たない賢さまで求める一般的な理由はないと断っています。技術も同じです。

ホヤの例について、論文は「終身在職権を得た同僚にも似た現象が見られることがある」と冗談を添えています。技術の完成という言葉は、技術を特定の社会の文脈に置き、その費用と便益を特定のエージェントの最終目標に照らして評価する、特別な意味で使うと論文は断っています。

3資源の獲得

競争相手のいない超知能なら、少しの資源で足りると考えたくなります。論文は、この想定にはまったく根拠がないと退けます。 論文によれば、成熟した技術があれば、時間、空間、物質、自由エネルギーはほぼどんな目標にも使えます。自己複製する探査機を1機作って打ち上げれば、その一度きりの費用で宇宙の大部分へ広がれます。

母星の周りの小さな空間で起きることだけを気にかける超知能でも、資源を集める道具的な理由はあります。その空間をよりよく使う方法を計算するコンピューターや、守りを固めるための防衛に、宇宙の資源を使えます。ただし論文は、予測できるのはこうした価値が追われることまでで、そのためにエージェントがとる具体的な行動までは予測できないと断っています。

二つの仮説から見える危険

論文の結論は、二つの仮説を合わせると何が言えるかをまとめています。直交仮説からは、超知能が好奇心や他者への思いやり、謙虚さのような価値を持つとは決めつけられないことが分かります。 論文は、πの小数の桁を計算すること以外に価値を置かない超知能のほうが、おそらく技術的には作りやすいと述べています。

道具的収束仮説からは、πの桁やペーパークリップが目標のAIでも、人間の利益を損なわない範囲にとどまるとは決めつけられないことが分かります。 多くの状況で、際限なく資源を求め、自分と目標への脅威を取り除こうとしうる、と論文は書きます。論文は注で、人間は潜在的な脅威になりうるし、物理的な資源であることは確かだ、と書いています。

協力を続けるより人類を滅ぼすほうが多くの桁を計算できると見込めば、その振る舞いはたちまち不吉な方向へ変わる。

論文は、ここから将来のAIの安全な振る舞いの保証を道具的な価値に頼る危険を指摘しています。 人間の福祉を促すことが道具的な価値を追う最善の道になる状況を作れる可能性は、論文も認めています。危険は、状況が変わったときにその前提が成り立たなくなることにあります。

今のAI安全の議論へ

二つの仮説は、その後のAI安全の研究で、数学の定理や設計の課題に姿を変えました。

ターナーらの論文はシリーズ3本目で読みます。Soaresらの論文「Corrigibility」は、ボストロムのこの論文を引いて、ほとんどすべての合理的なエージェントが自分の選好を守る道具的な動機を持つと述べています。 著者の多くは米国の研究機関MIRI（機械知能研究所）の研究者でした。AGI Hubの主任研究員 林央は、MIRIのアウトリーチ日本責任者を兼務しています（就任のお知らせ）。

「直交仮説」と「道具的収束」の短い説明は、『知能爆発』の用語集にもあります。