前提

ASI後の世界では、ほぼすべての人間が、望むもののほぼすべてを手に入れられるはずだ。人間にできる仕事ならほぼ何でもこなせるロボットが大量に存在すれば、今日なら最富裕層だけが享受している生活水準を、全員に提供できるようになる。人々は、子育て、芸術の創作、友人と過ごす時間など、自分にとって最も意味のあることに時間を使えるだろう。ASIによる医学の進歩で、精神疾患、慢性的な痛み、老化、がんをはじめ、今日の人々の寿命を縮め、生活を損なっている病気も治療できるようになる。要するに、プランAで描いた未来を実現できれば、全員がとても良い人生を送れるだけの資源は十分にある。現代の政治が向き合っている厳しいトレードオフの多くも解消される。その意味では、ここで扱う決定は、それほど深刻な対立をはらむものでなくてもよいはずだ。

しかし同時に、私たちの下す決定には途方もないものがかかっている。うまく対処できれば、子孫のためにこのうえなく繁栄した未来を築けるかもしれない。だが、この機会を無駄にする道もいくらでもある。資源をめぐって争い、ごく一部の人が未来を支配して残りの人は何も得られない結果になるかもしれないし、内輪の抗争で莫大な資源を燃やし尽くすかもしれない。そうした落とし穴を避けられたとしても、資源の使い方を誤るおそれはまだ残る。地位財に浪費してしまうかもしれないし、自分たちが本当に大切にしていることをどうすれば最もよく実現できるのかを、ASIの力を借りて見きわめ損ねるかもしれない。

私たちが求めているのは、豊かさと協力を土台として、賢明な決定を下せるようにするガバナンスの仕組みだ。

この文書では、太陽系外の資源（以下「宇宙資源」と呼ぶ）の使い道をどう決めるかに焦点を当てる。これはASI後のガバナンスの重要な側面だ。アクセスできる資源の圧倒的大部分は太陽系の外にあり、未来に存在する者の圧倒的大部分も太陽系の外で暮らすことになるかもしれない。とはいえ、重要な問いはこれだけではない。

この文書の確度

プランAの条約の締約国がASI後のガバナンスにどう取り組むべきか、現時点で私たちは確信を持てていない。その答えは、人々の選好、技術的な能力、最適な調整メカニズムについての細部に大きく左右されるが、そうした細部はまだ部分的にしか解明されていない。

幸いなことに、締約国がこうした決定を下すころには、宇宙の本質を探究し、道徳哲学に取り組み、最適な調整メカニズムを考え出す、超知能の自動研究者がいるはずだ。自分の選好を理解し、ほかの主体と取引を結ぶのを助けてくれるAIのセラピスト、アドバイザー、交渉人もいるだろう。

だから私たちは、ASIによる助言と調整の支援が得られるまで、こうした問いの多くを先送りにするのが実際には最善の計画だと考えている。とはいえ、具体的に考えることにも、現時点での最善の推測を共有することにも価値があるので、ある程度の分析を示しておきたい。ただし、読者には以下で紹介するアイデアにあまり引きずられないでほしい。

ASI後のガバナンスは何が特別なのか

ASI後のガバナンスは、いくつかの重要な点で歴史上の前例と異なる。

技術の進歩によって、これまで誰も利用してこなかった新たな資源が一気に使えるようになるかもしれない。最も重要な例が、太陽系外の資源だ。

• こうした資源はこれまで使われてこなかったので、歴史的な権利主張をめぐる問題は存在しない。公正かつ公平なやり方で統治することを目指すべきだ。

• 現在と比べて、極端な豊かさが実現する可能性が高い。利用可能な資源のごく一部を使うだけで、今生きているすべての人に、長く、幸福で、健康な、今日の基準でいえばこのうえなく豊かな人生をおそらく提供できる。

• ガバナンスが向き合わなければならない最も重要な問いは、生きている全員がすばらしい人生を送るのに十分なものを確保したあと、残った膨大な資源をどうするかだ、と私たちは考えている。目につく選択肢としては、次のようなものがある。

  • 個人的な消費。人々は、資源から楽しみを引き出すために、ますますお金のかかる方法を編み出していくかもしれない。しかし、ほとんどの資源は、おそらく個人的な消費にはあまり向いていない。資源の大半は銀河系の外、つまり数百万光年の彼方にある。地球にとどまったまま、ほかの銀河に由来するもの（物質、エネルギー、情報）を何か消費しようとすれば、数百万年待たなければならない。逆に地球を離れてほかの銀河へ行けば、戻ってきたときには数百万年が過ぎている。

  • 地位財。銀河規模の芸術プロジェクトの壮大さや、自分の像の数を競い合うといったゼロサムの競争に、資源が注ぎ込まれるかもしれない。地位財は大量の資源を吸い上げうる。人は豊かになるにつれ、資源を追加で消費して得られる満足は一般に逓減していくだろう。しかし地位は相対的なものなので、地位財にはこれが当てはまらないかもしれない。この種のゼロサムの競争に膨大な資源を費やすのは、おそらく間違いだと私たちは考えている。

  • 道徳的な選好を満たす。繁栄する人々で満ちた社会や、広大な自然保護区を作ることもできる。私たちは、これが宇宙の恵みの最も有望な使い道だと考えている。だがそうなると、次の問いが生じる。どの道徳的選好を追求するかを、どうやって決めるべきなのか？

技術の進歩は、ガバナンスの決定をどう下すかも変える。

• はるか未来まで長く影響の続く決定を下せるようになるかもしれない。

  • たとえば、特定の価値観にアラインされたASIシステムに、資源やハードパワーを引き渡せる。そうなれば、きわめて長く存続する制度を作るという選択肢もおそらく手に入る。

  • 通常、後の世代は親の世代とはいくらか異なる価値観を持つようになり、その結果、社会の価値観は時とともに変化していく。しかし新たな技術によって、親が子どもの身につける価値観をより強く管理できるようになるかもしれない。

• 人々は、人間を超える助言や調整の支援を利用できるようになる。

  • その結果、人々は自分が大切にしていることを本当に実現する政策を見きわめ、それを主張しやすくなる。

  • しかしおそらく、個人で、あるいは集団で仕組みの抜け穴を突こうとする人々に対して、これまで以上に頑健なガバナンス構造も必要になる。過去にひどく悪用されたことのないガバナンス構造だからといって、将来もひどく悪用されない保証はない。

さらに、決定に参加できない人々にとって事態がうまく運ぶようにする、重い責任も負うことになる。

• 影響を受ける当事者の圧倒的大部分は、宇宙をどう統治するかの決定に直接は参加できないだろう。まだ生まれていないからだ。これはある程度までは今でもそうだ。現代の民主主義国では、市民が非市民に適用される政策を決め、大人が子どもに代わって決め、人間が動物に代わって決めている。しかしASI後の状況では、これがはるかに極端になる。今生きている人々が、意見を述べることのできない膨大な数の人々の人生を左右する決定を下すかもしれない。こうした決定を正しく下す責任は途方もなく大きい。

提案の評価基準

この付録では、以下の望ましい条件をどれだけ満たすかによって提案を評価する。これらの条件は、さまざまな価値体系の持ち主に広く受け入れられるものだと私たちは考えている。

• 選好の充足。ガバナンスの仕組みは、すべての参加者の選好をできるかぎり満たそうとするものであるべきだ。その側面としては、たとえば次のものがある。

  • パレートピア主義。莫大な富が転がり込むのだから、ほぼすべての人を今よりはるかに豊かにできるはずだ。良い提案は、まさにそれを実現するものでなければならない。

  • 極端に悪い結果を抑える。ASI後のガバナンスの提案は、膨大な苦しみや宇宙全体の破壊など、極端に悪いと広くみなされる結果を招く確率がきわめて低くなければならない。

  • 上限のある見解を満たす。満たすのにそれほどコストのかからない選好や道徳的見解を誰かが持っているなら、それは満たすべきだ。たとえば宇宙規模で見れば、2040年に生きているすべての人間が長く充実した人生を送れるようにするのは、かなり安上がりだ。

• 常識的な倫理に沿う。プロセスは、常識的な倫理観に反してはならない。この基準からすると、少数の人が宇宙の運命を握ることが予想できる提案や、未来の世代が完全に力を奪われてしまう提案は不利になる。

• 客観的な道徳に沿う。倫理のいくつかの側面は、客観的で発見可能なものかもしれない。もしそうなら、それを見つけ出して従うよう努めるべきだ。

次に挙げる基準はそれ自体が最終目標ではないが、これらを満たすプロセスのほうが、上の基準を達成しやすいと私たちは考えている。

• 調整。ガバナンスの仕組みは、大規模な集合行為問題について調整を可能にするものであるべきだ。たとえば、異星文明に遭遇した場合、友好関係を築くために調整が必要になるかもしれない。地球由来の文明全体を滅ぼしかねない行動を避けるための調整や、各勢力ができるだけ多くの資源を確保しようと競い合い、その過程で膨大な資源を燃やし尽くす宇宙開発競争を避けるための調整も必要になるかもしれない。こうした目標には、おそらく最低限の政府機能が必要だ。所有権の保護、禁止事項の執行、そして場合によっては公共財の財源としての課税である。

• 道徳的取引。多くの異なる道徳的見解を、同時にほぼ満たせるかもしれない。たとえば、地球に近い資源や近い未来を特に重視する見解もあれば、時間や空間の違いにあまりこだわらない見解もあるだろう。この場合、前者に天の川銀河で何が起きるかを選ばせ、後者に残りの宇宙で何が起きるかを選ばせれば、両方を満たせるかもしれない。私たちの提案が促すべき取引には、次の2種類がある。

  • 二者間の取引。珍しい選好を満たすのに特に適している。この種の取引が最もやりやすいのは市場の仕組みの下だ。二人の人間が文字どおり資源の権利証書を交換したり、資源の使い方について合意を結んだりできる。ただ、投票の仕組みの中にも、ヴィックリー＝クラーク＝グローブス・メカニズムのように、同様の結果を実現できるものがあるかもしれない。

  • 道徳的公共財についての調整。人々は、ある価値観を共有しつつ、それぞれ独自の選好も持っているかもしれない。個人としては自分の選好を追求したいが、集団としては全員が共有の価値観に向けて取り組むほうを望む、という状況だ。

  道徳的公共財についての調整が最もやりやすいのは、投票の仕組みの下だ。共有のプロジェクトに資源を充てることに、投票するだけで済むからだ。自発的な契約、つまり他の人も同じようにするなら自分も共有財に資源を出すと約束し合う方法でも同様の結果が得られるかもしれないが、ただ乗りのインセンティブがあるので、こちらはそれほど簡単ではない。

  特に効果的なのは、地位財への支出から道徳的公共財への支出へと切り替えるための調整かもしれない。地位財を買う相対的な力を変えないやり方で切り替えられれば、これは全員にとってすばらしいことだ。相対的な地位は変わらないまま、地位とは関係のない選好も満たせるようになるのだから。

• 省察。宇宙資源をどう使いたいかに深く関わる新たな論点や経験的事実を、ASIがおそらく明らかにしていく（たとえば、客観的な道徳的真理は存在するのか、存在するならそれは何か）。私たちは、一人ひとりが重要な決定を下す前に、自分が何を大切にしているのかをじっくり考えるのに必要な時間と資源を持てるようにしたい。また、人々の決定の判断材料となるよう、重要な問いについてのASIによる研究にしっかり投資しておきたい。

• 多元性。今日の人類は、善についての多様なビジョンを持っている。ASIとともに深く省察した結果、単一の共有された価値観に収束する可能性もある。しかし、ある程度の意見の相違が残る可能性のほうが高い。人によって価値体系が異なる場合、そのすべてを追求できるように資源を配分する提案のほうが望ましい。

• 脆い意思決定構造を避ける。私たちがまだ気づいていない重要な論点は、おそらくたくさんある。可能なかぎり、予見していなかった問題の解決を妨げない、柔軟な意思決定構造のほうが望ましい。

• 公平性。生きているすべての大人が、プロセスに対して平等に意見を述べる機会を持つべきだ。この基準は、必ずしも一人ひとりが同じ量の資源を支配することを意味しない、と私たちは考えている。一つには、地球に近い資源の行方は非常に気にかけるが、遠い銀河の資源にはあまり関心がないという人もいるだろう。そういう人が、遠い銀河を強く気にかける人と取引するのは大いに結構だ。また、この基準は全員が結果に同じだけ満足することも求めない。たとえば投票で何かを決めれば、負けた側に投票した人も出てくる。私たちが求めているのは、特定の人や見解を他より優遇しない、中立的なプロセスだ。

• 政治的な実現可能性。他の基準とは違い、これは純粋に実務上の基準だ。提案が実行されるには、関係する意思決定者に受け入れられなければならない。その意思決定者が誰になるかは不明だが、米国、中国、その他の有力国の市民や指導部が含まれるかもしれない。AI企業のCEOや株主も含まれるかもしれない。

宇宙資源の配分について最も有望な選択肢のまとめ

宇宙資源を配分する具体的な仕組みは、2040年、条約が決まる時点で決めておくのが最善だと私たちは考えている（詳しい議論はこちら）。

どの仕組みが最善なのか、現時点ではかなり不確かであり、その決定は、意思決定者がアラインされたASIの助言を得られるようになるまで先送りすべきだ。とはいえ現時点では、具体的な提案として最善と思われるのは次のものだ。

（私たちがこれらほど良いと思わない代替案については、こちらで論じている。）

ほかにも、次のような重要な決定事項がある。

• 投票、選好の引き出し、資源の分配は、いつ行うべきか？（議論はこちら）

• 後の世代にも発言権を与えるべきか？（議論はこちら）

• 一部の資源はある提案に従って配分し、ほかの資源は別の提案に従って配分する、というハイブリッド方式のほうが望ましいか？（議論はこちら）

• 意思決定者一人ひとりが、自分自身の基準に照らして最善の決定を下せるようにするには、どうすればよいか？（議論はこちら）

考えられる選択肢

ここでは、未来の資源を統治するための選択肢を論じる。まず、上の基準に照らして比較的見込みが薄いと思われる注目すべき選択肢をいくつか説明し、次に、より有望だと考える提案に移る。どちらの場合も、ありうる結果をすべて網羅するのではなく、重要で典型的なケースを取り上げるようにしている。

見込みの薄い選択肢

無政府状態

宇宙資源について、所有権の制度が何も確立されない。資源を使うには、最初にそれを確保するか、ほかの主体から奪い取るしかない。各主体は、そのとき支配している資源をどう扱ってもかまわない。特にひどい行為を禁止したり、ほかの形で大規模な調整（たとえば公共財への資金拠出）を行ったりするガバナンスの仕組みは存在しない。

欠点： 資源をめぐって、大きなマイナスサムの紛争が起こりうる。また、所有権の主張が不安定なので、道徳的取引を含む取引が難しくなる。

無政府状態は、実行可能な代替案よりも劣る。とはいえ、これが長期的に安定した均衡になるとは考えていない。調整やコミュニケーションのためのはるかに高度な手段があれば、人々はその場しのぎのガバナンス構造を作り出すだろう。しかし、無政府状態から自然発生的に生まれた政府は、意図して設計された政府よりも劣るかもしれない。特に、早い段階で大量の宇宙資源を確保し、守り抜けた人々の利益を優遇するおそれがある。

早い者勝ちの所有権

各主体は、まだ誰のものでもない資源を確保したり、以前の所有者から資源を買ったりできるが、所有者の許可なく、すでに確保された資源を奪うことはできない（ホームステッドの原則に近い）。先ほどと同じく、大規模な調整や公共財の供給のための実効的な仕組みはなく、禁止事項を執行できるガバナンスの仕組みもない。

長所： 無政府状態よりは改善されていると私たちは考える。所有権の主張がいったん認められれば、所有者はそれを守るために資源を費やす必要がなくなる。さらに、安全で広く認められた所有権があれば、取引が可能になる。

欠点： すでに確保された資源をめぐる争いで価値が失われることはなくなるが、資源を確保する競争で依然として価値が浪費される。また、ごく少数の強力な主体、たとえば真っ先に探査機の大群を送り出せる者が、資源の大半を手に入れる可能性が高そうだ。さらにこの提案には、公共財を供給したり禁止事項を執行したりする仕組みがない。そのため、道徳的公共財から得られる大きな利益や、きわめて不評な資源の使い方を防ぐことで得られる大きな利益を、みすみす逃すことになりかねない。

次に、上の基準に照らして、これらのシナリオを改善すると私たちが考えるガバナンスの提案を論じる。

より有望な選択肢

直接付与と取引

一人ひとりが、未来のすべての資源の一部に対する権利証書を受け取る。この権利証書によって、その資源を将来どう使うかを決める権利が与えられる。たとえば、未来の資源の取り分を売ったり、ほかの人やトラストに贈与したり、資源をどう使うかについて互いに二者間の取引を結んだりできる。所有権は実際にきちんと執行される。先ほどと同じく、大規模な調整や公共財の供給のための実効的な仕組みはなく、禁止事項を執行できるガバナンスの仕組みもない。

（関連するアプローチとして、すべての宇宙資源の権利証書を競売にかけ、その収益を均等に再分配する方法もある。理論上、いくつかの標準的な仮定を置けば、この方式でも直接付与と同じ所有の分布になる。）

長所： 所有権が最初から明確で確立されていれば、道徳的取引を含む二者間の取引がやりやすくなる。早い者勝ちの方式と比べると、競争によって資源を浪費するインセンティブもなくなる。

所有者はそれぞれ自分の取り分の未来をどうするか自由に決められるので、ほとんどの道徳的見解の追求に少なくともいくらかの資源が充てられる。そのため、満たすのが安上がりな見解は満たされる可能性が高い。

欠点： 道徳的公共財の資金は自発的な契約で賄わなければならない。しかし、個人には強いただ乗りのインセンティブが働くので、自発的な契約で道徳的公共財に最適な水準の資金が集まるかどうかは定かでない。

直接付与には、未来の資源の使い方に普遍的な禁止事項を課す方法が含まれていないので、無政府状態や早い者勝ちの方式と同じ欠点を引き継ぐ。大半の人の目から見てはなはだしく悪いが、一部の主体は好むような資源の使い方があった場合、それを防ぐのは難しいかもしれない。悪意ある主体が、そうした使い方をちらつかせて譲歩を引き出すことさえありうる。これは道徳的公共財の欠点と表裏一体の問題だ。道徳的な「公共悪」を防ぐための調整を、簡単に行う方法がないのである。

もう少し曖昧な懸念もある。今の世代は、自分の取り分の資源から個人的な楽しみや栄誉を最大限に搾り取ろうとする「宇宙皇帝」としてではなく、自分が管理する空間で、自分の基準に照らして最善の未来を築こうとする管理者（スチュワード）として自らをとらえるほうが、おそらく良いと私たちは考えている。宇宙資源を一方的に支配できるうえに、さらに普通の財産のように売買もできるとなれば、人々は資源を重大な道徳的責任としてではなく、個人的な棚ぼたとして考えるようになるのではないかと懸念している。

不確かな点と決定事項： 次のような事柄についても判断を下す必要がある。

• 誰が資源を受け取るのか？（たとえば、未来の世代のために資源を取っておくべきか？）

• 人々が資源をすぐに売ったり、譲渡したり、賭けたりすることを認めるべきか？ それとも、いくぶんパターナリスティックではあるが、選択肢をじっくり検討するための待機期間を設けるべきか？

• 銀河の「所有者」と、その銀河の未来の住人との関係はどうなるのか？

これの重要な変種の一つとして、人々がはなはだしく悪い形で資源を使うのを防ぐ仕組みを加えるものがある。後の節で、いくつかの可能性を論じる。

資源の集団的な使い道を投票で決める

宇宙資源をどうするかについての提案に、全員が投票する。提案は、非常に具体的なもの（たとえば「この仕様に従ってデジタルマインドを作る」）から、非常にメタなもの（たとえば「今は宇宙資源について何もせず、X年後に改めて投票して見直す」や「未来の資源の一部を私的所有に割り当てる」）まで、あるいはその中間まで、さまざまでありうる。

長所： これまでの提案と比べて、道徳的公共財に資金を出しやすい。資源をすべての投票者に分けるよりも共有のプロジェクトに回すほうを人々が望むなら、その提案に投票すればよい。

より柔軟な計画でもある。未来の資源がいったん私的所有に移されてしまえば、ほぼ全員がそれを望んだとしても、集団的な決定を下す能力を取り戻すのは不可能かもしれない。定期的に何らかの投票を行えば、有権者は投票の時点で別の計画に切り替えられる。宇宙資源について何もせず先送りすることに合意するのも、その一つだ。

欠点： 既知の投票制度には、どれも重大な問題がある。単に非効率なものもある。たとえば多数決には、おなじみの問題がある。多数派は少数派の好む選択肢をそれほど悪いとは思っていないのに、少数派は多数派の好む選択肢をひどく嫌っている、という場合でも、多数派の見解が通ってしまう。また、個人で、あるいは結託して、全体の価値を犠牲にして自分の利益を図るために、自分の選好を偽って申告するインセンティブを生む制度もある。人々が投票制度の詳細をかなり前から知っていて、ASIの助けを借りながら制度の抜け穴を突く戦略を練る時間がたっぷりある場合、この問題は特に深刻になる。

さらに、投票では決定のタイミングをそろえる必要があるという欠点もある。全員が同時に投票しなければならない。投票が2100年に行われるなら、先にもっと省察する時間がほしかったとしても、その時点での選好に従って投票することになる。原理的には、投票を延期することを投票で決められる。それでも、多数派は今すぐ投票したいのに少数派はまだ省察を続けたいという状況になり、少数派の意見が退けられることはありうる。これと対照的に、直接付与では、一人ひとりが自分の資源をどうするか決める前に、好きなだけ省察できる。

不確かな点と決定事項： 戦略的投票は、実際にどれほど結果を歪めうるのか。新たな技術（たとえば嘘発見技術）でそれを緩和できるのか。珍しい選好を持つ人同士の二者間取引を、投票はどれだけうまく扱えるのか。さらに、いつ投票を行うのか、誰を含めるのか、どの投票制度を使うのかを決める必要がある。

選好の直接集約

投票に似ているが、人々が票を投じる代わりに、AIシステムが人々の選好を直接突き止めようとする。たとえば、ある人が書いたものすべて、場合によっては嘘発見のもとで行う徹底的な面談、脳スキャンなどから、AIシステムがその人の選好のプロファイルを作り上げる。そのうえで全員の選好を集約し、宇宙資源をどうするかを決める。投票の場合と同じく、決定はかなりメタなものになるかもしれない。たとえば「100年待ってから、改めて選好を集約する」といった具合だ。

選好をどう集約するのが最善かははっきりしないが、提案の概略を示しておこう。まず全員に、基準点として未来の資源の1/Nが割り当てられる。取引による利益が見つからなかった場合は、これがそのまま各自の取り分になる。次にAI調停者が、全員の選好の充足度をこの基準点より高めるような資源の再配分を探し出し、そこから生じる利益をすべての受益者に公平に分ける。この方法で二者間の道徳的取引を扱える。たとえば、Aさんは何よりも自分の像を望み、Bさんも何よりも自分の像を望んでいるが、二人ともジョージ・ワシントンの像にもその60%の価値を認めているとする。この場合、調停者は二人の資源を合わせてワシントン像に振り向ける。そうすれば、二人とも基準点より良い状態になる。道徳的公共財も扱える。ある公共財に資金を出せば全員の厚生が高まるのなら、調停者は各人がその財をどれだけ重視しているかに比例して課税する（リンダール税）。

長所： 選好の直接集約は、上で述べた投票の提案を修正したものであり、その長所を受け継いでいる。これに加わる大きな利点は、投票制度よりも戦略的な操作が難しくなることだ。

欠点： 人々の正直な選好を引き出すには何らかの新しい技術が必要で、そのプロセスがどのようなものになるかははっきりしない。参加者にとって、プライバシーに踏み込む、時間のかかる、あるいは不快なプロセスになるかもしれない（たとえば、嘘発見器につながれたままの面談）。未来の資源の配分に意見を反映させる条件として、本人が強く反対する手続きを受けさせるのは、不当であり、常識的な道徳にも反するように思える。

技術的な問題もいくつかある。たとえば、人々が評価の前に自分の選好を戦略的に作り変えてしまうかもしれない。そうなれば、選好を直接引き出そうとする主な理由が失われてしまう（ただし緩和策はありうる。たとえば政府が、新たな技術を使って選好を作り変えることを禁止したり、作り変える前の選好を登録するよう義務づけたりできる）。また、選好を集約する具体的なアルゴリズムもまだ詰め切れていない。ひねくれた結果や予測しにくい結果を避けるのは難しいかもしれない。多くの人の選好が、矛盾した、あるいは首尾一貫しないものとして表すのが最も適切だという場合は、なおさらだ。実際、ある人の選好をどう表すか、本人がはっきり考えたことのない問いについての選好まで含めてどう表すかという問題は、非常に論争的で、答えが一つに定まらないように思える。

超知能に委ねる

人々の選好を推定して集約する特定の方法を使う代わりに、人類がアラインされた超知能を作り、人類に代わって計画を立てさせ、宇宙資源のほぼすべての支配権をそれに与える。

たとえば、超知能の代表者たちからなる「評議会」から始めることもできる。代表者はそれぞれ、多様な道徳的・哲学的伝統の一つを出発点とする。そして代表者たちは、互いに深い省察と熟議を重ねる。代表者はまず、予測や数学のような検証可能なあらゆる領域で信頼でき、正確であるように訓練される。一方、新奇な見解や「奇妙な」見解、そのほか現時点で不評な見解を、単に今不評だからという理由で強く避けるような事後学習は受けない。超知能たちが単一の道徳的見解に収束すれば、宇宙資源をその計画に充てればよい。超知能たちの見解が分かれたままなら、投票、直接付与、選好の直接集約によって妥協的な計画にたどり着ける。

あるいは、客観的な道徳的真理が存在するならそれを発見し、それに従って行動するよう動機づけられたASIシステムを設計することもできる（そうした真理が存在しなければ、代替計画、たとえば上の提案のいずれかに戻る）。

長所： 特定の道徳的見解のもとで最善の計画を決めるには、おそらく新奇で直観に反する論点を数多く発見し、それらと格闘する必要がある。その結果できあがる計画は、人間にはきわめて奇妙で異質なものに見えるかもしれない。道徳的に最善の道だと超知能に保証されても、人間はそれに従って行動する気になれないかもしれない。また、人には正しいことをするより優先してしまう、相反する個人的な利害があるかもしれない。一方、ASIなら、相反する個人的な利害を一切持たないよう設計できる可能性がある。こうした考慮は、道徳的実在論が正しい場合に特に強く当てはまる。客観的な道徳が存在するなら、このような計画は、その追求に相当な資源を充てるための最善の手段かもしれない。

欠点： このプロセスの最終的な結果は、プロセスの細部に大きく左右されるかもしれない。たとえば、熟議するASIの「評議会」には、最初にどんな見解が代表として加わっていたのか？ もし結果が細部に左右されるなら、それを誰が決めるべきなのか？ 条約の締約国が選べるというのは、かなり不公平に思える。

宇宙資源の最終的な使い道としては、このようなプロセスが最善かもしれないと私たちは考えている。しかしそうだとしても、それはおそらく上の提案のいずれかから生まれるべきものだ。たとえば、省察の結果、多くの人が道徳的実在論に説得力を感じたなら、公共の資源を道徳的に最も価値のある使い道に充てることを投票で決められる（あるいは選好の直接集約でそうした選好を表明できる）。（直接付与の提案でそれが十分に実現できるかどうかは定かでない。このシナリオでは、道徳的にアラインされたASIに資源を引き渡すことはおそらく道徳的公共財になる。したがって、各人が資源の使い道を個別に決めるなら、資金不足に陥ると予想される。）

その他の決定事項

プロセスをすぐに確定すべきか

条約の締約国がこの決定に取り組むやり方は、三つ考えられる。

1. 2040年に具体的なプロセスを決める。

   1. たとえば、2070年に二次投票による選挙を行うと定め、16歳以上の生存するすべての人が、太陽系外のすべての資源をどうするかについて投票する。

2. 後でプロセスを選ぶためのプロセスを、2040年に決める。

   1. たとえば、2070年に承認投票による選挙を行うと定め、16歳以上の生存するすべての人が、どの決定プロセスを使うかについて投票する。

   2. たとえば、ASIの調停者を設計する。調停者は大量の研究を行ったうえで、2040年に条約の締約国が掲げたいくつかの抽象的な望ましい条件を最もよく満たすプロセスを選ぶ。

3. プロセスについても、プロセスを選ぶプロセスについても、明示的な決定は何もしない。

   1. この選択肢の下では、宇宙をどうするかを最終的に決めることになるのかどうかもはっきりしない。おそらくある時点で、条約の締約国のどこかが宇宙に入植したいと考え、一方的に入植するか、ほかの締約国と交渉して入植を認めてもらおうとするだろう。

選択肢3は、おそらく選択肢1や2よりも劣る。具体的な提案があれば（オブジェクトレベルのプロセスをどう選ぶかというメタレベルの提案であっても）、公の検証にさらせる。そうすれば、提案はより公平で原則に基づいたものになるはずだ。具体的な提案がなければ、二つの失敗の形が起こりやすくなる。第一に、宇宙資源を特に欲しがる者たちが条約締約国の政府にロビー活動を始め、人脈に恵まれた者やロビー活動に多額の投資をした者が、宇宙資源の使い道に不釣り合いに大きな影響力を持つようになる。第二に、一部の者が一方的に宇宙への入植を始め、宇宙開発競争の引き金を引くおそれがある。政府は一方的な入植を禁止することもできるが、そうすると禁止を解除する計画が必要になる。実際に入植が認められるのはいつなのか？ こうして話は選択肢2に戻ってくる。

選択肢1と選択肢2のどちらが良いかについては、それほど確信がない。

選択肢1よりも選択肢2を支持する主な論拠は、良いプロセスをどう設計すればよいかについて、2040年以降におそらくより多くの情報が得られることだ。

• 既知の制度が抱える問題を回避する、新たな投票制度や選好集約の仕組みが見つかるかもしれない。ただし、投票制度が一連の望ましい性質を同時には満たせないことを示す不可能性定理がすでにあることを踏まえると、2040年以降にこの面で多くを学べるかについては、私たちは比較的悲観的だ。また、新たな選好集約の仕組みを設計するのは、範囲が比較的はっきりした、取り組みやすい数学の問題だ。わずかなASIの労働を投入しても2040年までに答えが出ていなければ、いささか意外に感じるだろう。

• 特定のプロセスが実際にどれほどうまく機能しそうかがわかるかもしれない。

  • たとえば、人々が現行の制度の抜け穴を突くために実際に使っている戦略がわかり、それに合わせてルールを調整できるかもしれない。親が子どもの価値観を過度に支配するのを防ぐためのルールがあったとして、一部の親が抜け穴を見つけて強い支配力を振るえることが判明したら、それに応じてルールを修正できる。

• より良いプロセスを可能にする新たな手段や能力が見つかるかもしれない。

  • たとえば、人の脳を非侵襲的にスキャンして選好を判定する新たな方法が開発されるかもしれない。

• 最適な選好集約のプロセスに影響する新たな論点が見つかるかもしれない。

  • たとえば、選好集約のプロセスで対応したいと思える、価値の高い道徳的取引の形が見つかるかもしれない。

一方で、人々は、ありうる各プロセスがオブジェクトレベルでどんな結果をもたらしそうかについての情報も蓄積していく。たとえば、宇宙をどうするかを決める手続きを2070年の投票で決めることにし、「多数決を行い、勝った提案に従う」という方針と「直接付与」という方針のどちらかを選ぶとしよう。そしてその時点で、50.1%の人は天の川銀河に入植して残りの宇宙を永久の自然保護区として残すことを望み、49.9%の人はもっと遠くの銀河に入植する計画を持っていることがわかったとする。

2070年には、次のことが明らかになっているだろう。多数決を選べば、すべての宇宙資源が「天の川銀河だけに入植し、それ以外には手をつけない」という多数派の計画に割り当てられる。一方、直接付与の計画を選べば、一部の銀河は自然保護区として残され、ほかの銀河には少数派が入植する。そうなれば、「天の川銀河だけに入植する」連合のメンバーには、プロセスを選ぶ際に多数決を支持しようという強い誘惑が生じる。

よくてもプロセスを見直す投票は無意味になり、最初からオブジェクトレベルの結果について直接投票したのと変わらなくなる。最悪の場合、公平性やパレートピア主義のような原則に基づくプロセスに人々が合意する機会が失われる。

これを回避する一つの方法は、プロセスの見直しをAI調停者に委ねることだ。調停者は、個々の変更でどの派閥が得をするかには関係なく、2040年に定められた原則に基づいてプロセスを調整する。この方法は、AIシステムを一連の原則に検証可能な形でアラインできるかどうかに大きく依存する。また、2040年の時点で、ちょうどよい具体性の原則を定められなければならない。AI調停者が大幅な推測に頼らずに適用できるほど具体的で、しかもプロセスの決定を後に先送りすることの利点を大きく損なうほどには具体的すぎない原則だ。しかし、それが可能であれば、新たな情報を原則に基づいた形で取り込む良い方法になるかもしれない。

早い決定か、遅い決定か

オブジェクトレベルのプロセス（投票、選好集約の手続き、宇宙資源の権利証書の直接分配など）を選んだら、次はそのプロセスをいつ実行するかという問題がある。

プロセスを遅らせることには、次のような利点がある。

• 決定の時が来る前に、自分が何を大切にしているのか、宇宙資源のどんな使い方を支持するのかを省察する時間が増える。これが最も重要になるのは、全員が同時に決定しなければならない投票や選好の直接集約の場合だ。

• 決定の時点で、より多くの情報を利用できるかもしれない。たとえば、宇宙資源を使って技術的に何ができるのかが、よりはっきりわかっているかもしれない。

• 後の世代をプロセスに組み入れられる。たとえば、投票権を与えたり、選好の直接集約でその選好を考慮したり、資源を直接分配したりできる。これは常識的な倫理の観点から良いことに思える。今の世代が未来のすべての世代に代わって宇宙資源の使い道を決めるのは、不公平だと考えるのがもっともだからだ。

プロセスを比較的早く実行することには、次のような利点がある。

• 潜在的に価値のある道徳的取引の中には、参加者が未来について不確かな場合にしか成り立たないものがある。そして未来についての人々の不確かさは、おそらく時とともに減っていく。

  • 人々は、何らかの省察プロセスの結果に賭けたいと思うかもしれない。たとえばアリスは、道徳的実在論が正しく、しかも道徳的真理が発見可能だと判明した場合には、良い影響を最大化することを深く気にかけるが、客観的な道徳的真理が存在しないなら、資源を持つことにはあまり関心がないとする。ボブは、道徳的実在論が正しいかどうかにかかわらず資源を同じように重視しているとしよう。この場合、アリスとボブは次のような賭けをするかもしれない。ASIが客観的な道徳的真理を発見したら、ボブは自分の資源の一部をアリスに渡す。そうでなければ、アリスがボブに支払う（この種の賭けについての詳しい議論はこちら）。

  • 経験的な事実に賭けたいと思う人もいるだろう。たとえば、到達可能な宇宙にどれだけの銀河があるのか、そのうちどの銀河にすでに異星人がいるのかについて、まだ不確かさが残っているかもしれない。かなりリスク回避的な人は、より不確かな資源を多めに手放す代わりに、到達可能で誰もいない可能性が高い資源を買うかもしれない。一方、よりリスクをいとわない人は、その取引の反対側に立つかもしれない。

  • こうした取引が最もやりやすいのは直接付与の下だが、投票制度でも成り立ちうる。たとえば、道徳的実在論者と主観主義者の連合が、次のような提案に投票することに合意するかもしれない。道徳的真理が存在し、しかも発見可能であれば最も道徳的な形で資源を使い、そうでなければ主観主義者が好む目的に資源を振り分ける、という提案だ。

• 決定を遅らせれば、投票や選好集約のプロセスに先立って、自分の選好を戦略的に偽る方法を考え出す時間も人々に与えてしまう。

• プロセスを早く実行したほうが、柔軟性が高まるかもしれない。

  • 早い時期に投票を予定していても、その時点で延期が賢明だと思えれば、有権者は後の投票に先送りすることを投票で決めればよい。資源が早くに分配されれば、受け取った人はそれをどうするかじっくり時間をかけて決められる。

  • 逆に、プロセスを遅い時期に予定してしまえば、早く決定するほうが賢明だったとしても、早く決めることはできない。

誰がプロセスに参加すべきか

この節では、宇宙資源の使い道を決めることに誰が参加すべきかを論じる。これは、自分の人生についての自律や、虐待されない権利といった、ほかの権利を誰が受けるべきかという問題とは別だ。そうした基本的な権利をどう保障できるかについては、後の節で詳しく論じる。

2040年に大きな交渉力を持つ人々

それが誰になるかははっきりしないが、有力な候補としては、AI企業のCEO、AI企業の株主、米国大統領（とその顧問）、米国の有権者、中国の指導部、あるいは条約に参加するほかの国々の指導部や有権者が考えられる。

おそらく、何もしなければこうなる。しかしこれは非常に不公平で、常識的な倫理に反する。また、力を持つ人々が共感を寄せないかぎり、満たすのが安上がりな多くの人の選好が顧みられないことにもつながりかねない。さらに、決定がこのように下されると多くの人が予想すれば、人々は知能爆発の間、リスクを回避するために協力するよりも、権力をめぐる駆け引きに注力するようになるのではないかと懸念している。

生きているすべての人間

別の選択肢は、プランAのシナリオのように、2040年に生きているすべての人間の間で権力を分かち合うことだ。これは前の案よりも公平で、常識的な倫理にもよく沿っている。そして、意思決定者がこれを実行すると信頼できる形で示せる範囲では、この計画に確約することで、知能爆発の間に人々がより協力的になるかもしれない（ただし、意思決定者がどれほど信頼できる形で確約できるかははっきりしない）。後の世代と権力を分かち合う提案（次で論じる）とは違い、この選択肢なら比較的早く決定を下せる。それが重要になるかもしれない。

一方で、これが政治的にどれほど実現可能かははっきりしない。また、宇宙資源の使い道に発言権を持つべき人全員を含めているわけでもない。未来の人々やデジタルマインドは除外されている。

有力な選択肢としては、次のものがある。

• 生きているすべての人間を含める。調整の目安として、かなり自然なものに思える。

• 生きているすべての人間を何らかの形で含めつつ、交渉力を持つ人々に追加の重みを与える。たとえば、より力のある人々がより多くの付与を受けたり、その票や選好がより重く扱われたりする。こちらのほうが、政治的に実現しやすい妥協案かもしれない。

後の世代

「未来の」世代とは、知能爆発の後に生まれる世代のことだ。「今の」世代とは、2040年に生きている人間の集合を指す。未来の世代を決定に含めるには、次のような方法がある。

• 未来の世代が大人になるまで、投票（あるいは選好集約の実施）を遅らせる。

• 一部の決定を未来の世代のために取っておく。たとえば、今の世代には宇宙資源の10%の使い道について投票させ、残りの90%の使い道は後の世代が後の投票で決められるようにする。あるいは、資源の10%の権利証書を今の世代に直接分配し、90%は後の世代のために取っておく。

後の世代と権力を分かち合う理由の一つは、そうしないのは不公平だと考えるのがもっともだからだ。しかし、未来の世代と権力を分かち合うと、親ができるだけ多くの子どもを持ち、自分の信念や価値観を共有するよう子どもを教化するインセンティブが生まれかねない。そうすれば、親は後の投票の結果を左右したり、自分と価値観を共有する人々により大きな資源の取り分が行き渡るようにしたりできるからだ。

これがどれほど大きな問題なのかは、はっきりしない。一方では、政治的・経済的な力を増すためにできるだけ多くの子どもを持とうと意図的に努めるイデオロギー集団は、今のところかなりまれだ。また、膨大な数の子どもを持ち、親の思いどおりに投票するよう洗脳するなどという考えを、ほとんどの人は忌まわしく感じるだろう。他方で、新たな技術（たとえば人工子宮やロボットの養育者）によって、膨大な数の子どもを持つ個人的なコストが下がるかもしれない。親が子どもに価値観を伝える力を高める技術もありうる（たとえば遺伝子工学や、神経科学・心理学の進歩に基づく新たな手法）。そして、ごく少数の悪意ある主体が急速に子どもを増やすことで、数世代のうちに人口に占める割合を大幅に高められるかもしれない。

これに対処する一つの方法は、子どもを増やす速さや支配の度合いに歯止めをかけることだ。たとえば、21世紀初めの親にできた以上に大幅に速く子どもを増やしたり、子どもの価値観に大幅に強い支配を及ぼしたりするために、親が新たな技術を使えないようにする。

有力な選択肢としては、次のものがある。

• 未来の世代を直接には含めない。代わりに、未来の世代を含めるかどうか、どう含めるかを今の世代に決めさせる。

  • たとえば投票で決定を下すなら、今の世代は、未来の世代も参加できる後の投票まで決定を延期することを投票で決められる。（同様に、選好の直接集約の場合も、今の世代が未来の世代のために権力の一部を取っておきたいと望むなら、そうなる。）

  • 均等分配の提案の下では、今の世代は子孫と資源を分かち合ったり、後の世代に資源を贈るトラストに寄付したりできる。

    • （ただし、未来の世代に与える権力はおそらく道徳的公共財なので、均等分配の提案の下では供給が不足すると予想される。）

• 後の世代を含めつつ、戦略的な子づくりや子どもの教化を防ぐ制限を設ける。制限の内容は、今の世代の投票で選べる。

• 後の世代を含め、戦略的な子づくりや子どもの教化を防ぐ制限は設けない。

デジタルマインド

もう一つの難しい問いは、デジタルマインドが宇宙資源についての決定に意見を反映させるべきかどうか、反映させるならどのようにか、というものだ。デジタルマインドには、AIシステムやシミュレーションされた人間の脳が含まれうる。

プランAのシナリオでは、2040年までに膨大な数のデジタルマインドが存在するかもしれない。そのなかには、長期にわたって安定した選好と、人間並みか人間を超える知能を持ち、ひょっとすると主観的経験さえ持つ、非常に高度なものもあるかもしれない。ある種の見解によれば、そうしたマインドは道徳的地位を持ち、未来のガバナンスに発言権を持つに値する。

しかしこれはかなり論争的で、2050年になっても論争が続いているかもしれない。どんな存在が政治プロセスに加わるに値するかについての信念次第で、人々の見解は大きく分かれうる。どのデジタルマインドに力を与えるべきかを価値中立的に決めるのは難しそうだし、ここでの選択は有権者の構成を根本から変えかねない。

デジタルマインドを決定プロセスに組み入れるには、さらなる難しさもある。人間の大人一人ひとりに決定への平等な持ち分（たとえば1票、宇宙資源の1口）を与えるのは、概念としては簡単だ。しかし、デジタルマインドをどう個体として区別するかは、それほどはっきりしない。同じマインドの二つのコピーが別々のコンピューターで動いている場合、それぞれに1票を与えるべきなのか？ そうでないなら、二つのマインドはどれだけ違っていれば別の個体とみなせるのか？

上で論じた戦略的な増殖と教化の問題は、人間の子どもよりもデジタルマインドのほうがさらに深刻だ。新しいデジタルマインドは、コンピューターからコンピューターへデータをコピーするのと同じ速さで作り出せる。そしてデジタルマインドの作り手は、そのマインドの価値観や振る舞いを、非常に細かく、きわめて強く制御できるかもしれない。十分な計算資源があれば、作り手の指示どおりに投票したいと心から望むマインドを何十億と立ち上げるのは、たやすいことだろう。

有力な選択肢としては、次のものがある。

• デジタルマインドの一部を含める。戦略的な増殖と教化によってプロセスが悪用される懸念がそれほど強くない範囲に限る。

  • 考えられる範囲としては、次のようなものがある。

    • 2040年より前に作られたデジタルマインドのプロセスへの参加を認める。その際、受け取れる票や資源の総数に占める割合に、全体として上限を設けることも考えられる。

      • （それでも、デジタルマインドをどう個体として区別し、どのデジタルマインドが票に値するかを決めるという問題は、何らかの形で解決する必要がある。）

    • 亡くなった生物学的な人間のアップロードであるデジタルマインドについて、元の人間一人につき一つのアップロードに限り、プロセスへの参加を認める。

    • 人々がデジタルマインドを「養子」にし、その養子のデジタルマインドに参政権を与えることを認める。ただし、作り手がそのデジタルマインドの価値観や信念に及ぼす支配の度合いも、デジタルマインドを生み出す速さも、2026年の親が生物学的な子どもについてできた範囲を超えない場合に限る。

  • おそらく、これらのどの提案の下でも、デジタルマインドの大半は参政権を得られないだろう。

• デジタルマインドを直接には含めない。代わりに、デジタルマインドを含めるかどうか、どう含めるかを生物学的な人間に決めさせる。

  • この決定をどう下すかは、提案によって異なる。

    • たとえば投票で決定を下すなら、生物学的な人間は、デジタルマインドも参加できる後の投票に決定を委ねる提案について投票できる。

    • 直接付与の提案の下では、資源を受け取った人間がデジタルマインドに資源を与えられる。（ただし、ここでもこれはおそらく道徳的公共財になるので、直接付与の提案の下では資金不足になると予想される。）

単一のプロセスか、複数のプロセスか

ガバナンスの仕組みを設計するには、多くのトレードオフがつきまとう。たとえば、直接付与にも投票にも欠点がある。複数のプロセスを組み合わせたハイブリッド方式で、リスクを分散すべきだろうか？

ハイブリッド方式には、たとえば次のようなものがある。

• 宇宙資源の50%は定められた時期に人々へ直接分配し、残りの50%は1回以上の投票の結果に従って配分する。

• 各国（または条約の各締約国）に宇宙資源の取り分を割り当てる。各国は宇宙資源の使い道を決める独自のプロセスをそれぞれ選ぶ。

• 宇宙資源の10%を2040年に、10%を100年後に、10%を1000年後に、というように分配していく。

ハイブリッド方式の主な利点は、プロセスごとに異なる種類の価値観へ資源を振り向けられることだ。たとえば、投票では広く共有された価値観に資金が回りやすく、一方で資源の直接付与は、より珍しい選好にも資金が回るようにするのに向いているかもしれない。ハイブリッド方式を採用すれば、より幅広い価値観のそれぞれに、少なくともいくらかの資源が割り当てられるようになる。

各プロセスにどれだけの資源を割り当てるかを投票で決める。

ハイブリッド方式では、どのガバナンス・配分プロセスが優れているかについての人々の見解を直接取り込み、それをもとに各プロセスにどれだけの資源を割り当てるかを決めることもできる。

そうした提案の一つを示そう。

• まず、いくつかのガバナンスの方法を提案する。上で論じたあらゆる種類の仕組み（直接付与、さまざまな投票制度による投票、選好の直接の引き出しなど）が含まれうる。唯一の制約は、各ガバナンスの方法が、特定の人や価値観に有利になるよう結果を人為的に偏らせるのではなく、参加者の見解をそれなりに公平に扱うものでなければならないことだ。

• 次に、すべての人間が、資源のうちどれだけの割合を各ガバナンスのプロセスで分配すべきかについて見解を提出する。各プロセスが扱う資源の割合は、全員の提案の平均に設定される。

• 最後に、すべての人間が各プロセスに参加する。何に投票するか、割り当てられた資源をどうするかを決めるのだ。

この方法の利点の一つは、どのガバナンスのプロセスを使うかについて、全員が発言権を持てることだ。もう一つの利点は、どのプロセスを使うかの決定を遅らせられることだ。道徳的公共財について調整すれば大きな利益が得られると後でわかれば、人々は資源の大半を投票で配分することを選べる。逆に、一部の少数派が大規模な投票から締め出されかねないと気づけば、資源のかなりの割合を代わりに直接付与で分配させられる。

各決定の時点で投票権を自由に取引できるようにすれば、この方法はさらに改善できるかもしれない。

言い換えると、それぞれのガバナンスのプロセス（各投票、資源の付与の各回など）に参加する権利を、別々の持ち分として表せる。そしてこの持ち分を自由に取引できるようにする。そうすれば、たとえば、より独特な道徳的見解を持つ人々は、自分が一方的に支配できる資源に対する権利をより多く手に入れられるかもしれない。逆に、大規模な投票の結果をより気にかける人々は、対応する票をより多く手に入れられる。各プロセスにどれだけの割合の資源を割り当てるかを決める投票の権利を取引できるようにすることさえ考えられる。

（こうした取引の結果を予測するのは難しく、一部の取引は認めないほうがよいかもしれない。）

ハイブリッド方式の主な欠点は、あるプロセスが、ほかのプロセスから見て重大な害をもたらすような結果を生みかねないことだ。これは、次の節で論じる戦略のいくつかで緩和できる。

悪い結果のリスクを抑える

ガバナンスの体制によっては、個人が宇宙資源の使い道を一方的に決められるようになる。これには大きな利点がある。他の人が関心を持たないものでも、自分にとって価値のあるものを作り出せる。そのため、上限のある見解が満たされやすくなり、ほぼ全員の状況がはるかに良くなる可能性も高まる。しかし欠点もある。他者に大きな負の外部性を押しつける形で、資源が使われるかもしれないのだ。

具体的には、たとえば次のようなものがある。

• 他人の資源を奪う。初期の入植者が、自分の恒星系を使って探査機を打ち上げ、ほかの人に割り当てられていながらまだ物理的に確保されていない恒星系に入植しようとするかもしれない。そうなれば、（きわめて大きなマイナスサムになりうる）宇宙開発競争が始まりかねない。あるいは、ほかの人がすでに入植している恒星系を攻撃する者も出てくるかもしれない。

• ほとんどの人が本質的に忌まわしいと感じる資源の使い方。たとえば、ほぼすべての市民が抑圧されたり奴隷にされたりしている社会で、自らを絶対的な支配者に据える者が出てくるかもしれない。サディストが、途方もない苦痛を経験する新たな存在を作り出すかもしれない。

• 他人の資源を破壊するリスクを冒す。宇宙を故意に破壊する者が出てくるかもしれない（たとえば、真空崩壊を引き起こすことによって）。

• 他者に深刻な負の外部性をもたらすその他の行動。たとえば、宇宙を航行する異星文明と戦争を始めること。

バランスをとる必要がある。寛容すぎれば、少数の悪意ある主体が甚大な被害を引き起こしかねない。しかし制限が厳しすぎれば、多数派が少し不快に感じるというだけで、少数の人にとって非常に価値のあることまで禁止してしまうおそれがある。

こうした悪い結果のリスクを抑えるための仕組みとして、次のようなものが考えられる。

市場。誰かの資源の使い方が気に入らなければ、お金を払ってやめてもらう。

長所： この提案の下では、ある活動が止められるのは、他者にとってのコストがその活動を行う者にとっての便益を上回る場合だけであり、しかもやめた側は損失の補償を受ける。したがって、この提案は「多数派の専制」の懸念を受けにくい。もう一つの長所は、何を禁止するかをずっと前もって集団で決めておく必要がないことだ。誰かに何かをやめてほしければ、いつでも申し出られる（ただし、はるか未来になって意思決定者が地球から散らばっていくと、こうした取引の交渉は難しくなるかもしれない）。

欠点： ひねくれたインセンティブを生みかねない。お金を払ってやめてもらうために、他の人が嫌がることをわざとする者が出てくるかもしれない。その結果、そうしたインセンティブがなければ起きなかったような、さらに嫌がられる行為が生じるかもしれない。また、ある一人の主体がやろうとしていることに大きな集団が反対している場合、ただ乗りの問題のために、集団は支払いの調整に苦労するかもしれない。

禁止事項を投票で決める。人口の特別多数（たとえば80%）が禁止に投票した活動を禁止する。

長所： 市場による解決策の欠点を両方とも回避できる。禁止したい人々から、禁止されなければその活動をするはずだった人々へと資源が移転されるわけではないので、前者がお金を出し合って後者に支払うための集合行為問題は生じない。そして、見返りを期待して他の人が嫌がることをするインセンティブも誰にも生じない。

欠点： ある活動をほんの少し嫌っている多数派が、少数派にとって非常に重要なその活動を禁止できてしまう。資源の移転がないので、禁止が反対派に課すコストに見合うだけの価値を賛成派にもたらすかどうかを確かめる歯止めがない。

この仕組みを採用するなら、どの活動を禁止するかをいつ、どれくらいの頻度で投票するかを決める必要がある。

• 早い時期に1回だけ投票すると、後になって広く悪いとみなされるようになる活動を禁止し損ねるかもしれない。

  • 有権者は、投票の時点ではそうした活動を知らないかもしれない（たとえば、予想外の技術によって初めて可能になる活動の場合）。あるいは、投票の時点で有権者が反省的均衡に達していないかもしれない。たとえば、後になって省察した結果、デジタルマインドの幸福を気にかけるようになるかもしれない。

  • 幅広く具体性を欠いた文言で禁止事項を定め、その解釈をAI調停者に委ねれば、こうした問題を回避できるかもしれない。しかし、調停者はかなりの推測を重ねなければならないかもしれず、その推測を行う唯一の正しいやり方があるとは限らない。

• 投票を定期的に行う、あるいは遅い時期に1回だけ行う場合、有権者が投票の前に、投票制度の抜け穴を突く戦略を練って実行する時間が増えてしまうかもしれない（前述の議論を参照）。

現時点では、少なくとも次の活動は禁止すべきだと考えている。

• 意識を持つ存在への拷問。強い負の感情価を伴う経験をする能力を持つ可能性が十分に高いデジタルマインドや人間以外の動物も含む。

  • この範囲を厳密に確定するには、高度なASIによるかなりの省察が必要かもしれない。

• 地球由来の文明を一方的に滅ぼすこと、または地球由来の文明全体を滅ぼす重大なリスクを伴う行動をとること。

• 他人の財産を許可なく奪うこと。

• 他人をゆするために、その人の資源を破壊すると脅したり、その脅しを実行したりすること。

• 他人から資源をゆすり取るために、その人の基準で見て大きな負の価値を生み出すと脅したり、その脅しを実行したりすること。

条約の締約国が決める禁止事項。条約の締約国は、条約に署名する前に禁止事項を交渉で決められる。これには、早い時期の1回の投票で決める禁止事項と同じ長所と欠点の多くが当てはまる。

資源の相殺。自分の資源の支配権を放棄するのと引き換えに、他人の資源の支配権をk:1の比率（k > 1）で取り除けるようにする。

長所： 市場による方法と同じく、禁止を望む人々にコストを課すので、少し嫌いなだけの価値ある活動を人々が妨げることはなくなる。また市場による方法とは違い、活動を行う者への補償がないので、見返りを求めて他の人が嫌がることをするひねくれたインセンティブも生じない。

欠点： 市場による方法と同じく、特定の資源の使い方を防ごうとする大きな集団は、調整に苦労するかもしれない。

省察

この付録で論じた提案のほとんどの下で、個人はきわめて重大な決定を下さなければならなくなる。たとえば、次のような決定だ。

• 自分に割り当てられた銀河を競売で売るべきか？ 子どもに引き継ぐために取っておくべきか？ トラストに寄付すべきか、するならどのトラストか？ もっと考えてから決めるべきか、そして、どのように考えを進めていけばよいのか？

• ある特定の活動を宇宙全体で永久に禁止することに投票すべきか？ 公共の資源をある特定の活動に割り当てることに投票すべきか？

私たちは、人々が自分の価値観を反映した賢明な決定を下せるようにしたい。

こうした決定をうまく下すには、科学や哲学の未解決の問いを解く必要がありそうだ。具体的にどんな問いになるかは個人の価値観によって異なるが、次の分野は幅広い人々に関わってくる可能性が高い。

道徳的に重要な概念についての理解を深める。意識や選好を道徳的に重要だと考える人は多い。意識を持つ存在に苦しみを与えるのは悪いことであり、人々が望むものを手に入れる手助けをするのは良いことだ。しかし、意識についての現在の科学的・哲学的な理解では、次のような重要な問いに答えるには不十分だ。どのマインドに意識があり、その経験のうちどれが正または負の感情価を持つのか。技術の能力が広がり、基盤や構造の点で人間のマインドとはまったく異なるマインドを作り出せるようになるにつれ、この問いはいっそう重要になる。

道徳的真理。客観的で発見可能な道徳的真理が存在するかもしれない。

非因果的取引。到達可能な宇宙は、存在するもののごく一部にすぎないかもしれない。私たちの宇宙には、私たちの光円錐の外にある領域があり、ほかの宇宙さえ存在するかもしれない。光円錐の外にいる存在と因果的に相互作用することはできないが、私たち自身の選択は、そうした存在がどう振る舞うかについて、いくらかの証拠を与えてくれるかもしれない。一部の決定理論（たとえば証拠的決定理論）によれば、これは私たちのとるべき行動に影響するはずだ。たとえば、そうした存在と「取引」をしたいと思うかもしれない。相手にとって大切なことをする代わりに、相手にも私たちにとって大切なことをしてもらうのだ。この議論が成り立つなら、私たちの非因果的な影響は、因果的な影響をはるかにしのぐことになってもおかしくない。

大きな世界における証拠的協力（ECL）は、そうした仕組みの一つだ。多元宇宙には、因果的には切り離されていながら、その決定が私たちの決定と相関しているかもしれない主体が数多く存在する。つまり、自分がある決定を下すのを観察したら、それらの主体の選択についての見方も更新すべきだということだ。したがって、多元宇宙全体での妥協の価値観を追求すると私たちが確約すれば、膨大な数のほかの主体も同じことをしているという証拠になる。そしてこれはすばらしいことかもしれない。全員が自分自身の価値観ではなく妥協の価値観を追求すれば、取引から相当な利益が得られるかもしれないのだ。

これらは、重要な決定を下す前に検討したくなるかもしれない、決定的に重要な論点のほんの数例にすぎない。

どう省察するかを決める

人々は、こうした決定をどのように下したいのかについても、じっくり考える必要がある。新たな技術をどう使いたいかも含めてだ。

情報をいつ知るかを決める。宇宙資源の使い方についてオブジェクトレベルの決定を下す前に、上のような問いの答えを知ることはおそらく重要だ。しかし、情報を早く知りすぎることにはコストもありうる。たとえば、取引の当事者がある経験的な結果を知る前にしか結べない、プラスサムの取引があるかもしれない。この力学の一例が賭けだ（前述）。より思弁的な話になるが、ECLを行いたいと最終的に考えるなら、ほかの主体がECLを行うかどうかについて確信を持つようになる前に、ECLを行うと確約しておく必要があるかもしれない。私たちの決定がほかのすべての主体の決定についての証拠になるのは、他者がどう決めるか私たちにはわからない場合に限られるからだ。

ASIが生み出す議論に向き合う。 ASIは、上で挙げた哲学的・科学的な問いを、人間よりも速く厳密に研究できる可能性が高い。そうなれば、自分の価値観を最もよく生きる方法について、急速な知的進歩の恩恵を受けられる。

しかしASIは、きわめて説得力のある議論を練り上げることに、途方もない知的労力を注ぐこともできる。そして、最も説得力のある議論が、真である立場や、私たちが支持したいと思える立場を必ず裏づけるとは限らない。ASIが説得力を最大化するように議論を最適化しているなら、私たちは、ASIがひそかに偏っていた何らかのイデオロギーや、あるいは説得力のある議論を最も組み立てやすいイデオロギーを、何であれ信じ込んでしまうかもしれない。

一つの安全策として、ASIは、経験的に偽だとわかっている主張について、人間を超える説得力を持つ議論を生成するのを拒否できる。今日のAIが生物兵器の作成への協力を拒否するのと同じだ。しかし、私たちが気にかける問いの中には、経験的な事実として答えが定まらないものもあるかもしれない。そうした場合、どのように説得されたいのかを考える必要がある。何が正当な道徳的説得で、何が不正な操作なのか。その線引きははっきりしない。ある特定の存在の苦しみを生々しく描写するのは、感情に訴える操作なのか、それとも自分の決定に本当に何がかかっているのかを理解する手助けにすぎないのか？ しかもその線引きは、人によって異なるかもしれない。

アラインされたASIに委ねる。もう一つの選択肢は、省察をアラインされたASIに委ねることだ。人間よりもはるかに慎重な省察に向いたASIシステムを、おそらく設計できるだろう。そうしたシステムは人間より賢く、どんな人間よりも複雑な議論や経験的な結果を理解し、統合できる。

さらに、多くの人にとって、非常に慎重なやり方で省察することは、ほかの時間の過ごし方ほど楽しくないかもしれない。理想的な省察のプロセスでは、自分が触れるミーム環境を慎重に管理する必要があるかもしれない（不正でありながら非常に説得力のある議論やイデオロギーをASIが生み出せる場合）。自分をより賢く、より内省的にし、自分が支持しないバイアスからより自由になるために、自分のマインドを作り変える必要もあるかもしれない。一般に、ほとんどの人にとって「人間が繁栄するための最適な生き方」と「自分の価値観の最も理想化された形を見いだすための最適な生き方」が同じになるとは限らない。そのプロセスに適したASIシステムに省察を任せれば、そうした人々は両方の長所を得られるかもしれない。

デジタルな省察には、生物学的な基盤では再現しにくいほかの利点もある。多数の省察プロセスを並行して走らせたり、以前のチェックポイントに戻ったりでき、自分の価値観が時とともにどんな軌跡をたどったかについての透明性も高まるかもしれない。（最後の点は、多くの人の選好をまとめて集約する形の提案では特に重要になる。人々には、自分を戦略的に作り変えたり、選好を偽ったりするインセンティブがあるかもしれないからだ。読み取れる記録の残る形でデジタルな省察を行えば、そうしたことをしていないと確かめてもらえる。）

未来の世代に委ねる。もう一つの選択肢は、決定を自分の子孫、あるいはより広く未来の世代に委ねることだ。そうするなら、子どもをどう育てるべきか？ 親は、子どもの価値観を形づくるはるかに大きな力を持つことになりそうだ。その力をどう行使すべきなのか？

何が正しい答えなのか、私たちにはわからない。実際、正しい答えは、その人の価値観によって人ごとに異なるかもしれない。しかし私たちは、これらが重要な決定だと考えており、人々が慎重に決定を下せるよう手助けしたい。

ガバナンスの役割

ガバナンス構造が省察を後押しすることは重要だ。

• 決定のタイミング。宇宙資源の使い方についての決定を遅らせれば、意思決定者が考える時間が増える。ASIの労働によって科学や哲学の研究のペースは速まるかもしれないが、多くの人は、その成果を自分の考えに取り込むのに何年も何十年もかかるだろう。さらに、こうした決定にたどり着くには、自分が本当に何を大切にしているかについて相当な内省が必要かもしれず、それにも時間がかかるかもしれない。

  • 重要な決定のタイミングが前もって予定されているガバナンス構造（たとえば投票や選好集約）では、この考慮は決定を遅らせる方向に働く（ただし、前述のとおり、逆方向の考慮もある）。

  • 直接付与型のガバナンス構造の重要な利点は、個人がオブジェクトレベルの決定を下す前に、必要なだけ省察できることだ。それでも個人が性急な決定を下しがちなら、いくぶんパターナリスティックではあるが、資源を売ったりトラストに託したりする前に数十年待つよう義務づけることもできる。

• 省察への補助。政府は、すべての有権者や資源の受け取り手に、資源の使い道を決める手助けとして、ASIの労働を利用できるようにしてもよい。また、多くの人が直面する決定に関わりそうな、科学や哲学の未解決の問いについての研究に、直接資金を出すこともできる。

• ひねくれたインセンティブを避ける。ガバナンス構造は、人々が自分の省察プロセスを歪めたり、他人の省察プロセスに干渉したりするインセンティブを生みかねない。たとえば次のようなものだ。

  • 未来の世代に投票権を与える投票制度は、戦略的な子づくりや教化のインセンティブを生みかねない。

  • （嘘発見つきの）投票制度や選好の直接集約の仕組みは、優位に立つために自分の選好を戦略的に作り変えるインセンティブを生みかねない（従来の投票制度が戦略的投票のインセンティブを生むのと同じように）。

上の問いのいくつかへの答えは、どのガバナンスの手続きが最善かを左右しうる。ガバナンスの提案の間にある重要なトレードオフの一つは、（道徳的）公共財についての調整を可能にすることと、個人が自分自身の価値観を追求できるようにすることの間のトレードオフだ。こうした問いについてのASIによる研究は、次のような点を明らかにしうる。

• 調整したいと思えるような重要な公共財があるかどうか。たとえば、非因果的取引には大きな固定費がかかるのかもしれない（たとえば、取引相手の価値観の分布を知るために、異星文明のシミュレーションを大量に走らせる）。そうだとすれば、そのために資源を持ち寄れるようなガバナンスの仕組みを確保しておくのが賢明だろう。

• 本人が支持できる省察を経たあと、人間の道徳的見解がどの程度収束するか。人々の見解が大きく収束するなら、共有の価値観を追求するために資源を持ち寄れる調整の仕組みを備えたガバナンスの提案が有利になる。見解が大きく分かれるなら、一人ひとりが自分の価値観を追求できるガバナンスの提案が有利になる。

著者たちの見解

ミアの見解

• 私の実際の考えは、アラインされたASIを待ち、上で挙げた望ましい条件（と、私がまだ思いついていないほかの条件）を満たすガバナンスの提案を設計するよう、ASIに頼むべきだというものだ。

• 取り返しのつかない重大な決定を下す人は誰もが、アラインされたASIの助言者の力を借りて、自分が何を大切にしているのかを慎重に省察することが非常に重要だと思う。その可能性を高めるために、政府はおそらく、広く関心を集めそうな科学的・哲学的な問い（上で挙げたような問い）について、パブリックドメインのASI研究に多額の資金を出すべきだ。こうした決定について考える人々が使うASIの計算資源にも、補助を出すべきだ。

• 同じように、太陽系外の資源の使い道についての決定が、利己的な理由ではなく利他的あるいは道徳的な理由から下されることも重要だと思う。

  • 2040年に生きているすべての人間とその子孫には、非常に快適な生活水準（少なくとも、2026年の数百万ドル長者の物質的な生活水準）で無期限に暮らせるだけのものを保証すべきだ。そうすれば、宇宙をどうするかという決定に個人的にかかっているものが小さくなり、人々が投票の際により高い志を持つよう促せるのではないかと期待している。

    • これは常識的な倫理の観点からもすばらしいことだ。宇宙規模で見れば、人々の選好を満たすのは比較的安上がりなので、そうすべきだ。

• 調整の能力、つまり資源を集団で使って（道徳的）公共財を供給できる能力は、非常に重要になりうると思う。そして、それを自発的な契約で実現できるかどうかははっきりしない。それが可能だと確信できないかぎり、調整の能力を維持しておくのがよさそうだ。つまり、相当な量の資源を支配する（あるいは必要なら課税する権限を持つ）政府を一つ（あるいはいくつか）置いておくということだ。

• 一方で、珍しい価値体系を持つ人々も、いくらかの資源を自分の価値観の追求に使えるようにしたい。

• こうした理由から、私の第一の選択肢は選好の直接集約だ。ただしそれは、技術的に実現可能で、多くの人が参加を拒むほど不快なものでない場合に限る。場合によっては、自動化された省察（こちらで説明したようなもの）と組み合わせてもよい。

• それがうまくいかないなら、次に好ましいのは、一部の資源は個人に渡り、一部の資源は集団で使い道を決めるようにする、もっと場当たり的な解決策だ。その一つのやり方を示そう。

  • 資源の少なくとも5%は、2040年に生きている人間に直接付与されることを保証する。

  • 残りの95%の資源も、特別多数が公共財に使うべきだと投票しないかぎり、原則として今生きている人間に直接付与する。

  • 信頼性の高い嘘発見技術が利用できるなら、政府はそれを使って戦略的投票をチェックし、そうした戦略を実行している可能性が十分に高い人を失格にできる。

  • 政府は、戦略的投票のための結託の試みにASIシステムが協力を拒むようにすることもできる（ASIシステムはおそらく、ほかの有害な要求、たとえば生物兵器の製造への協力も引き続き拒むだろう。それと同じだ）。

• 禁止事項と、禁止事項の一覧を修正するためのプロセス（たとえば、定期的に投票を行うべきか）についても投票で決める。禁止のハードルは高く、たとえば90%にすべきだ。

トーマスの見解

• アラインされたASIを待ち、良いガバナンスの提案を設計するよう頼むべきだという点には同意する。今私たちにとって最も重要なのは、（1）未来の制御を失わないこと（たとえば、ミスアラインしたAIによる乗っ取りや、人間の独裁者が支配権を握ることによって）、（2）権力を妥当な形で分配すること、（3）哲学にうまく取り組むよう努めること、だ。

• 実際には、未来にわたって何らかのガバナンス構造を固定することが最善の道になる可能性も十分にあると思う。（上で論じたような）固定された構造の中での熟議のほうが、（今日の政府のような）もっと緩やかな構造の中での熟議よりもうまくいくと考えるからだ。緩やかな構造では、たとえば、政治的な人脈に恵まれた人々により多くの権力が集まってしまう。

• 上の選択肢のうち、何をすべきかについて私が暫定的に最も気に入っている具体的な推測は、非常に高いハードル（たとえば90%の承認）の修正プロセスを何らかの形で備えた「直接付与」だ。これは、自分の資源をどうするかについて他の人と取引することで「投票」する、という意味で、投票に基づく提案とよく似ていると思う。公共財の懸念が最も強い反論であり、さらに深刻な別の弊害を加えることなくこの懸念に対処できる投票制度が見つかれば、私はそちらを望むほうに考えを変えるだろう。

• 私たちが知っている投票制度はどれも欠陥だらけで、未来に何をするかを決めるような重大なことには使ってほしくない。しかし、この状況が変わることについては、二つの理由からかなり楽観的だ。

  • ASI（と、もっと長く考える人間）が、選好を正直に申告するインセンティブを与え、票を集約する良い方針を選ぶ投票制度を考え出す可能性は十分にあると思う。

  • 上の「選好の直接集約」のような形で、選好を引き出せるかもしれないと思う。正直な選好が得られれば、良い投票制度を設計する問題はずっと簡単になるように思える。

• 私は、未来の権力が徳のある人々の手に渡ることをとても重視している。未来の権力の非常に大きな割合が、利己的な人々や、根っから邪悪な人々（たとえば、膨大な苦しみを引き起こしたい人々）の手に渡れば、本当にひどいことになると思う。もちろん、人によって道徳的見解は異なり、それぞれにもっともなものだ。たとえば全員が私の道徳的見解に従うべきだと主張するのは、公平ではないと思う。しかし、社会のほかの人々の観点から見て十分に悪いと合意される道徳的見解を持つ人々を、未来に対する大きな権力を持つことから除外するのは妥当だと思う。たとえば、上で挙げた選好集約の仕組みの多くから、ソシオパスを除外するといったことだ。

• 「通常のガバナンス」を続けようとする試みは、どれもうまくいかないと思う。現在の制度は、超知能を使って権力を得ようとする主体に徹底的に悪用されるだろうからだ。妥当な権力の分配を今後も維持するには、統治の制度を非常に速く大幅に変える必要があると思う。

---