前提事項

ASI後の世界では、ほぼすべての人が望むものをほぼすべて手にできるはずである。人間が担える仕事のほぼすべてをこなす膨大な数のロボットがあれば、現代では最富裕層しか享受できない生活水準を全員に提供できる。人々は、子育て、芸術の創作、友人と過ごすことなど、自分にとって最も意味のある活動に時間を使える。ASIが医学を進歩させれば、精神疾患、慢性痛、老化、がんをはじめ、現代人の寿命を縮め、生活を損なう病気を治療できる。要するに、プランAで描く未来を実現すれば、誰もが十分によい人生を送れるだけの資源が行き渡る。現代政治が扱う厳しいトレードオフの多くも解消される。その意味では、これらの決定を極端に難しく考える必要はない。

それでも、私たちの決定には極めて大きなものが懸かっている。うまく対処すれば、子孫に途方もなく豊かな未来を残せるが、この機会を浪費する道はいくつもある。資源をめぐって争い、少数者だけが未来を支配して残りの人々には何も残さないかもしれない。内紛で膨大な資源を焼き尽くすこともあり得る。そうした落とし穴を避けても、地位財に資源を浪費したり、本当に大切なものを最善の形で実現するためにASIを生かせなかったりすれば、資源を誤用することになる。

私たちが求めるのは、豊かさと協力を土台に賢明な決定を下せるガバナンス制度である。

本稿では、太陽系外の資源（以下「宇宙資源」）をどう扱うか、その決め方に焦点を当てる。利用可能な資源の圧倒的大部分は太陽系外にあり、未来の存在の圧倒的大部分も太陽系外で暮らす可能性があるため、これはASI後のガバナンスにおける重要な論点だが、重要な問いはこれだけではない。

確信度

プランAの条約署名国がASI後のガバナンスにどう取り組むべきかについて、現時点で確信はなく、人々の選好、技術的能力、最適な協調の仕組みなど、まだ一部しか解明されていない細部に大きく左右されるからだ。

幸い、条約署名国がこうした決定を下す頃には、宇宙の本質を調べ、道徳哲学を研究し、最適な協調の仕組みを考える超知能の自動研究者を利用できるはずである。自らの選好を理解し、ほかの主体と合意を結ぶ手助けをするAIセラピスト、助言者、交渉役もいるだろう。

したがって、実際の最善策は、ASIによる助言と協調支援を得られるまで、多くの問いへの判断を先送りすることだと考える。それでも、具体案を示し、現時点での最善の推測を共有する価値はあるため、以下に分析を示す。ただし、読者には、ここで示す発想を過度な基準にしてほしくない。

ASI後のガバナンスは何が特別なのか

ASI後のガバナンスは、いくつかの重要な点で歴史上の前例と異なる。

技術進歩により、これまで誰も利用してこなかった新たな資源を急速に使えるようになる可能性がある。最も重要な例が、太陽系外の資源である。

• これらの資源は未利用だったため、調整すべき歴史的な権利主張が存在しない。公正で公平な形で統治することを目指すべきである。

• 現代と比べれば、極端な豊かさが実現する可能性が高い。利用可能な資源のごく一部だけでも、今生きている全員に、現在の基準では長く、幸福で、健康かつ極めて豊かな人生を提供できるだろう。

• 生きている全員が申し分のない生活を送れるだけの資源を確保した後、なお残る膨大な資源をどう使うか。これこそガバナンスが直面する最重要の問いだと考えており、主な選択肢には次のものがある。

  • 個人的消費。資源から楽しみを得るために、際限なく高価な方法を考え出すことはできる。しかし、資源の大半は個人的消費には向かないだろう。そのほとんどは銀河系の外、すなわち何百万光年も離れたところに。地球に留まり、別の銀河由来の物質、エネルギー、情報などを消費したい場合は、何百万年も待たなければならない。一方、地球を離れて別の銀河に行った場合、戻ってきたら何百万年も経っていたことに気づくだろう。

  • 地位財。銀河規模で最も壮大な芸術作品を造る、自分の像を誰よりも多く建てる、といったゼロサム競争に資源を費やすこともできる。地位財は大量の資源を吸収し得る。人が豊かになるほど、資源を追加で消費する便益は一般に逓減するだろうが、地位は相対的なので、地位財には当てはまらないかもしれない。この種のゼロサム競争に膨大な資源を費やすのは、おそらく誤りである。

  • 道徳的選好の充足。幸福に生きる人々で満ちた社会や、巨大な自然保護区をつくることもできる。宇宙から得られる資源の使い道として、これが最も有望だと考える。そこで、どの道徳的選好を追求するかをどう決めるべきか、という問いが生じる。

技術の進歩でも変わるどうやって私たちはガバナンスの決定を下す。

• 私たちは、遠い将来まで影響を与える決定を下すことができるかもしれない。

  • たとえば、特定の値セットに合わせて調整されたASIシステムにリソースやハードパワーを引き渡すことができる。これにより、作成するオプションが提供される可能性がある非常に長く続く組織。

  • 通常、後の世代は親とは多少異なる価値観を採用し、その結果、社会の価値観は時間の経過とともに変化する。しかし、新しい技術 親を有効にする可能性がある子どもたちが培う価値観をより厳密にコントロールするためである。

• 人々は超人的なアドバイスや調整支援にアクセスできるようになる。

  • これは、人々が自分たちが関心を持っていることを真に達成する政策をより適切に特定し、主張できるようになるということを意味する。

  • しかし、おそらく、個人またはグループでゲームをしようとする人々に対してガバナンス構造をこれまで以上に強固なものにする必要があるだろう。ガバナンス構造が過去に悪用されていなかったからといって、将来的に悪用されないという保証はない。

そして私たちは、参加できない人々のためにこれらの決定をうまく進めるという大きな責任を負うことになる。

• 影響を受ける当事者の圧倒的大多数は、まだ生まれていないため、宇宙の統治に関する決定へ直接参加できないだろう。現代の民主主義でも、市民が非市民に関する政策を定め、大人が子どものために決め、人間が動物について決めるという意味では、すでにある程度そうなっているものの、ASI後にはこの問題がはるかに極端になる。現代の人々が、膨大な数の人々の人生を左右する決定を下すかもしれない。その人々は意見を述べられない。適切な決定を下す責任は計り知れない。

提案の評価

この付録では、以下の条件をどれだけ満たせるかで各提案を評価するが、これらは異なる価値体系の人々からも広く支持されやすいと考えている。

• 選好の充足。ガバナンスシステムは、すべての参加者の好みを可能な限り満たすように努めるべきである。これには次のような側面がある。

  • パレトピア主義。莫大な利益が得られれば、ほぼ全員がそれを実現できるはずである。彼らは今日よりもはるかに裕福であり、優れた提案はまさにそれを実現するものでなければならない。

  • 極端な悪影響を抑える。 ASI後のガバナンスに関する私たちの提案は、広く非常に悪いと考えられる結果をもたらす可能性は非常に低いはずである。膨大な量の苦しみ、あるいは宇宙全体が破壊される。

  • 充足コストが限られる見解を尊重する。誰かが満足させるのにそれほどコストがかからない好みや道徳観を持っている場合、私たちはそれを満たす必要がある。たとえば、宇宙規模で考えれば、2040年に生きているすべての人類が長く繁栄した生活を送ることを保証するのはかなり安価である。

• 常識的な倫理に従う。このプロセスは常識的な倫理観に違反すべきではない。これは、予想どおり少数の人々が宇宙の運命を左右することになる、あるいは将来の世代が完全に無力になるという提案に反するものである。

• 客観的道徳に従う。倫理のいくつかの側面は客観的であり、発見可能である可能性がある。もしそうなら、私たちはそれらを特定し、それに従うように努めるべきである。

これらの次の基準は最終的な目標ではないが、それらを満たすプロセスは上記の基準を達成する可能性が高いと考えられる。

• 協調。ガバナンスシステムは、大規模な集団行動の問題について調整できるようにする必要がある。たとえば、私たちが異星文明に遭遇した場合、私たちは彼らと友好関係を築くために調整する必要があるかもしれない。また、地球起源の文明をすべて破壊するリスクを伴う行動を回避したり、勢力ができるだけ多くの資源を要求し、その過程で大量の資源を消費する宇宙競争を回避したりするために、調整する必要があるかもしれない。これらの目標にはおそらく、財産権の保護、禁止事項の執行、公共財の資金調達のための潜在的な徴税など、最低限の政府機能が必要である。

• 道徳的取引異なる多くの道徳的立場を同時にほぼ満たせる可能性があり、たとえば、地球に近い資源や近い将来を特に重視する立場もあれば、時間や空間の違いをさほど重視しない立場もある。前者に天の川銀河の使途を、後者にその他の宇宙の使途を選んでもらえば、両方の望みを満たせるかもしれない。この提案で可能にしたい取引には、次の2種類がある。

  • 二者間取引。これは、珍しい好みを満たすのに特に適している。これらの取引は市場システムにおいて最も簡単であり、2人が文字通り証書を資源と交換したり、資源をどのように使用するかについての合意に署名したりすることができる。ただし、一部の投票システムでは、その ヴィックリー・クラーク・グローブ機構—同様の結果を達成することもできる。

  • 調整中道徳的公共財人々は一部の価値観を共有しながら、それぞれ独自の選好も持っており、個人としては自分の選好を追求したい一方、集団としては全員が共有する価値のために行動してほしいと考えるかもしれない。

  道徳的公共財のための協調は投票制度と最も相性がよく、人々は共同プロジェクトへ資源を割く案に投票すればよい。他の人も資源を拠出するなら自分も拠出すると約束する自発的な契約でも同じ結果を得られるかもしれないが、それほど単純ではない。フリーライドインセンティブ。

  地位財への支出を道徳的公共財への支出へ振り替えるよう協調することは、とりわけ有効かもしれない。地位財を購入する相対的な能力を変えない形で実施できれば、相対的地位は変わらないまま非地位的な選好も満たせるため、全員に利益がある。

• 熟考ASIは、宇宙資源をどう使いたいかという人々の判断に深く関わる新たな視点や経験的事実を発見するだろう（たとえば、客観的な道徳的真理は存在するのか、存在するなら何か）。私たちは、各人が重要な決定を下す前に、自分が何を大切にするかをじっくり考えられる時間と資源を確保するとともに、その判断を支える重要な問いについて、ASIを活用した研究へ十分に投資したい。

• 多元主義。今日の人類は、善についてさまざまなビジョンを持っている。 ASIについて深く考えた後、単一の共通の価値観に収束する可能性がある。おそらく、まだ意見の相違が残るだろう。人々が異なる価値観を持っている場合、私たちはそれらすべてを追求するためにリソースを配分する提案を好む。

• 硬直的な意思決定構造を避ける。私たちがまだ気づいていない重要な考慮事項がたくさんあると思われる。可能な限り、予期せぬ問題の解決が困難にならない柔軟な意思決定構造を好む。

• 公平性。生きている成人全員がプロセスに平等に意見を与える機会を持つべきである。公平性は、全員が最終的に同量の資源を支配することを必ずしも意味しない。地球近傍の資源を重視し、遠方銀河にはあまり関心がない人は、その逆の選好を持つ人と取引すればよい。また、全員が結果に同じだけ満足する必要もない。投票で負ける人は当然いる。必要なのは、特定の人や価値観を不当に優遇しない中立的な手続きである。

• 政治的な実現可能性他の基準とは異なり、これは純粋に実用的なものである。提案が実行されるには、関連する意思決定者に受け入れられる必要がある。これらの意思決定者が誰になるかは不明であるが、米国、中国、その他の大国の国民や指導者が含まれる可能性があり、AI企業のCEOや株主も含まれる可能性がある。

スペースリソースを割り当てるための最も有望なオプションの概要

2040年の宇宙資源配分の具体的な仕組みは、条約が決まる時点で決めるのがベストだと考える（さらに詳しい議論はここで）.

最善の仕組みについては、現時点でかなり不確実であり、意思決定者がアラインされたASIの助言を利用できるまで、結論は先送りすべきだろう。それでも、具体案として今のところ最も有望なのは次の案である。

(あまり気に入らない代替案についてはこちら).

その他の重要な決定ポイントは次のとおりである。

• 投票、優先順位の引き出し、またはリソースの配布はいつ行われるべきであるか? （ディスカッションこちら）

• 後の世代が発言権を持つべきだろうか？ （ディスカッションこちら）

• ある提案に従って一部のリソースを割り当て、他の提案に従って他のリソースを割り当てるハイブリッドアプローチを優先すべきだろうか? （ディスカッションこちら）

• 各意思決定者がそれぞれの視点で最善の意思決定を行えるようにするにはどうすればよいだろうか? （ディスカッションこちら）

利用可能なオプションの一部

ここでは、将来のリソースを管理するためのオプションについて説明する。まず、上記の基準では比較的有望ではないと思われるいくつかの注目すべきオプションについて説明し、次に、より有望であると思われる提案に移る。どちらの場合も、考えられるすべての結果を網羅するわけではなく、重要で具体的な事例を取り上げようとしている。

見込みのない選択肢

アナーキー

宇宙資源には所有権制度がなく、資源を使いたければ誰よりも早く領有を宣言するか、他者から奪うしかない。いったん資源を支配すれば、それを使って好きなことができる。特に悪質な利用を禁じたり、公共財への拠出など大規模な協調を行ったりする統治の仕組みもない。

欠点:資源をめぐって重大なマイナスサム紛争が起こる可能性があり、安全でない財産の主張により、道徳的取引を含む貿易が困難になる可能性がある。

無政府状態は、実現可能な代替策よりも悪いものである。私たちは、それが安定した長期的な均衡ではないと予想している。調整とコミュニケーションのためのはるかに高度なツールが与えられると、人々はその場限りのガバナンス構造を構築することが期待される。しかし、無政府状態から有機的に誕生した政府は、意図的に設計された政府よりも悪くなる可能性がある。特に、初期に多くの宇宙資源を主張し、防衛することができた人々の利益に有利になる可能性がある。

ファインダー・キーパーの財産権

アクターは、未取得の資源を先占したり、先行する所有者から資源を購入したりできるが、所有者の許可なしに取得済みの資源を奪取することはできない (入植による先占取得に近い)。以前と同様に、大規模な調整や公共財の提供のための効果的なシステムは存在せず、禁止を強制できる統治システムもない。

強み:私たちはこれが無政府状態の改善であると考えている。請求が認められると、権利者はそれを弁護するためにリソースを費やす必要がなくなる。さらに、安全で広く認識されている財産権主張により、取引が可能になる。

欠点:価値は、もはや資源を主張するために無駄に浪費されることはないが、資源を獲得する競争においては依然として浪費される。また、少数の強力な主体 (おそらく最初にプローブの波を送信できる者)がほとんどの資源を先取りする可能性が高いと思われる。そして、この提案には公共財の提供や禁止事項の強制のメカニズムがないため、道徳的公共財や、著しく不人気な資源の使用を防止することから得られる潜在的な大きな利益が見送られている。

次に、上記の基準に従って、これらのシナリオを改善すると思われるガバナンス提案について説明する。

より有望な選択肢

直接付与と取引

各人は将来のすべてのリソースの一部に対する所有権を受け取り、それらのリソースが将来どのように使用されるかを決定する権利を与えられる。たとえば、人々は将来のリソースの株式を売却したり、他の人や信託に贈ったりすることができる。互いに二国間取引を結ぶ自分たちのリソースをどのように使うかについて。財産権は実際に十分に執行されている。以前と同様に、大規模な調整や公共財の提供のための効果的なシステムは存在せず、禁止を強制できる統治システムもない。

(関連するアプローチ: すべての宇宙資源の所有権を競売にかけ、その収益を均等に再分配する。理論的には、いくつかの標準的な仮定を置くと、このスキームは直接付与と同じ所有権の分配になる。)

強み:財産権が最初から明確で確立されていれば、道徳的取引を含む二者間取引が容易になる。先占取得と比べて、レースを通じて資源を浪費するインセンティブはもはやない。

各不動産所有者は将来の自分の取り分をどうするかを自由に決定できるため、少なくとも一部のリソースはほとんどの道徳的見解の追求に費やされ、安上がりで満足できる見解が満たされる可能性が高くなる。

欠点:道徳的公共財は自主契約を通じて資金提供される必要があるが、道徳的公共財に最適なレベルで資金提供されることを保証するために自主契約が十分であるかどうかは明らかではない。個人はフリーライドへの強いインセンティブに直面するだろう。

直接付与には将来資源の用途を一律に禁じる仕組みがないため、無政府状態や先占取得と同じ欠点を引き継ぎ、大多数が極めて悪いと考える用途でも、少数の主体が望めば阻止しにくく、悪意ある主体がその実行をちらつかせて譲歩を引き出すことさえあり得る。これは道徳的公共財の問題の裏返しであり、道徳的な公共悪を防ぐための協調も容易ではない。

もう一つ、やや漠然とした懸念がある。現世代は、自分の資源持分から個人的な享楽や権勢を最大限に引き出そうとする「宇宙皇帝」ではなく、管理を委ねられた空間で、自らの価値判断に照らして最善の未来を築こうとする受託者だと考える方が望ましく、もし人々に与えられるものが、宇宙資源を一方的に支配する権利とそれを通常の財産と同じように売買する権利なら、資源を重大な道徳的責任ではなく、個人的な棚ぼたと捉える方向へ人々を促してしまうのではないかと懸念している。

不確実性と決定ポイント:また、次のような決定を下す必要もある。

• 誰がリソースを取得するか? (たとえば、リソースは将来の世代のために予約されるべきだろうか?)

• 人々は自分のリソースを直ちに売却、譲渡、または賭けることを許可されるべきだろうか?それとも、私たちは、人々が自分の選択肢を慎重に検討するまでの待機期間を、いくぶんパターナリスティックに強制したいのだろうか?

• 銀河の「所有者」と銀河の将来の住民との関係は何だろうか?

これに関する重要なバリエーションの1つは、人々がリソースを非常に悪い方法で使用することを防ぐためのメカニズムを追加することである。セクション内後述する、いくつかの可能性について説明する。

リソースの共同利用に関する投票

宇宙資源をどうするかという提案に全員が投票する。これらの提案は、非常に具体的なもの (例: 「この仕様に従ってデジタルマインドを作成する」)から、非常にメタ (例: 「宇宙資源に関するあらゆる行動を今すぐ延期し、X年後に別の投票で再評価する」または「将来の資源の一部を私的所有権に割り当てる」)、またはその中間のものまで多岐にわたる。

強み。これまでの他の提案と比べて資金調達が容易道徳的公共財—人々がリソースを有権者全員に分配するよりも共有プロジェクトに割り当てたい場合は、その提案に投票できる。

これはより柔軟な計画であり、将来の資源が個人所有に移された後では、たとえほぼ全員が望んでも、集団で意思決定する力を取り戻せないかもしれないのに対し、定期的な投票があれば、有権者はその時点で別の計画へ切り替えられる。その選択肢には、宇宙資源の利用をさらに先送りする案も含まれる。

欠点:既知の投票制度には、どれも重大な問題がある。単純に非効率な制度もあり、たとえば多数決では、多数派は少数派案をさほど悪いと思っていないのに、少数派が多数派案を強く嫌っていても、多数派案が通ってしまう。別の制度は、人々に次の行動を促す。自分の好みを誤って報告する個人的に、または共謀して、全体の価値を犠牲にして自分たちの利益を得るために。この問題は、人々が投票システムの詳細を事前によく知っており、ASIの支援を利用して投票システムを活用するための戦略を立てる十分な時間がある場合に特に深刻である。

さらに、投票では意思決定の時期をそろえ、全員が同時に投票しなければならない。2100年に投票するなら、もっと熟考したいと思っていても、その時点の選好に従って票を投じることになる。原理上は、投票の延期を投票で決めることもできる。しかし、多数派が今すぐ投票したい一方、少数派が熟考を続けたい場合、少数派の意向は退けられうる。これに対し直接付与なら、各人は資源の使途を決めるまで望むだけ熟考できる。

不確実性と決定ポイント: 戦略的投票は実際に結果をどの程度歪める可能性があるかうえ、新しい技術 (嘘発見技術など)はこれを軽減できるだろうか?投票は、まれな選好を持つ人々の間の二国間取引をどの程度うまく処理できるだろうか?そして、いつ投票を行うのか、誰が参加するのか、どの投票システムを使用するのかを決定する必要がある。

直接選好集約

投票と似ているが、人が投票する代わりに、AIシステムが人々の選好を直接確認しようとする。たとえば、AIシステムは、本人が書いたあらゆる文章、おそらく嘘発見器を用いた詳細な面接、および/または脳スキャンから、その人の選好プロファイルを構築する可能性がある。次に、全員の選好が集約されて、宇宙資源をどうするかが決定される。投票と同様に、決定は非常にメタ的なものになる可能性があり、たとえば、100年待ってから再び選好集約を行うなどである。

選好をどう集約するのが最善かは分からないが、一案を示す。まず全員に将来資源の1/Nを基準配分する。取引益が見つからなかった場合の取り分である。次にAI裁定者が、全員の選好充足度を基準以上に高める再配分を見つけ、利益を受益者へ公平に分ける、これなら二者間の道徳的取引を扱える。Aは自分の像を、Bも自分の像を最も望むが、二人ともGeorge Washington像にはその60%の価値を認めるなら、裁定者は両者の資源をWashington像へ振り向け、双方を基準配分よりよい状態にし、道徳的公共財も扱える、公共財への支出が全員の厚生を高めるなら、その財への評価に比例して各人へ課税する（リンダール税）.

強み。直接選好集約は、上記の投票提案を修正したものであり、その長所を継承している。その主な追加の利点は、投票システムよりも戦略的操作が困難になることである。

欠点。人々の正直な好みを引き出すには、いくつかの新技術が必要であるが、このプロセスがどのようなものになるかは明らかではない。このプロセスは、参加者にとって侵襲的、時間がかかる、または不快なものになる可能性がある (嘘発見器に接続された状態でのインタビューなど)。将来の資源の配分に発言権を得るために人々が強く反対する手続きを踏むことを要求するのは不当であり、常識的な道徳に反しているように思われる。

さらに技術的な問題がいくつかあり、たとえば、人々は評価の前に戦略的に自分の好みを変更し、人々の選好を直接引き出すことを試みる主な理由を打ち破ることができる（ただし、緩和策は可能かもしれない。たとえば、政府が新技術を使用して人々が自分の好みを変更することを禁止したり、変更前の好みを登録することを要求したりする可能性がある）。また、好みの集計を行うための具体的なアルゴリズムについても詳しく説明されておらず、特に多くの人が一貫性のない、または支離滅裂な好みを持っていると最もよく表されている場合には、ひねくれた結果や予測が困難な結果を避けるのが難しい可能性がある。実際、誰かの好みをどのように表現するかという問題は、明確に検討していない質問も含めて、非常に議論の余地があり、決定が不十分であるように思える。

超知能に従う

人類は、人々の選好を推論して集約する特定の方法の代わりに、調整された超知能を構築して、人類に代わって計画を立て、ほぼすべての宇宙資源を制御できるようにしている。

たとえば、それぞれが多くの多様な道徳的および哲学的伝統の1つから出発する超知性の代表者からなる「評議会」から始めることができる。その後、これらの代表者は互いに深く反省し、熟議する。代表者は、予測や数学などのすべての検証可能な領域で信頼性があり正確であるように最初にトレーニングできるが、現在不人気であるという理由だけで、斬新な、「奇妙」な、またはその他の不人気な見解を強く避けるように事後トレーニングすることはできない。超知性体が単一の道徳的見解に収束した場合、宇宙資源をその計画に費やすことができる。超知能が異なる見解を持ち続けた場合、投票、直接付与、または直接選好集約を通じて妥協案に到達する可能性がある。

あるいは、客観的な道徳的真理が存在する場合には、それを発見し、それに基づいて行動するよう動機づけられるASIシステムを設計することもできる。(それらが存在しない場合は、バックアップ計画に戻る、おそらく上記の提案のいずれかである)。

強み。特定の道徳観に基づいて最善の計画を決定するには、多くの斬新で直観に反する考慮事項を発見し、取り組む必要があるだろう。結果として得られる計画は次のように見えるかもしれないとても奇妙で人間離れしたものそして、たとえそれが道徳的に最善の行動であると超知能によって保証されたとしても、彼らはそれに行動する意欲がないかもしれない。また、人々は、正しいことを行うことよりも優先される、競合する個人的な利益を持っている可能性がある。しかし、ASIは、個人的な利益が競合しないように設計される可能性がある。道徳的現実主義が真実である場合、これらの考慮事項は特に強力であり、客観的な道徳が存在する場合、このような計画は、客観的な道徳の追求に多大なリソースを投入する最善の策となる可能性がある。

欠点このプロセスの最終的な結果は、プロセスの詳細に大きく依存する可能性があり、たとえば、ASIを審議する「評議会」で最初にどのような観点が表明されたかなどである。これが本当なら誰が決めるのだろうか？条約締結国が選択できるのはかなり不公平に思える。

私たちは、このようなプロセスが宇宙資源の最良の究極的な利用法ではないかと考えているが、もしそうなら、それはおそらく上記の提案のいずれかによるものであるはずである。たとえば、多くの人が熟考した結果、道徳的現実主義が説得力があると感じた場合、公共資源を道徳的に最も価値のある用途に費やすことに投票することができる (または、直接の好みの集計で好みを表明する)。(直接付与の提案がこれに十分であるかどうかは不明である。道徳的に一致したASIにリソースを譲渡することは、このシナリオではおそらく道徳的公共財であるため、人々がリソースの使い方を個別に決定している場合、資金不足になることが予想される)。

その他の決定ポイント

すぐにプロセスにコミットする必要があるか?

条約署名者は、次の3つの方法でこの決定に取り組むことができる。

1. 2040年までに具体的なプロセスを決定する。

   1. たとえば、次を使用して2070年の選挙を実施する。二次投票ここでは、16歳以上の生存者全員が、すべての太陽系外資源をどうするかについて投票する。

2. 後でプロセスを選択するために、2040年のプロセスを決定する。

   1. たとえば、次を使用して2070年の選挙を実施する。承認投票、16歳以上の生存者全員が、どのような意思決定プロセスを使用するかについて投票する。

   2. たとえば、大量の調査を行った後、2040年に条約の署名国によって提示されたいくつかの抽象的な要望を最もよく満たすプロセスを選択するASI裁定者を設計する。

3. プロセスも、プロセスを選ぶためのプロセスも明示的には決めない。

   1. このオプションの下で、最終的に宇宙をどうするか決定することになるかは明らかではない。おそらく、ある時点で、この条約の署名国のいずれかが宇宙を植民地化したいと判断し、一方的にそうするか、他の署名国と交渉してそうすることを許可されるだろう。

オプション3はおそらくオプション1または2よりも悪い。具体的な提案（具体的な手続きを選択する方法に関するメタレベルの提案であっても）を持つことで、国民の精査が可能になり、提案がより公平でより原則に基づいたものになると期待される。具体的な提案がなければ、二つの失敗パターンが発生する可能性が高くなる。第一に、宇宙資源を特に望んでいた当事者が条約参加国の政府にロビー活動を始める可能性があり、また、ロビー活動に強いつながりがある、または多額の投資をしてきた当事者は、最終的には宇宙資源の使用方法に対して多大な影響力を持つことになるだろう。第二に、一部の当事者が宇宙への一方的な植民地化を始める可能性があり、それが宇宙競争を引き起こす可能性がある。政府は一方的な植民地化を禁止することもできるが、そのためには禁止を解除するための計画、つまり実際にどの時点で人々が植民地化を許可されるのかが必要になり、これは選択肢2に戻る。

オプション1とオプション2のどちらが優れているかについては、あまり自信がない。

選択肢1に対する選択肢2の主な議論は、おそらく2040年以降に適切なプロセスを設計する方法についてより多くの情報が得られるだろうということである。

• 私たちが知っているシステムの問題を回避する、新しい投票または好みの集計システムを発見するかもしれない。しかし、既存の状況を考慮すると、2040年以降にこの面で多くのことが分かることについては比較的悲観的である。不可能な結果これは、投票システムが一連の望ましい機能を同時に満たすことができないことを示している。また、新しいプリファレンス集計システムの設計は比較的範囲が広く、扱いやすい数学的問題であるため、少量のASI労力を費やした後で2040年に答えが得られなかったとしたら、多少驚くだろう。

• 特定のプロセスが実際にどの程度うまく機能するかがわかるかもしれない。

  • たとえば、人々が現在のシステムをうまく利用しようとするために実際に使用している戦略について学び、それに応じてルールを適応させる可能性があり、たとえば、親が子供の価値観を過度に制御することを防ぐことを目的としたルールがあり、一部の親が抜け穴を見つけて大幅な制御を行うことができることが判明した場合、それに応じてルールを適応させることができる。）。

• より良いプロセスを可能にする新しいツールや機能が見つかるかもしれない。

  • たとえば、人々の選好を判断するために人々の脳を非侵襲的にスキャンする新しい方法を開発するかもしれない。

• 最適なプリファレンス集約プロセスに影響を与える新たな考慮事項が見つかる可能性がある。

  • たとえば、好みの集計プロセスに対応させたい価値ある道徳的取引の形態を特定する可能性がある。

その一方で、人々は考えられる各プロセスの具体的な帰結についての情報も蓄積するだろう。たとえば、2070年に宇宙をどうするかを決定する手順を決める投票を行って、「多数決を保持し、勝った提案の言うとおりにする」政策と「直接付与」政策のどちらかを選択することにしたとし、そして現時点では、50.1%の人が天の川銀河への植民地化を支持し、残りの宇宙を恒久的な自然保護区として残し、49.9%の人がより遠くの銀河への植民地化計画を持っていることが判明した。

2070年、我々が多数決を選択した場合、すべての宇宙資源が多数派の天の川銀河のみを植民地化する計画に割り当てられることは明らかだが、直接付与計画を採用した場合、一部の銀河は自然保護区として残され、他の銀河は少数派によって植民地化されることになる。そうなると、天の川を植民地化し、他には何もしない連合のメンバーは、プロセスを選択する際に多数決を支持したいという強い誘惑に駆られることになる。

せいぜい、プロセス改訂の投票は不要になり、オブジェクトレベルの結果に直接投票したほうがよいだろう。最悪の場合、公平性やパレトピア主義などの原則に基づいたプロセスについて人々が合意する機会を失うことになる。

これを回避する考えられる方法の1つは、特定の変更からどの派閥が利益を得るかに関係なく、2040年に確立された原則に基づいてプロセスを調整するAIアービターにプロセスの改訂を委任することである。このアプローチは、AIシステムを一連の原則に検証可能に調整できるかどうかに大きく依存している。また、2040年に、AI裁定者が過度の外挿なしで適用できるほど具体的な原則を特定できる必要もあるが、プロセスの決定を後日に延期する利点の多くを失うほど具体的ではない。しかし、可能であれば、これは原則に基づいた方法で新しい情報を組み込む良い方法かもしれない。

早い決断と遅い決断

投票、好みの集計手順、宇宙資源への権利の直接配布など、具体的な手続きを選択したら、そのプロセスをいつ実行するかという問題が生じる。

プロセスを遅らせることの利点は次のとおりである。

• 人々は、決断を下す前に、自分たちが何に関心を持っているか、宇宙資源の利用をどのように支持しているかをじっくり考える時間が増えている。これは、全員が同時に決定する必要がある投票や直接の優先順位の集計において最も重要である。

• 人々は意思決定の時点で、より多くの情報にアクセスできる可能性があり、たとえば、宇宙資源を使って技術的に何が可能であるかをより明確に把握できるなどである。

• 後の世代をプロセスに組み込むことも可能であり、たとえば、投票を許可したり、好みを直接集約するために好みを考慮したり、リソースを直接配布したりできる。現在の世代が将来のすべての世代に代わって宇宙資源の使用に関する決定を下すのはおそらく不公平であるため、これは常識的な倫理に基づいて良いことのように思える。

プロセスを比較的早い段階で実行することには、次のような利点がある。

• いくつかの種類の潜在的に価値のある道徳的取引参加者が将来について不確実である場合にのみ可能であり、将来についての人々の不確実性はおそらく時間の経過とともに減少するだろう。

  • 人々は、いくつかの内省的なプロセスの結果に賭けたいと思うかもしれなく、たとえば、Aliceは、道徳的現実主義が真実で発見可能であることが判明した場合、ポジティブな影響を最大化することに深く関心を持つかもしれないが、客観的な道徳的真実が存在しない場合、リソースを確保することについてはほとんど気にしないかもしれない。道徳的現実主義が真実であるかどうかに関係なく、Bobがリソースを平等に評価する場合、AliceとBobは次の賭けをするかもしれない。ASIが客観的な道徳的真実を発見した場合、Bobは自分のリソースの一部をAliceに与える。そうでない場合、AliceはBobに支払う (これらの賭けに関する詳細はここで説明する).

  • 人々は経験的事実に賭けたいと思うかもしれない。たとえば、到達可能な宇宙内に銀河がいくつあるか、そしてそれらの銀河のうちどの銀河がすでに宇宙人に占領されているかについては、まだ不確実性があるかもしれない。かなりリスクを回避する人は、大量のより不確実なリソースと引き換えに、到達可能で空いている可能性が高いリソースを購入する可能性があるが、よりリスク許容度の高い人は、取引の反対側に立つ可能性がある。

  • これらの取引は、直接付与の下で最も簡単であるが、投票システムでも機能する可能性があり、たとえば、道徳的現実主義者と主観主義者の連合は、リソースを最も道徳的な方法で（道徳的真実が存在し発見可能であるという条件付きで）費やす提案に積極的に投票し、そうでなければ主観主義者の好む目的にリソースを分配する可能性がある。

• また、意思決定を遅らせることで、人々は投票や好みの集計プロセスに先立って、自分の好みを戦略的に偽る方法を見つけるためのより多くの時間を得ることができる。

• プロセスをより早く実行すると、より柔軟に対応できる可能性がある。

  • 期日前投票が予定されており、投票の時点で延期することが賢明であると思われる場合、有権者は単に投票を延期して後の投票に延期することができる。リソースが早期に配布されると、受信者は時間をかけてリソースをどう扱うかを決定できる。

  • 一方で、プロセスが後でスケジュールされている場合は、たとえそれが賢明であっても、早期に決定を下すことはできない。

誰がプロセスに参加すべきだろうか?

このセクションでは、宇宙資源の使用方法の決定に誰が参加すべきかについて説明する。これは、自分の人生に対する自主性や不当な扱いを受けない権利など、他の権利を誰が受け取るべきかということとは異なる。これらの基本的権利がどのように保障されるかについてさらに詳しく議論する。後のセクション。

2040年には相当な交渉力を持つ人々

これらの人物が誰になるかは不明だが、有力な候補者としては、AI企業のCEO、AI企業の株主、米国大統領（および顧問）、米国の選挙民、中国の指導者、あるいは条約に参加している他の国の指導者および/または選挙民が挙げられる。

おそらくこれがデフォルトの結果である。また、これは常識的な倫理に反し、非常に不公平であり、権力のある人々がそれに同情的でない限り、多くの人々の安上がりで満足のいく嗜好が無視されることにもなりかねない。また、多くの人がこのように意思決定が行われることを期待すると、リスクを回避するために協力することよりも、知能爆発の最中に権力を争うことに集中することになるのではないかと私たちは懸念している。

生きている人間全員

もう一つの選択肢は、プランAのシナリオのように、2040年時点で生きている全人類で権力を共有することである。これは前案より公平で、常識的な倫理にもかなっている。意思決定者がこの方針の実行を信頼できる形で表明できるなら、方針への事前のコミットメントによって、知能爆発の最中に人々がより協力的になるかもしれない（ただし、どこまで信頼性のあるコミットメントが可能かは不明である）。後の世代とも権力を共有する提案とは異なり（後述）次へ)、このオプションにより、比較的早い段階で意思決定を行うことが可能になる。それは重要かもしれない。

一方で、これが政治的にどの程度実現可能かは不明だ、そして、宇宙資源の使用方法について発言する資格のあるすべての人が含まれているわけではない。未来の人々やデジタルマインドの人は除外されている。

いくつかの考えられるオプション:

• 生きている人間全員を含める。かなり自然なコーディネートのポイントになりそうである。

• 生きているすべての人間を何らかの能力で含めるが、交渉力を持つ人々に特別な重みを与える。たとえば、より権力のある人々がより多くの寄付金を受け取ったり、自分の票や好みがより重視されたりする可能性がある。これは政治的により実現可能な妥協策かもしれない。

後の世代

「未来」世代とは、知能爆発後に生まれた世代である。 「現在の」世代は、2040年に生きている人類のセットである。次のようにして、将来の世代を意思決定に含めることができる。

• 将来の世代が成人するまで投票 (または好みの集計ラウンド)を遅らせる。

• 一部の決定を将来の世代のために留保する、たとえば、宇宙資源の10%の使用方法について現世代に投票を許可するが、残りの90%の使用方法を後の世代に後の投票で決定させる、または資源の10%に対する証書を現世代に直接分配するが、資源の90%を後の世代のために保存する。

後の世代へ権限を分けないのは、不公平かもしれない。一方で権限を分ければ、親には子どもをできるだけ多く持ち、自分と同じ信念や価値観を教え込む誘因が生じる。後の投票を左右したり、同じ価値観の人々へより多くの資源を配分させたりできるからである。

これがどれほど大きな問題なのかは明らかではない。一方で、イデオロギー集団が政治的および経済的権力を高めるために意図的にできるだけ多くの子供を産もうとすることは、現在では非常にまれである。そして、ほとんどの人は、膨大な数の子供を産み、彼らを洗脳して親のやり方を忌まわしいものに投票させるという見通しを立てるだろうと私たちは予想している。その一方で、新技術は、膨大な数の子供を産むための個人的なコストを削減する可能性がある（例：人工子宮、ロボットの世話人）。他のテクノロジーは、親が自分の価値観を子供に伝える能力を高める可能性がある（たとえば、遺伝子工学や、神経科学や心理学の進歩に基づく新しい技術を通じて）。そして、少数の悪者は、急速な再生産によって数世代以内に人口シェアを大幅に増加させることができるかもしれない。

これを乗り越える1つの方法は、繁殖率や制御範囲の周りにガードレールを設置することであり、たとえば、親が大幅な繁殖に新技術を使用できないようにすることである。より速くまた、21世紀初頭の親ができた以上に、子供の価値観を大幅にコントロールすることもできない。

いくつかの考えられるオプション:

• 将来世代を直接の対象には含めない。代わりに、それらを含めるかどうか、および含める方法を現在の世代に決定させる。

  • たとえば、決定が投票によって行われた場合、現在の世代は投票して、将来の世代が参加できる後の投票まで決定を遅らせることができる。 (そして同様に、直接選好集約の下では、現在の世代が将来の世代のために一定の権限を確保したい場合、そのように配分される)。

  • 平等な分配案の下では、現世代が子孫と資源を共有したり、後の世代に資源を贈与する信託に寄付したりすることができる。

    • (ただし、将来の世代に与えられる権限は道徳的公共財であると考えられるため、均等配分案では供給が不足すると予想されるかもしれない)。

• 戦略的生殖や子供の洗脳を防ぐための制限を設けて、後の世代を含める。これらの制限は、現世代の投票によって選択される可能性がある。

• 後の世代も含める、戦略的生殖や子供の洗脳を妨げる制限は設けない。

デジタルマインド

もう1つの難しい問題は、デジタルマインドが宇宙資源に関する決定に意思決定に関与するべきかどうか、そしてどのように意思決定に関与するべきかということである。デジタルマインドにはAIシステムや模擬人間の脳。

プランAのシナリオでは、2040年までに膨大な数のデジタルマインドが存在する可能性がある。これらの心の一部は非常に洗練されており、長期的に安定した好み、人間または超人的な知性、そしておそらくはさえも備えている可能性がある。主観的な経験。一部の見方では、そのような精神には道徳的地位があり、将来の統治において発言権があると考えられる。

しかし、これはかなり物議を醸しており、2050年になってもそうなる可能性がある。何が政治プロセスに参加するに値する存在であるのかについての信念に応じて、人によって大きく異なる見解を持つ可能性がある。どのデジタルマインドに力を与えるべきかを価値中立的な方法で決定するのは難しいように思われ、ここでの選択は有権者の構成に根本的な影響を与える可能性がある。

デジタルマインドを意思決定へ組み込むには、さらに難題がある。人間の成人なら、一人一票、宇宙資源の一持分という形で平等な参加権を与えられるが、デジタルマインドをどう個体として数えるかは明らかでない。別々のコンピュータで動く同じマインドの複製に、それぞれ一票を与えるのか。与えないなら、二つのマインドが別人とみなされるには、どれほど異なる必要があるのか。

上で議論した戦略的生殖と洗脳の問題は、人間の子供よりもデジタルマインドにとってさらに深刻である。新しいデジタルマインドは、あるコンピュータから別のコンピュータにデータをコピーするのと同じくらい早く作成できる。そして、デジタルマインドの作成者は、デジタルマインドの価値観や行動を非常にきめ細かく制御できる可能性がある。十分な計算能力があれば、作成者の指示どおりに投票したいと心から願う何十億ものデジタルマインドを立ち上げるのは簡単なことだろう。

いくつかの考えられるオプション:

• デジタルマインドのサブセットを含める戦略的な再生産や教化によって制度を悪用される懸念が比較的小さいものに限る。

  • 考えられるサブセットには次のようなものがある。

    • 2040年以前に作成されたデジタルマインドがプロセスに参加できるようにし、おそらく、彼らが受け取ることができる総投票数やリソースのシェアに全体的な上限が設定される。

      • (デジタルマインドを個別化し、どのデジタルマインドが投票に値するかを決定するという問題を何らかの方法で解決する必要がある)。

    • 亡くなった生物学的人間のアップロードであるデジタルマインドが、元の人間ごとに1回のアップロードでプロセスに参加できるようにする。

    • 人々がデジタルマインドを「養子」に迎え、そのデジタルマインドに参政権を与えることを認めるが、作成者による価値観や信念への統制が、2026年の親が実子に及ぼせる範囲を超えず、かつデジタルマインドの生成速度も、当時の親が実子をもうけられる速度を超えない場合に限る。

  • おそらく、いずれの提案でも、ほとんどのデジタルマインドには参政権が与えられないだろう。

• デジタルマインドを直接の対象には含めない。代わりに、デジタルマインドを含めるか、含めるならどのようにするかは、生物学的人間が決める。

  • この決定がどのように行われるかは、提案によって異なる。

    • たとえば、決定が投票によって行われた場合、生物学的人間は、デジタルマインドが参加できる後の投票に決定を延期する提案に投票することができる。

    • 直接付与の提案の下では、リソースを受け取った人間がデジタルマインドにリソースを与えることができる。 （ただし、繰り返しになるが、これは道徳的公共財である可能性が高く、直接付与の提案では資金不足になることが予想されるかもしれない）。

プロセスは1つであるか、それとも複数であるか?

ガバナンスの仕組みを設計するには多くのトレードオフがあり、たとえば直接付与と投票にはどちらにも欠点がある。複数の手続を組み合わせた折衷案で、どの案が正しいかという不確実性に備えるべきだろうか？

ハイブリッドアプローチの例をいくつか示す。

• 宇宙資源の50%は設定された時間に住民に直接分配され、50%は1つ以上の投票の結果に応じて割り当てられる。

• 各国 (または各条約締結国)には宇宙資源のシェアが割り当てられている。これらの国はそれぞれ、宇宙資源の使用方法を決定するための独自のプロセスを選択している。

• 宇宙資源の10%は2040年に分配され、10%は100年後に分配され、10%は1000年後に分配される。

ハイブリッド方式の主な利点は、異なる手続きが異なる種類の価値へ資源を向けられることにある。投票は広く共有される価値への支出に向き、直接付与は希少な選好にも資源を確保しやすい。両者を組み合わせれば、より幅広い価値観へ少なくとも一部の資源を配分できる。

ハイブリッドアプローチの主な欠点は、1つのプロセスが他のプロセスでは実質的に有害であるとみなされる結果を生成する可能性があることである。これは、次のセクションで説明するいくつかの戦略によって軽減できる。

下振れリスクの軽減

統治の仕組みによっては、個人が宇宙資源の使途を一方的に決められる。これには大きな利点があり、他人が価値を認めないものでも、本人にとって価値があれば作れるため、有限の範囲に重きを置く価値観も満たしやすく、ほぼ全員の境遇が大幅に改善する可能性も高まる。一方で、他人に大きな負の外部性を押し付ける形で、自分の資源を使うおそれもある。

具体的な例としては次のようなものがある。

• 他人のリソースを横取りする。初期の入植者は、自分たちの星系を利用して探査機を打ち上げ、まだ物理的権利を主張していない他の星系に定住しようとするかもしれない。潜在的にマイナスサムが大きくなる可能性がある)宇宙開発競争。あるいは、人々はすでに他の人が定住している星系を攻撃するかもしれない。

• ほとんどの人が本質的に嫌悪感を抱くリソースの使用。たとえば、ほぼすべての国民が抑圧されたり奴隷化されたりしている社会に対して、自分たちを絶対的な支配者とする人もいるかもしれない。サディストは計り知れない苦痛を経験する新たな存在を作り出すかもしれない。

• 他人のリソースを破壊する危険がある。人々は意図的に宇宙を破壊するかもしれない（例えば、偽の真空崩壊を開始することによって）。

• 他者に対して重大な負の外部性を伴う他の行動をとること（例えば、宇宙を旅する異星文明との戦争を開始すること）。

バランスを取る必要がある。私たちが寛容すぎると、少数の悪意のある者が多大な損害を引き起こす可能性がある。しかし、制限しすぎると、少数の人にとって非常に価値のあるものを、大多数が不快に思うという理由だけで禁止してしまう危険がある。

これらの下振れリスクを軽減するための考えられるシステムをいくつか紹介する。

市場。誰かが自分のリソースをどのように使用しているかが気に入らない場合は、お金を払って止めてもらうことができる。

強み: この提案では、他者へのコストが行為者への利益を超えた場合にのみ活動が停止され、行為者の損失は補償される。したがって、この提案は「多数派の専制」の懸念に対してそれほど脆弱ではない。もう1つの強みは、何を禁止するかをずっと前に集団で決定する必要がないことである。誰かが他の誰かに何かをやめてほしい場合、いつでも申し出を行うことができる（ただし、将来的には、意思決定者が地球外に分散するにつれて、これらの取引を交渉することがより困難になる可能性がある）。

欠点：これは、倒錯的なインセンティブを生み出す可能性がある。一部の人は、やめさせるためにお金をもらうために、他の人が不快だと思うことをするかもしれない。その結果、そのインセンティブがなければ起こっていたであろうさらに不快な行動が生じる可能性があるうえ、大規模なグループが反対することを1人の行為者が行おうとした場合、フリーライダー問題のため、グループは支払いの調整に苦労する可能性がある。

禁止事項に対する投票。人口の超過半数 (たとえば80%)が禁止を投票した活動を禁止することもできる。

強み：市場解決策の両方の欠点を回避する。禁止したい人々から禁止された活動を行う人々へのリソースの移転がないため、後者を返済するための資金を集めるために前者の間で集団行動の問題が発生しなく、そして、見返りを期待して不快なことをするよう動機付けられる人は誰もいない。

欠点: たとえそれが少数派にとって非常に重要であったとしても、ある活動をほんのわずかに嫌悪する多数派は、その活動を禁止することができる。リソースの移転がないため、禁止が支持者にとって反対派のコストを正当化するのに十分な価値があるかどうかを確認するチェックはない。

このシステムを採用する場合、どの活動を禁止するかをいつ、どのくらいの頻度で投票するかを決定する必要がある。

• もし1回の期日前投票を行った場合、後に広く悪とみなされる活動を禁止できなかった可能性がある。

  • 有権者は、投票の時点ではそれらのアクティビティについて知らない可能性がある（たとえば、そのアクティビティが予期しないテクノロジーによってのみ可能になるため）。あるいは、投票時に有権者が内省的平衡状態にない可能性もある。たとえば、おそらく彼らは、後でよく考えてみると、デジタルマインドの福祉を気にかけていると判断するだろう。

  • 広範で非特定的な文言を含む禁止を採用し、禁止を解釈するAIアービターを作成することで、これらの問題を回避できるかもしれない。しかし、アービターは、自明ではない量の外挿を行う必要がある場合があり、その外挿を行うための標準的な方法が1つも存在しない可能性がある。

• 定期投票または1回の期末投票があった場合、有権者は投票前に投票システムを操作するための戦略を策定および実行するためのより多くの時間を得ることができるかもしれない (議論を参照)上記).

現時点では、少なくとも次の行為は禁止されるべきであると考えている。

• デジタルマインドや、強い負価の経験をする可能性が十分に高い人間以外の動物など、意識のある存在に対する拷問。

  • この正確な境界を把握するには、高度なASIによる相当な熟考が必要になる場合がある。

• 地球起源の文明を一方的に破壊する、または地球起源の文明全体を破壊する重大な危険を伴う行動をとること。

• 許可なく他人の財産を没収すること。

• 他人の資源を強奪するために、他人の資源を破壊するという脅迫を行ったり実行したりすること。

• 他者の価値観から見て大きな負の価値を生み出すと脅し、または実際にそうすることで、その者から資源を脅し取ること。

条約署名者が決定した禁止事項。条約署名国は、条約の署名前に禁止事項を交渉できる。この方式には、初期に一度だけ行う投票で禁止事項を決める方式と、多くの長所・短所が共通する。

リソースのキャンセル。自分の資源に対する支配権を放棄する代わりに、他者の資源支配権もk対1の比率（k > 1）で消滅させられる仕組みを認めることが考えられる。

強み：市場方式と同じく、禁止を求める側に費用を負わせるため、少し気に入らないというだけで価値ある活動を妨げることを防げる。また市場方式と異なり、活動を行う側への補償はないため、支払い目当てで他者の嫌がることをするという歪んだ誘因も生じない。

欠点：市場方式と同じく、資源の特定用途を阻止したい大集団は、足並みをそろえるのに苦労する可能性がある。

熟考

この付録で論じる提案の大半では、個人が次のような極めて重大な決定を下す必要がある。

• 自分に割り当てられた銀河をオークションで売るべきか？子どもへ引き継ぐために取っておくべきか？信託へ寄付するなら、どの信託を選ぶべきか？もっと考えてから決めるべきなら、どのように考えを深めればよいか？

• ある活動を宇宙全体で永久に禁止することへ賛成票を投じるべきか？公共資源を特定の活動へ配分することに賛成すべきか？

私たちは人々が自分の価値観を反映した賢明な決定を下すことを望んでいる。

これらの決定を適切に行うには、未解決の科学的および哲学的問題を解決する必要があるだろう。具体的な質問は個人の価値観によって異なるが、次の分野は幅広い人々に関係すると思われる。

道徳的に重要な概念に対する理解の向上多くの人は意識や選好を道徳的に重要だと考えており、意識のある存在に苦痛を与えるのは悪く、望みをかなえる手助けをするのは良いことだとみなす。しかし、意識に関する現在の科学的・哲学的理解では、どのマインドに意識があり、どの経験が正または負の感情価を持つかという重要な問いに答えられないうえ、媒体も構造も人間とは大きく異なるマインドを作れるほど技術が進めば、この問題はさらに難しくなる。

道徳的真実。客観的で発見可能な道徳的真実があるかもしれない。

非因果的な取引。到達可能な宇宙は、存在する宇宙のほんの一部にすぎないかもしれない。私たちの宇宙には私たちの外側の領域があるライトコーン、さらにはあるかもしれない他の宇宙。私たちは光円錐の外側にある存在と因果的に対話することはできないが、私たち自身の選択によって、それらの存在がどのように行動するかについての証拠が得られるかもしれない。いくつかの決定理論について (例:証拠決定理論)、これは私たちの行動に影響を与えるはずである。たとえば、私たちはこれらの存在と「取引」し、彼らが私たちにとって重要なことをする代わりに、彼らにとって重要なことをしたいと思うかもしれない。この議論がうまくいけば、私たちの非因果的な影響が因果的な影響をおそらく矮小化する可能性がある。

広い世界での協力の証拠(ECL)もそのようなメカニズムの1つである。多元宇宙には、因果的に切り離されたエージェントが多数含まれており、その決定は私たちの決定と相関している可能性がある、つまり、私たちが何らかの決定を下しているのを観察するとき、私たちは彼らの選択についても更新する必要がある。したがって、私たちが多宇宙全体にわたる妥協の価値を追求することを約束する場合、これは他の膨大な数のエージェントが同じことをしているという証拠を私たちに与える、そして、これは素晴らしいことかもしれない。誰もが自分の価値観ではなく妥協の価値観を追求すれば、貿易から大きな利益が得られるかもしれない。

これらは、重要な決定を下す前に考慮すべき重要な考慮事項のほんの数例である。

反省の仕方を決める

また、新技術をどのように使用するかなど、これらの決定をどのように行うかについても慎重に考える必要がある。

決定するいつ情報を学ぶために。宇宙資源の使用方法について具体的な決定を下す前に、上記のような質問に対する答えを学ぶことがおそらく重要であるが、情報をあまりにも早く学習するとコストがかかる可能性がある。たとえば、プラスサム取引のみが実行できる場合がある。前に取引の当事者はいくつかの経験的結果を知っている。この力学の1つの例は、賭けである (議論されている)上記）。もっと推測的に言えば、最終的にECLを実行したい場合は、次のようになる。ECLを実行することにコミットする必要がある他のエージェントがECLを行うかどうかを確信する前に、他のエージェントが何を決定するかわからない場合に、私たちの決定は他のエージェントの決定に関する証拠を提供するだけである。

ASIが生成した議論を検討する。ASIは、上記の哲学的および科学的問題を人間よりも迅速かつ厳密に研究できる可能性が高く、私たちが価値観を最もよく実践する方法について急速な知的進歩にアクセスできるようになる。

しかし、ASIは、非常に説得力のある議論を作り上げるために多大な知的努力を向けることもできる。そして、最も説得力のある議論が、必ずしも真の立場、または私たちが支持する立場を支持するかどうかは明らかではない。 ASIが最大限に説得力のある議論を目指して最適化している場合、私たちはASIが微妙に偏っていたイデオロギーや、おそらく説得力のある議論をするのに最も簡単なイデオロギーを信じることになるかもしれない。

一つの安全策：ASIは、今日のAIが生物兵器の製造への協力を拒否しているのと同じように、経験的に誤りであるとわかっている主張に対して、超人的に説得力のある議論を生み出すことを拒否する可能性がある。しかし、私たちが関心を持っているいくつかの疑問については、その問題の経験的事実が存在しない可能性がある。このような場合、私たちはどのように説得されたいのか、つまり何が正当な道徳的説得とみなされるのか、何が違法な操作とみなされるのかを考える必要がある。境界線がどこにあるのかは明らかではない。感情的に操作されている特定の存在の苦しみを生き生きと描写しているのか、それとも単に自分の決断の本当のリスクを理解するのに役立つだけなのだろうか、そしてそのラインは人によって異なるかもしれない。

調整されたASIへの委任。別のオプションは、整合したASIに熟考を委ねるすることである。私たちはおそらく、人間よりも注意深く熟考するのにはるかに適したASIシステムを設計できるだろう。これらのシステムは人間よりも賢く、より複雑な議論や経験的結果を理解し、統合することができるだろう。

さらに、多くの人にとって、非常に注意深く内省することは、他の時間の過ごし方に比べてあまり快適ではないかもしれない。理想的な熟考プロセスには、情報環境を慎重に制御することが含まれる可能性がある (ASIが正当性を欠くものの非常に説得力のある議論やイデオロギーを開発することが可能である場合)。自分自身をより賢く、より思慮深くし、または自分が支持していない偏見をより自由にするために、心を変えることが必要になるかもしれない。一般に、「人間が繁栄するための最適なライフスタイル」と「自分の価値観の最も理想的な形を見つけるための最適なライフスタイル」が、多くの人にとって同じであるかどうかは明らかではない。プロセスにより適したASIシステムに熟考を委ねるすることで、それらの人々は両方の利点を最大限に活用できるようになる可能性がある。

デジタルな熟考には、生物学的基盤上で再現するのが難しい他の利点もあり、たとえば、多くの並行する熟考プロセスの実行、以前のチェックポイントへの復帰、個人の価値観が時間の経過とともにたどった軌跡についての透明性が向上する可能性などが挙げられる。(この最後の点は、多くの人の選好が集約されるこの提案のバージョンでは特に重要であり、人々は自分の好みを戦略的に自己変更したり、誤って伝えたりするインセンティブを持っている可能性があるためである。判読可能な痕跡を残してデジタルな熟考を実行すると、人々はそのような操作をしていないことを確認できる可能性がある)。

将来の世代への委任。もう1つの選択肢は、決定を自分の子孫またはより広範囲に将来の世代に委任することである。もしそうなら、私たちはどのように子供を育てるべきだろうか？親は子どもの価値観を形作る能力がはるかに高まると考えられるが、この力をどのように行使すべきだろうか?

何が正しい答えなのかは私たちにもわからないし、確かに正しい答えは価値観に基づいて人によって異なるかもしれないが、私たちはこれらが重要な決定であると考えており、人々が慎重に決定できるよう支援したいと考えている。

ガバナンスの役割

ガバナンス構造が反映を促進することが重要である。

• 意思決定のタイミング。宇宙資源の使用方法に関する決定が遅れると、意思決定者は考える時間を増やすことができる。 ASIの労働によって科学的および哲学的研究の速度が速まる可能性はあるが、多くの人がそれらの発見を自分の思考に組み込むには数年、または数十年を要する可能性がある。さらに、これらの決定に至るには、意思決定者が本当に大切にしているものについての十分な内省が必要になる場合があり、これにも時間がかかる場合がある。

  • 投票や優先順位の集計など、重要な決定のタイミングが事前にスケジュールされているガバナンス構造の場合、この考慮事項は、その決定を遅らせることに有利になる (ただし、別の方向の考慮事項もある。上記).

  • 直接付与によるガバナンス構造の重要な利点は、個人が具体的な決定を下す前に必要なだけ熟考できることである。個人が依然として性急な決断をする傾向がある場合、私たちは、自分のリソースを売却したり信託に委託したりする前に、いくぶんパターナリスティックに、数十年待つよう要求することもできるだろう。

• 反省を補助する。政府は、すべての有権者または資源受領者にASI労働へのアクセスを提供し、それらの資源の使用方法を決定できるようにすることができる。政府はまた、多くの人々が直面するであろう決断に影響を与える可能性がある未解決の科学的および哲学的問題に対する研究に直接資金を提供することもできるだろう。

• 邪悪なインセンティブを避ける。統治構造は、人々が自分の内省プロセスを歪めたり、他人の内省プロセスに干渉したりするよう奨励する可能性がある。たとえば:

  • 将来の世代に投票権を提供する投票システムは、戦略的な再生産と教化を奨励する可能性がある。

  • 投票システム（嘘発見機能付き）や直接選好集約システムは、人々が自分の選好を戦略的に変更して優位性を得る動機を与える可能性がある（従来の投票システムが戦略的投票を奨励するのと同じように）。

上記の質問のいくつかに対する答えは、どのガバナンス手順が最適であるかに影響を与える可能性がある。ガバナンス提案における重要なトレードオフの1つは、（道徳的）公共財に関する調整を可能にすることと、個人が独自の価値観を追求できることとの間である。これらの疑問に対するASIを活用した研究により、次のことが明らかになる可能性がある。

• 私たちが調整したい重要な公共財があるかどうか、例えば、おそらく非因果的取引には多額の固定費がかかる（例えば、取引相手が持つ価値の分布を把握するために異星文明のシミュレーションを多数実行するなど）。そして、そのためにリソースをプールできるガバナンスメカニズムを確保することが賢明だろう。

• 本人が納得できる熟考を経た後、人々の道徳観がどの程度収束するか。大きく収束するなら、資源を共同出資して共通価値を追求できる協調型の制度が有利になる。見解が大きく分かれたままなら、各人が自らの価値観を追求できる制度が適する。

かかる

Miaのテイク

• 私の見解では、アラインメント済みのASIを待ち、上記の要件、さらには私が見落としている要件も満たすガバナンス案を設計させるべきである。

• 取り返しのつかない重大な決定を下す人は皆、アラインメント済みのASIアドバイザーの助けを借り、自分が何を重視するのかを慎重に熟考することが非常に重要である。その実現可能性を高めるため、政府は、上記のような広く関心を集めそうな科学的・哲学的問題について、パブリックドメインのASI研究へ十分な資金を提供すべきだろう。また、こうした決定を考える人々が利用するASI計算資源にも助成すべきである。

• 同様に、太陽系外の資源の利用に関する決定は、利己的な理由ではなく、利他的または道徳的な理由で行われることが重要であるように思われる。

  • 2040年時点で生きているすべての人間と、その子孫が、非常に快適な生活水準（少なくとも2026年の数百万ドル規模の資産家に相当する物質的生活水準）を無期限に維持できるだけの資源を得られるよう保証すべきである。そうすれば、宇宙資源の使途を決める際の個人的な利害が小さくなり、より公共心をもって投票するよう促せるだろう。

    • それは常識的な倫理的根拠からも素晴らしいことであり、宇宙規模で見れば、人々の選好を満たすのは比較的安価なので、私たちはそうすべきである。

• 私は調整能力、つまり（道徳的）公共財を提供するためにリソースを共同で使用できることが潜在的に非常に重要であると考えているが、自主契約でそれができるかどうかは明らかではない。これが可能であると確信できない限り、調整能力を維持すること、つまり、相当量の資源を管理する（または必要に応じて税金を課す権限を与えられる）政府（またはいくつかの政府）を維持することが良いように思われる。

• 一方で、特殊な価値観を持つ人々が自分の価値観の追求にリソースを費やせるようにしたいとも考えている。

• これらの理由から、技術的に実現可能で、多くの人がオプトアウトするほど不快なものではない場合、私の最優先の選択は、おそらく自動反映 (説明されているものなど)と組み合わせて、直接選好集約することである。こちら).

• それがうまくいかない場合、私が次に好む選択肢は、一部のリソースが個人に割り当てられ、一部のリソースが集団で決定されるようにする、より割り切った解決策である。これにアプローチする1つの方法を次に示す。

  • 2040年には資源の少なくとも5%が生きている人類に直接与えられることが保証されている。

  • デフォルトでは、資源の残りの95%も、超過半数が代わりに公共財に費やすべきであると投票しない限り、現在生きている人間に直接与えられる。

  • 信頼性の高い嘘発見が利用可能であれば、政府はそれを利用して戦略的投票をチェックし、これらの戦略を実行する可能性が十分に高い人々の資格を剥奪する可能性がある。

  • 政府は、ASIシステムに、戦略的に投票を調整する試みへの支援を拒否させることもできる (おそらく、ASIシステムは、他の有害な要求 (生物兵器の製造など)への支援を拒否し続けるだろう)。

• また、禁止と禁止リストを修正するために使用するプロセスについても投票する (例: 繰り返し投票する必要があるか?)。禁止には高いしきい値、おそらく90%が必要である。

Thomasの見解

• アラインされたASIを待ち、優れたガバナンス案を設計させるべきだという点には同意する。今なすべき最重要事項は、（1）ミスアラインしたAIの乗っ取りや人間の独裁者による支配などで未来への制御を失わないこと、（2）権力を妥当に分配すること、（3）哲学的検討を適切に進めることである。

• 実際には、将来にわたる何らかの統治構造を固定することが最善となる可能性が高い、上で論じたような固定的構造内での熟議は、今日の政府のような緩い構造内での熟議よりもうまく進み、緩い構造では、たとえば政治的な人脈の強い者に、より大きな権力が集まりやすいからである。

• 暫定的には、極めて高い閾値――たとえば90%の承認――を要する改正手続きを備えた「直接付与」が最もよい具体案だと考える。自分の資源の使途について他者と取引することで「投票」する点で、投票案にもよく似ており、最大の反論は公共財の不足である。より深刻な弊害を加えずにこの問題を解ける投票制度が見つかれば、私はそちらを支持する。

• 私たちが知る投票制度はいずれも重大な欠陥を抱えており、将来のあり方を決めるほど重大な用途には使いたくない。しかし、次の二つの理由から、この状況は変わりうるとかなり楽観している。

  • ASI (そしてそれを長く考える人間)が、好みの正直な報告を奨励する投票システムを考案し、投票を集約する優れたポリシーを選択する可能性は十分にあると思う。

  • 上記の「直接選好集約」に沿って選好の引き出しを行うことができるかもしれないと思う。正直な好みが分かれば、優れた投票システムを設計するという問題ははるかに簡単に思える。

• 私は将来、高潔な人々に権力が与えられることをとても気にかけている。将来、権力の大部分が利己的な人々や末期の邪悪な人々（例えば、大量の苦しみを引き起こしたい人々）に渡ったら、それは本当に悪いことになると思う。もちろん、人によって合理的な道徳観は異なり、たとえば、誰もが私の道徳観に従うべきだと主張するのは公平ではないと思うが、社会全体の観点から合意されているように、十分に悪い道徳的見解を持つ人々を、将来に対して多大な権力を持つことから除外することは合理的だと私は思う。たとえば、上記の選好集計システムの多くから社会病質者を除外することは合理的だと思う。

• 「通常の統治」を継続させようとするいかなる試みもうまくいかないと思う、なぜなら、私たちの現在のシステムは、権力を獲得するために超知能を利用する行為者によって完全に悪用されるからである。合理的な継続的な権力配分を維持するには、政府システムに大規模な変更を早急に加える必要があると思う。