認識を支えるAI

概要

人類の認識、つまり正しい信念にたどり着き、それに基づいて賢明な判断を下す力は、素晴らしい未来を実現するうえで決定的に重要だ。プランAの過程でAIの能力が向上するにつれ、AIは生活のあらゆる面をますます大きく左右するようになる。認識も例外ではない。AIが認識にどう影響するかは非常に重要になると私は予想しており、その影響は良い方向にも悪い方向にも十分に転びうる。

AIと認識の関係には正のフィードバックループが働くと私は考えている。したがって、目指すべきは正気の盆地に入ることだ。この盆地の中にいれば、状態は自己強化的になる。社会が十分に正気を保っているので、AIが進歩し続けるなかで、社会は自らをさらに正気にしていける。AIのテイクオフの期間中、米国政府が最優先すべきことの一つは、この盆地にとどまることである。

認識に対するAIの影響が最も重要になる領域は、政府とAGIプロジェクトの意思決定、そしてそれらの主体に対する一般市民の影響力だと私は考えている（詳細）。プランAでは、認識を支えるAIの使い道として特に重要なのが協定の弱体化の防止、つまり減速協定の安定性と実効性を高めることだ。

社会の認識の質を追跡するための主な指標は次のとおり。

• 最先端のAIプロジェクトと政府の組織文化

• 真実を追求するAI（より広く言えば、AIの認識上の美徳）

• 各AIプロジェクトと政府が一般市民に対してどれだけ透明か

• 重要な意思決定に費やされる人間とAIの労力

• 公共の言論の質

AIが認識に与える影響を良い方向へ導くための介入策として、次のものを提案する（詳細）。

認識を支えるAIと「正気の盆地」の背景

超知能の開発が人類にとってうまく進むかどうかは、AIのテイクオフ期をどう乗り切るかについて、私たちがどこまで理にかなった判断を下せるかに大きく左右される。プランAでは、高い能力を持つAIに適応するための時間が多く確保されるというだけで、何もしない場合の世界よりすでに有利な立場にある。それでもなお、人類の認識、つまり正しい信念にたどり着き、それに基づいて賢明な判断を下す力は、素晴らしい未来を実現するうえで決定的に重要だ。

プランAの過程でAIの能力が向上するにつれ、AIは生活のあらゆる面をますます大きく左右するようになる。認識も例外ではない。AIが認識に与える影響は非常に重要になると私は予想している。その重要性は、技術的なAI安全性研究の自動化に匹敵するか、それを上回る可能性すらある。

高い能力を持つAIは、全体として認識を改善することも悪化させることも十分にありうると思う。AIの能力を考えれば、認識をこれまでの歴史で見られたよりも極端な方向へ、良い側にも悪い側にも押しやる可能性は十分にある。

さらに、良い極と悪い極のどちらについても、その状態を維持したり、さらに極端な方向へ押し進めたりする正のフィードバックループが働くと私は予想している。たとえば、社会の認識の質が高く、人々が正しい信念を持っていれば、認識を改善するAIツールがそうしたツールとして正しく評価され、採用される可能性が高くなる。反対に、社会の認識の質が低く、AIが聞きたいことだけを聞かせてくれる極端なフィルターバブルの中に人々がいるなら、AIの能力が上がっても迎合的なAIツールを使い続けるかもしれない。こうしたフィードバックループがあるからこそ、AIが認識に与える影響を正しい方向へ導くことは急を要する。

こうしたフィードバックループがある以上、良好な認識を保ちながらAIのテイクオフを乗り切るという目標は、正気の盆地の中にいたい、と言い換えられる。この盆地の中にいれば、状態は自己強化的になる。社会が十分に正気を保っているので、AIが進歩し続けるなかで、社会は自らをさらに正気にしていける。AIのテイクオフの期間中、米国政府が最優先すべきことの一つは、この盆地にとどまることである。

認識を支えるAIが影響を及ぼす領域

少なくとも長期的には、領域ごとの正気の度合いは互いに相関すると予想している。「最先端のAIが良好な認識を持ち、それを広めているか」（詳しくは後述）のように、共通の要因に左右されるからだ。それでも、認識がもたらす具体的な影響を領域ごとに論じることには意味がある。特にテイクオフの初期には、領域によってツールや普及の度合いに差があるかもしれない。認識の影響に注意を払うべき最も重要な領域は、次のとおりだと考える。

1. 政府の意思決定。 政府がAGIプロジェクトにどこまで取り込まれているかも含む。

2. AGIプロジェクトの意思決定

3. 政府とAGIプロジェクトに対する一般市民の影響力。 投票を通じたものも含む。

4. AGIの実現をうまく進めることへの、社会による直接的な投資。たとえば、大規模な被害を防ぐ（あるいは逆に引き起こす）ことや、破局を回避できた場合に素晴らしい未来へ舵を切ることを通じたもの。 たとえば、バイオ防衛やAI安全性にどれだけの慈善的投資が向けられるか、それに対してテロを企てるイデオロギー的な狂信者がどれだけいるか。あるいは、倫理的な内省にどれだけの投資がなされるか。

追記：影響領域を分類する一つの方法は、特に重要な集団の意思決定にかかわるのか（1〜2、およびある程度は4）、それとも社会全体にかかわるのか（3）で分けることだ。そうすれば、介入策も「標的型」と「広範型」に分類できる。

いずれの領域についても、AGIに関わるテーマについての意思決定や信念であれば、その重要性ははるかに大きくなる。また、どの領域でも、急速なAIの進歩に社会が適応し対応できることが重要だ。

関連する区別として、介入策が誰に作用するかという観点もある。平均より認識の質が低い人々か（底上げ）、平均的な人々か（平均の引き上げ）、平均より高い人々か（天井の引き上げ）である。

社会の認識の質を追跡するための指標

正気の盆地の中にいるかどうかを見極めるうえで、特に上で挙げた重要な領域について追跡すべき最も重要な指標は、次のものだと考える。

最先端のAIプロジェクトと政府の組織文化。 最先端のAIプロジェクトや政府の文化が、良い意思決定にどれだけ資するものになっているか。

真実を追求するAI（より広く言えば、AIの認識上の美徳）。 最先端のAIがどこまで真実を突き止めて報告しようとしているか。隠れた意図を推し進めたり、見栄えはよいが真実ではない迎合的な出力を生み出したりといった、ほかの目標を追っていないか。

各AIプロジェクトと政府が一般市民に対してどれだけ透明か。

重要な意思決定に費やされる人間とAIの労力。 最も重要な意思決定の多くは政府とAGIプロジェクトが下す。そうした意思決定に、どれだけの労力が注がれるのか。政府とAGIプロジェクトは、意思決定のあいだで労力をうまく配分できているか。なお、労力の質もきわめて重要だ。だからこそ、組織文化と真実を追求するAIが重要な指標になる。

公共の言論の質。 自動ファクトチェックのようなツールのおかげで公共の言論がより理にかなったものになるのか、それとも説得力のある迎合的なAIによって分断が深まるなどして、理にかなわないものになるのか。これは非常に重要だと思われる。その重要な一部が、嘘をついたり人々を操作したりすることが、どれだけ難しくなるかだ。加えて、ファクトチェック、自動の嘘検出、プライバシーを守りながら主張を証明する方法なども重要になりうる（後で詳しく論じる）。

介入策の例

以下に、AIによって認識を改善するうえで最も重要と思われるレバーのいくつかを挙げる。網羅的なリストではない。多くは政府が後押しできる。介入策は、社会全体の集団的な認識、個人の認識、普及の促進のどれに主眼を置くかでおおまかに分けたが、実際には多くの介入策が複数のカテゴリーに役立つ。

この節の内容は、認識と協調のためのツールのアイデアを素描したForethoughtの研究と大きく重なっている。該当する素描には適宜リンクを張った。

集団の認識：社会が真実へ収束するのを助ける

AIの認識上の美徳を測る評価を作り、AGIプロジェクトが自社のAIをその評価で好成績を収めるよう動機づける。（Forethoughtの解説も参照）AIの認識上の美徳を高める第一歩は、それを測定することだ。たとえば、AIがユーザーの聞きたい答えを返すのではなく、何が真実かを突き止めているかどうか、あるいはAIの定量的な予測がどれだけ較正されているかを測定できる。評価ができたら、AGIプロジェクトが実際にその評価で好成績を収めることを重視するかどうかが重要になる。定量的で手軽に実行できる評価と、人間が関与する自由度の高い評価の双方に役割があるだろう。プランAでは、アラインメントや制御の評価を使うのと同様に、能力のスケールアップを認めるかどうかの判断の一環として、政府がAGIプロジェクトに認識面の評価で好成績を収めるよう求めることを推奨する。また、一般市民がAIの認識上の美徳のスコアカードを作り、消費者がどのAIを使うかを決める際にそれを考慮に入れることも推奨する。AGIプロジェクトの従業員も、どの企業で働くかを決める際にそれを考慮に入れるべきだ。

政治家などの公人が、プライバシーを保護した監査や、場合によっては自動の嘘検出を通じて、真実を語っていると証明できるようにする。 プライバシーを保護した監査は、たとえば次のようなものになるだろう。人々があなたに質問できる。あなたが望めば、AIにあなたの非公開データを読ませ、質問には答えつつ、プライバシーをできるかぎり守る形で回答を返させられる。そのAIはデータをどんな形の記憶にも書き込まないので、データは引き続きあなただけのものになる。特定の質問についてAIに答えさせないことも選べるが、その場合、人々はそれを踏まえてあなたを評価できる。政治家はプライバシーを保護した監査に応じるものだ、という規範を確立することを推奨する（Forethoughtの「機密性のある監視と検証」の解説も参照）。より柔軟に使える技術としては、AIによって自動で高精度な嘘検出が可能になる場合が考えられる。この技術はデュアルユースで、たとえば権力者が反体制派を粛清するのに使われかねない。それでも、私たちの最善の推測では、開発する価値はある。特にプランAの環境では、この技術が権力者へのチェックとして使われるよう、世界の側の体制が整っている。さらに、この技術があれば秘密プロジェクトを探知する能力が劇的に高まり、協定の安定性も大きく向上するだろう。

ソーシャルメディアや従来型メディアでAIを活用し、言論を改善して人々が必要な情報を得られるようにする。 新規参入者によるものであれ、既存のサイトや報道機関がAIを導入する形であれ、ソーシャルメディアと従来型メディアの双方でAIは大きな役割を担うようになる。AIがメディアにどう組み込まれるかに影響を与えることは非常に重要だ。たとえば、投稿が虚偽や誤解を招くものである場合に、AIが生成した「コミュニティノート」を付けることが考えられる（Forethoughtの解説も参照）。AIが各投稿への反論を自動で生成することもできる。意見は違っても生産的な対話ができる人同士の交流を促すことで、AIはエコーチェンバーを減らす助けにもなりうる。AIがフィードを編成し、各人が最も目にすべき情報や、その人の見解に最も生産的に異を唱えるコンテンツを表示することもできる（Forethoughtの「自動化された詳細ブリーフィング」と「自動化されたOSINT」の解説も参照）。より広い意味でのキュレーションによって、政治やニュースについて人々が得る情報の質は大きく向上しうる。たとえば、読み手が強い意見を持っていそうな政策提案を目立たせるといった方法がある（Forethoughtの「アラインされたレコメンドシステム」と「個別化された学習システム」の解説も参照）。

政治家を含むあらゆる人の実績記録を収集・採点し、必要な場面で提示する。（Forethoughtの解説も参照）AIを使えば、人々の過去の発言を収集し採点する作業に投じられる労力を大幅に増やせる。たとえば、政治家が公約のうちいくつを守ったか、予測の何%が的中したか、立法でどれだけ成果を上げたかをAIが採点できる。発言をどこまで客観的に採点できるかにはばらつきがあるだろう。客観性の低い発言については、幅広い人々が耳を傾ける信頼されたAIが存在することが望ましい。もしそうならなくても、より客観的な発言だけを採点するだけでも、良い効果は得られるだろう。

共有の認識インフラ（たとえば知識ベース）。 AIが進歩すれば、膨大な量の認識インフラを維持できるようになる。わかりやすい参照点はWikipediaだが、AIにとって最も有望なインフラは（少なくとも当初は）より構造化された知識ベースかもしれない。また、そのインフラは人間よりもAIが解析しやすいことを重視したものになる可能性もある。定量的な予測とその的中状況を追跡するインフラや、さまざまな主張をめぐる議論ツリーなども考えられる。現実認識が分裂して別々の世界に分かれてしまうのではなく、幅広い主体から信頼されるインフラを築くことが重要だ（完全な認識スタックの構築に関するこちらの記事も参照。これはForethoughtが説明する「来歴の追跡」とも関連し、その助けにもなるだろう）。

AIの説得能力を下げ、AIを使って説得を検知することで、説得から身を守る。 ここでは説得を、信念が正しい場合でも誤っている場合でも同じくらい効果を発揮する手法を使って、人々にその信念を抱かせることと定義しよう。何もしなければ、AIはやがて説得において人間をはるかに超える能力を持つかもしれない。ただ、有益な能力をさほど損なわずに説得能力を下げられる可能性は十分にある。もう一つの防衛線は、AIに説得を検知させ、最も強力な形の説得にさらされるのを避けられるように、あるいは少なくとも説得されていることに気づけるように手助けさせることだ（Forethoughtの「レトリックの強調表示」の解説も参照）。プランAでは、米国政府がコンソーシアムのほかの参加国と協力し、説得能力を確実に評価し、制限し、それに対する防御を義務づけることを推奨する。

オンラインの議論で、相手がAIか人間かがわかるようにする。 AIは認識に大きな恩恵をもたらしうると私たちは考えているが、それでも相手が人間かどうかを知ることには価値がある。インターネットのいたるところでボットがさまざまな主張を押しつけているような状況なら、なおさらだ。

個人の認識：個々の主体が真実を突き止めるのを助ける

自動化されたリサーチアシスタントと予測者。 AIによって、幅広い主体が、労力を要する質の高い調査や予測を利用できるようになるかもしれない。それらが迎合的ではなく、可能なかぎり真実を追求するものであることが重要だ。予測は確実に較正されているべきだ。つまり、AIがある出来事の起こる確率を10%と言うなら、実際にそれが10%の頻度で起こらなければならない（Forethoughtの「身近なスーパー予測」の解説も参照）。

感情的な障壁につけ込むのではなく、人々がそれを乗り越えて適切に推論できるよう助ける。 言うまでもなく、人々の認識の質が低い原因の多くは、冷静な分析上の誤りや情報不足よりも、感情的な障壁にある。AIは、人間のトップクラスのセラピストに匹敵する能力に達し、しかもいつでも利用でき、忍耐強いといった利点を備えることで、感情的な障壁の克服を大いに助ける可能性を秘めている。一方で、何も手を打たなければ、AIは短期的に心地よい体験を提供するために、人々が既に持っている偏りを追認し、増幅してしまうかもしれない（Forethoughtの「内省の足場」と「守護天使」の解説も参照。関連はあるが、より広い内容を扱っている）。

シナリオプランニングと探索の自動化。AIは、プランAや『AI 2027』のような詳細なシナリオプランニングを、あらゆる意思決定について行う手助けができ、定量的で実証可能な予測を引き出す手助けもできる。さらに、ビデオゲームのようなシミュレーションを通じて、さまざまなシナリオを探索する手助けもできるだろう。人間が知能爆発のさなかにあるAGI企業のCEOなどの役を演じ、ほかの全員の行動と世界の展開をAIがシミュレートするのである（Forethoughtの「オンデマンドのシナリオプランニング」の解説も参照）。

普及を促す

上記のような認識ツールの普及を促す。 プランAでは、米国政府が認識ツールを迅速に導入し、AGIプロジェクトにも同様の導入を促すことを推奨する。

AI全般の普及を促す。 AI全般の普及を促すことは、既存のAIの能力や動向について社会の理解を深めるうえで価値があると思われる。プランAでは、米国政府がAIを迅速に導入することを推奨する。

その他

有望だと考えているものの、上記ほどは具体化できていないアイデアをいくつか挙げる。

1. Forethoughtがこちらで説明している、防御側に有利な協調技術のアイデアすべて。

2. 超知能の時代に向けて、政府をどう抜本的に改革するかを考える。合衆国憲法を根本的に改正すべきである可能性も十分にある。

3. 人間とAIの関係が緊密になっていくなかで、その関係を良い方向へ形づくる。これは重要だと思われるが、うまくやるのは難しい。

付録

認識ツールに取り組むことの見込み

より優れたAIが登場すれば分野特化型のツールの必要性は減るかもしれないのに、なぜ認識ツールを構築したり普及を促したりする価値があるのか： 認識ツールを構築することの価値について、私は確信を持っていない。どのツールであれ、将来のAIによって不要になってしまう可能性は十分にある（詳しくはこちら）。それでも、その価値については楽観している。AIが進歩すれば、そのままの状態のAIを認識のために使うことは容易になるが、スキャフォールディング、UX、ヒューマンファクターは引き続き大きな意味を持つかもしれない。たとえば、AI同士に討論させてから、その討論を判定するというベストプラクティスをツールに組み込めるが、そのままの状態のAIはそうしないかもしれない。あるいは、人間を相手にした試行錯誤を重ねて磨き上げたUXをツールが備えていて、AIは反復なしにはそれを再現できないかもしれない。あるいは、ツールの技術的な部分は時代遅れになっても、提供企業がそのブランドを信頼するユーザー基盤を築いているかもしれない。

意思決定の問題の分解

完璧な意思決定をした場合や、私の価値観に照らした場合と比べて、人々（私自身も含む）が悪い意思決定を下してしまう理由は何だろうか。

現在の世界の状況や予測について明示的に推論するときに、誤った信念を持っている可能性がある。なぜか。

十分に良い情報を入手できていない可能性がある。たとえば、特定の方向に偏ったニュースしか読んでいない場合だ。

手元の情報を十分にうまく解釈できていない可能性がある。

1. 目先のインセンティブ（金銭的、社会的など）についての明示的な推論

2. 信頼すべきニュースソースや人を信頼せず、判断を委ねない

3. 感情的な障壁

4. 推論の拙さ

特定の「ミームプレックス」（社会集団、文化、イデオロギー）を支えようとしているために、適切な推論や気づきをある種の形で断ち切らざるをえない可能性がある。ミームプレックスは協調には役立つが、認識には悪影響を及ぼしうる。

明示的な推論ではなく本能に基づいて、まずい意思決定を下している可能性がある。その原因の一つが、明示的に推論されることのない目先のインセンティブ（金銭的、社会的など）だ。

価値観が異なっている可能性がある（これは意思決定の問題ではなく、倫理上の意見の相違である）。

1. 私の利己的な目標を、私ほどには重視していない。

2. 自分の利己的な目標を、私よりも重視している。

3. 利他的な価値観が異なる。

---