認識の改善に向けたAI活用
Eli Lifland
概要
人類の認識の健全性、すなわち真実に到達し、それを基に妥当な判断を下す能力は、優れた未来を実現するうえで決定的に重要である。プランAの進行中にAIの能力が高まるほど、生活のあらゆる側面に及ぼす影響も増し、認識の健全性も例外ではない。AIが認識の健全性に与える影響は非常に大きく、良い方向にも悪い方向にも振れうる。
AIによる認識改善には正のフィードバック・ループが働くと予想するため、目標は健全性の盆地へ入ることに置き、この盆地では自己強化が働くため、AIが進歩し続けても、社会は自らの認識をさらに健全にできるだけの健全さを保つ。AIのテイクオフ期に米国政府が最優先すべきことの一つは、この盆地にとどまることである。
AIが認識の健全性へ与える影響のうち、特に重要なのは、政府とAGIプロジェクトの意思決定、および市民がそれらの主体へ及ぼす影響だと考える（詳細）。プランAでは、認識改善にAIを使う重要な用途として、協定の弱体化を防ぐこと、すなわち減速協定の安定性と実効性を高めることがある。
主要指標社会の認識の健全性を追跡する指標には、次がある。
フロンティアAIプロジェクトと政府の組織文化。
真実を追求するAI、より広くはAIの認識上の誠実さ。
各AIプロジェクトと政府が市民に対してどれほど透明か。
重要な判断に投入する人間とAIの労力。
公共的議論の質。
AIが認識の健全性へ良い影響を与えるよう、次の介入策を提案する（詳細）
認識改善にAIを使う背景と「健全性の盆地」
超知能の開発が人類にとってどれほど良い結果になるかは、AIのテイクオフ期をどう進むかについて、私たちがどれほど妥当な判断を下せるかに大きく左右される。プランAでは、高能力AIを理解する時間が長いというだけでも、デフォルト世界より良い位置にいる。それでも人類の認識の健全性、すなわち真実に到達し、それを基に妥当な判断を下す能力は、優れた未来を実現するうえで決定的に重要である。
プランAの進行中にAIの能力が高まるほど、生活のあらゆる側面に及ぼす影響も増し、認識の健全性も例外ではない。AIが認識の健全性に与える影響は、技術的なAI安全性研究の自動化と同程度か、それ以上に重要になりうる。
高能力AIは、全体として認識の健全性を大きく改善することも、悪化させることもありうる。AIの能力を考えれば、これまでの歴史で見られた範囲を超えるほど良い極端または悪い極端へ、社会の認識を押し進める可能性がある。
さらに、良い極端と悪い極端を維持し、いっそう押し進める正のフィードバック・ループが生じると予想する。社会の認識が健全で、人々が真実に即した信念を持っていれば、認識を改善するAIツールが正しく評価され、採用されやすい。反対に、社会の認識が悪化し、人々が極端なフィルターバブルの中でAIから聞きたい話だけを聞いていれば、AIの能力が高まるほど、迎合的なAIツールを採用し続けるかもしれない。このフィードバック・ループがあるため、AIが認識の健全性へ与える影響を良い方向へ導くことは、いっそう急務となる。
このフィードバック・ループを踏まえると、健全な認識を保ってAIのテイクオフ期を進むには、健全性の盆地へ入ることに置き、この盆地では自己強化が働くため、AIが進歩し続けても、社会は自らの認識をさらに健全にできるだけの健全さを保つ。AIのテイクオフ期に米国政府が最優先すべきことの一つは、この盆地にとどまることである。
AIによる認識改善が影響する領域
少なくとも長期的には、各分野の健全性は、「フロンティアAI自身が健全な認識を持ち、それを広めるか」といった共通要因に左右されるため、相関すると予想する（後述）。それでも、とりわけテイクオフ初期には使えるツールや普及度が分野によって異なりうるため、認識の健全性がもたらす具体的な影響を分野ごとに論じる意味はある。とりわけ注目すべき影響は次のとおりである。
政府の意思決定。政府がAGIプロジェクトにどれほど取り込まれているかも含む。
AGIプロジェクトの意思決定
政府とAGIプロジェクトに対する市民の影響。投票を通じた影響も含む。
AGIを直接良い方向へ導くための公共投資であり、たとえば、投資によって大規模な被害を防ぐのか、逆に生み出すのか、あるいは破局を回避できた場合に優れた未来へ進めるかに関わる。たとえば、生物防衛やAI安全性への慈善投資がどれほどあるか、それに対して、テロを試みる思想的狂信者がどれほどいるかである。倫理的な熟慮へどれだけ投資するかも含む。
いずれの領域でも、AGIに関わる論点についての判断や信念は、重要性が大幅に増す。また、急速なAI進歩を理解し、対応できる力を社会が備えていることが欠かせない。
関連する区別として、介入が、認識の健全性が平均未満の人々、すなわち底上げ、平均的な人々、すなわち平均改善、平均を上回る人々、すなわち上限引き上げ).
社会の認識の健全性を追跡する指標
上で挙げた重要領域を中心に、社会が「健全性の盆地」にいるかを判断するには、次の指標を追うことが最も重要だと考える。
フロンティアAIプロジェクトと政府の組織文化。フロンティアAIプロジェクトと政府の文化が、良い判断をどれほど促しているか。
真実を追求するAI、より広くはAIの認識上の誠実さ。フロンティアAIが、隠れた意図を進めたり、もっともらしいが事実ではない迎合的な回答を出したりするのではなく、どの程度まで真実を突き止め、報告しようとしているか。
各AIプロジェクトと政府が市民に対してどれほど透明か。
重要な判断に投入する人間とAIの労力。政府やAGIプロジェクトが下すものを含む最重要の判断へ、どれだけの労力を割いているか。政府やAGIプロジェクトは、判断案件の間で労力を適切に配分できているか。なお、その労力の質もきわめて重要であり、だからこそ組織文化と、真実を追求するAIが主要指標となる。
公共的議論の質。自動ファクトチェックなどのツールによって公共的議論がより合理的になるのか、それとも、説得力の強い迎合的なAIが分断を深め、かえって不合理になるのかは、きわめて重要である。その鍵の一つは、各主体が人々に嘘をついたり、操作したりすることがどれほど難しくなるかにある。ファクトチェック、自動嘘検出、プライバシーを守りながら主張を立証する方法なども重要になりうる（後段で詳しく論じる）。
介入策
以下では、AIを使って認識の健全性を改善するうえで特に重要と思われる手段を、網羅を意図せず挙げ、多くは政府が後押しできる。介入策は、社会全体の認識、個人の認識、導入促進のどれを主眼とするかで大まかに分けるが、実際には複数に効くものが多い。
この節は、次のForethoughtの研究と重なる部分が多く、そこでは認識改善と協調のためのツール案を概説しており、本稿でも必要に応じて個別案へリンクした。
社会全体の認識：社会が真実へ近づくのを助ける
AIの認識上の徳を測る評価を作り、AGIプロジェクトに、その評価でAIが高得点を取るよう促す。（関連： Forethoughtの文書）AIの認識上の誠実さを改善するには、まず測定する必要がある。たとえば、ユーザーが聞きたい答えを返すのではなく、AIがどの程度まで真実を突き止めるか、AIの定量予測がどれほど適切に較正されているかを測れる。評価手法を用意しただけでは足りず、AGIプロジェクトがその成績を実際に重視しなければならない。定量的で容易に実行できる評価と、人間が関与する自由度の高い評価の双方に役割がある。プランAでは、アラインメント評価や制御評価と同じく、能力の拡大を認めるかどうかの判断材料として認識評価を使い、AGIプロジェクトに好成績を求めるよう政府へ提案する。また一般の人々には、AIの認識上の誠実さを示すスコアカードを作り、消費者が利用するAIやAGIプロジェクトの従業員が勤務先を選ぶ際の判断材料にすることを勧める。
プライバシーを守る監査と、場合によっては自動嘘発見によって、政治家などの公人が真実を述べていると証明できるようにする。プライバシー保護監査は、たとえば次のような仕組みになる。人々から質問を受け、本人が望めばAIに私的データを読ませ、質問には答えつつプライバシーをできる限り守る回答だけを報告させる。そのAIはデータをいかなる記憶装置にも書き込まないため、データの所有者は引き続き本人だけである。特定の質問への回答をAIに拒ませることもできるが、その拒否を踏まえて人々が本人を評価することになる。政治家はプライバシー保護監査を受けるべきだという規範を設けることを提案する（関連： Forethought「Confidential monitoring and verification」）。AIで自動かつ高精度な嘘検出ができれば、より柔軟な技術になる。これはデュアルユースであり、権力者が反体制派を排除するために使うこともありうる。それでも、特に権力者を牽制する用途へ向けやすいプランAの環境では、開発する方がよいというのが現時点の最良推定である。加えて、秘密プロジェクトの検知能力を大幅に高め、協定の安定性も大幅に高める。
ソーシャルメディアと従来型メディアでAIを使い、議論の質を高め、人々へ情報を届ける。新規参入者が使う場合も、既存のサイトや媒体が導入する場合も、AIはソーシャルメディアと従来型メディアの双方で大きな役割を担う。AIをメディアへどう組み込むかは非常に重要である。たとえば、AIが生成する「コミュニティノート」を、投稿が虚偽または誤解を招く場合に表示できるほか、Forethoughtの文書AIは各投稿への反論も自動生成できる。意見は異なるが建設的に対話できる人々の交流を促し、エコーチェンバーを弱めることもできる。フィードを選別して、各人が見るべき重要情報と、その人の見解を最も建設的に問い直す内容を示せる（関連：自動詳細ブリーフィングと自動OSINTに関するForethoughtの文書）。選別をより広く使えば、読者が強い意見を持つ政策案を目立たせるなど、政治やニュースについて人々が得る情報を大きく改善しうる。（関連：アラインした推薦システムと個別化した学習システムに関するForethoughtの文書）。
政治家を含む全員の実績を収集・採点し、必要な場面で示す。（関連： Forethoughtの文書）。AIを使えば、人々の過去の発言を集めて採点する作業へ、はるかに多くの労力を投入できる。たとえば政治家について、約束をどれだけ守ったか、予測の何%が的中したか、立法でどれほど成果を上げたかを評価できる。発言を客観的に採点できる度合いには差があり、客観性の低い発言については、幅広い人々が耳を傾ける信頼されたAIがあることが望ましいが、そうでなくても、客観性の高い発言だけを採点することで改善は見込める。
知識ベースなど、共有の認識基盤を整える。AIの能力が高まれば、膨大な認識基盤を維持できるようになる。Wikipediaが分かりやすい参照例だが、AI向けには、少なくとも当初は、より構造化された知識ベースの方が有望かもしれず、人間よりAIが解析しやすい形を重視する可能性もある。定量予測とその結果を追跡する仕組みや、さまざまな主張についての論証ツリーなどが考えられる。現実認識が互いに分裂しないよう、幅広い主体から信頼される基盤を築くことが重要である（関連：完全な認識スタックの構築に関する記事）に関連し、Forethoughtが述べる「Provenance tracing」.)
AIの説得能力を弱め、AIで説得を検出することにより、説得から人々を守る。ここで説得を、ある信念が偽でも真でもほぼ同じように人を納得させられる手法の使用、と定義する。何も対策しなければ、AIはやがて説得で大幅に人間を上回りうるが、有益な能力をあまり損なわずに説得能力を弱められる可能性もある。別の防御策として、AIに説得を検出させ、最も強力な説得へ人々がさらされるのを避けるか、少なくとも説得を受けていると気づけるよう助ける方法がある（関連： ”「Rhetoric highlighting」に関するForethoughtの文書）。プランAでは、米国政府がコンソーシアムの他の参加国と協力し、説得能力を評価・制限し、それに対する防御策を義務づけることを提案する。
オンラインの議論で、相手がAIか人間か分かるようにする。AIは認識の健全性へ大きな利益をもたらしうるが、相手が人間かどうかを知ることには依然として価値がある。インターネット全体でさまざまな意図を広めるボットがいる場合は、とりわけ重要である。
個人の認識：個々の主体が真実を見極めるのを助ける
研究助手と予測担当者を自動化する。AIによって、幅広い主体が、質が高く多くの労力を要する調査や予測を利用できるようになる。これらは迎合せず、できる限り真実を追求しなければならない。予測は適切に較正する必要があり、たとえばAIが発生確率を10%と述べる事象は、実際にも10%の頻度で起こるべきである。（関連： Forethought「Ambient superforecasting」.）
感情的な弱みにつけ込むのではなく、それが妥当な推論を妨げる状態から抜け出せるよう、人々を助ける。人々の認識が損なわれる原因の多くは、冷静な分析上の誤りや情報不足ではなく、感情面の障害にある。AIは、利用しやすさや忍耐強さなどで人間を上回りつつ、最上位の人間セラピスト並みの能力に達すれば、感情面の障害を大幅に和らげうる。反対に、介入しなければ、短期的に心地よい体験を与えるために、人々の既存の偏見を肯定し、さらに強めるかもしれない（関連：「Reflection scaffolding」と「Guardian angels」に関するForethoughtの文書であり、これらは関連するが扱う範囲はさらに広い）。
シナリオの計画と探索を自動化するAIはプランAやAI 2027のような詳細なシナリオ計画を、あらゆる判断について作れる。定量的で実証可能な予測を引き出す助けにもなりうる。人間が知能爆発期のAGI企業CEOなどの役を担い、AIが他の全員の行動と世界の変化を再現する、ゲーム形式のシミュレーションで多様なシナリオを探索することもできる（関連： Forethought「Scenario planning on tap」.）
導入促進
上記のような認識改善ツールの導入を促す。プランAでは、米国政府が認識改善ツールを速やかに導入し、AGIプロジェクトにも導入を促すことを提案する。
AIの導入を広く促す。AIを広く導入すれば、既存AIの能力と傾向を社会がより深く理解しやすくなる。プランAでは、米国政府がAIを速やかに導入することを提案する。
その他
有望だと考えるものの、上記ほど具体化できていない案もある。
Forethoughtがこちら。
超知能の時代に合わせて政府を抜本的に作り直す方法を検討する。憲法も大幅に改正すべきかもしれない。
人間とAIの関係を良い方向へ導き、両者が近づくようにするという案は、重要に見えるが、正しく設計するのは難しい。
付録
認識改善ツールへ取り組む意義
高性能AIが領域別ツールの必要性を下げうるなかでも、認識改善ツールを構築し、導入を促す価値がある理由：認識改善ツールを構築する価値には確信がなく、個々のツールが将来のAIに置き換えられる可能性もあるが、それでも価値には楽観的である。AIが進歩すれば、汎用AIをそのまま認識改善へ使いやすくなる一方、足場、UX、人間側の要因は引き続き大きな意味を持ちうる。たとえば、AI同士を討論させてから判定するという優れた手法をツールへ組み込めても、汎用AIがそのまま実行するとは限らない。人間との多くの試行錯誤で磨いたUXを持つツールもあり、AIは反復なしには再現できないかもしれない。技術部分が陳腐化しても、運営企業がブランドを信頼する利用者基盤を築いている場合もある。
意思決定上の問題の分解
完全な意思決定と私自身の価値観を基準にすると、人々が私を含めて悪い判断を下しうる理由は何か。
世界の現状や予測について明示的に考える際、誤った信念を持つ可能性がある。なぜか。
十分に良い情報へアクセスできず、たとえば、特定方向へ偏ったニュースしか読んでいないかもしれない。
得た情報を十分に理解できていない可能性がある：
局所的なインセンティブ（金銭、社会的評価など）についての明示的な推論
適切な報道機関や人物を信頼せず、判断を委ねない
感情面の障害
推論能力の不足
良い推論や事実への気づきを部分的に遮断しなければ維持できない、一般的な「ミーム複合体」、すなわち社会集団、文化、イデオロギーを支持しようとしている可能性がある。ミーム複合体は協調には役立つが、認識の健全性を損ないうる。
明示的な推論ではなく直感に基づき、悪い判断を下す可能性がある。その一因は、本人が明示的には検討していない局所的なインセンティブ、すなわち金銭や社会的評価などである。
価値観そのものが異なる可能性もあるが、これは意思決定上の問題ではなく、倫理的な不一致である：
私の利己的な目標を、私ほど重視しない。
自分自身の利己的な目標を、私より重視する。
利他的な価値観が異なる。
参照：こちらAIを使った認識改善に生じうる正と負のフィードバック・ループについて、さらに論じている。
参照： https://www.longtermwiki.com/organizations/anthropic AIが生成する知識ベースの試作版。