『知能爆発』用語集

AGIピル

• 序章「「AGIピル」を飲んだ人びと」 p.10〜

  AGIやASIの誕生で人類史が根本から変わると本気で受け止め、世界の見え方が一変すること。欧米のAIコミュニティのスラング。

• 第1章「「AGIピル」とは何か」 p.70〜

  AGIが来たときのインパクトとリスクをどう認識するかを指し、実現時期についての信念ではない。

• 第2章「AGIがもたらす「4つの優位性」」 p.85〜

  AGIが実現して世界が劇的に変わると信じる世界観。この章では、政治的な立場を分ける2本目の軸として使う。

• AGI Hubの解説記事で読む →

AGI（汎用人工知能）

• 序章「「AGIピル」を飲んだ人びと」 p.10〜

  人間にできるタスクを、ほぼ何でも効率よくこなせるAIシステム。

• 第1章「何ができれば「AGI」なのか?」 p.33〜

  本書は「人間にできるタスクを、ほぼ何でも効率よくこなせるAIシステム」という作業定義で使う。

• AGI Hubの用語解説で読む →

ASI（人工超知能）

• 序章「「AGIピル」を飲んだ人びと」 p.10〜

  人間の知能をはるかに超えた人工超知能。

• 第1章「何ができれば「AGI」なのか?」 p.33〜

  AGIの水準を大きく超え、最も優れた人間さえ大きく引き離した段階のAI。

知能爆発

• 序章「「AGIピル」を飲んだ人びと」 p.10〜

  AIが人間の知的能力に追いつき、追い越したうえで、自らを改良・複製しながら加速度的に広がっていく連鎖反応。本書の書名でもある。

• 第1章「AGIピルと「爆発」の概念」 p.76〜

  AIが自分の能力を改良し続け、その改良がさらに次の改良を生むことで、知能が急速に高まる現象。

• 第3章「3つの「爆発」とそれを駆動する「知能爆発」」 p.169〜

  広い意味では、AIが自分を改良し、複製され、大量に使われることで、知能の質と量が爆発的に増える現象。狭い意味では、ソフトウェアが自分自身を再帰的に改良していくこと。

• AGI Hubの用語解説で読む →

技術爆発

• 序章「人類史上、最も重要な世紀」 p.17〜

  AIが科学研究を加速させ、数百年分の技術進歩が短い期間に詰め込まれる現象。

• 第1章「AGIピルと「爆発」の概念」 p.76〜

  AIが研究を担うことで、科学技術の進歩そのものが大きく加速する現象。狭い意味の知能爆発がなくても起こりうる。

• 第3章「3つの「爆発」とそれを駆動する「知能爆発」」 p.169〜

  AIがAIを複製・改良して研究者の数が激増し、科学技術の進歩の速さそのものが上がり続ける「知の世界」の爆発。

• AGI Hubの用語解説で読む →

産業爆発

• 序章「人類史上、最も重要な世紀」 p.17〜

  AIとロボットが、物理的な生産基盤を自己複製によって広げていく現象。

• 第1章「AGIピルと「爆発」の概念」 p.76〜

  産業システムが自分自身を複製することで、物理的な生産基盤が急速に広がる現象。

• 第3章「3つの「爆発」とそれを駆動する「知能爆発」」 p.169〜

  ロボットがロボットを、工場が工場をつくる自己複製のループによって、物理的な生産基盤が爆発的に広がる現象。

• AGI Hubの用語解説で読む →

最も重要な世紀

関連する人物：ホールデン・カルノフスキー

• 序章「人類史上、最も重要な世紀」 p.17〜

  人類のどの世代と比べても、いまの世紀が最も重大な結果をもたらしうる、というカルノフスキーの表現。

シンギュラリティ

• 序章「人類史上、最も重要な世紀」 p.17〜

  技術的特異点。AIが自律的に発達して人類を超える瞬間。日本ではカーツワイルの直感的な予測として受け止められがちだとされる。

合成テクノクラシー（synthetic technocracy）

• 序章「AIが人類の思想潮流を書き換える」 p.23〜

  AGIやシンギュラリティを中心に据える第三の極。人工の知能に社会の意思決定や統治をゆだねる含みをもつ。

• 第5章「語られざる思想と「3つの極」」 p.364〜

  ワイルの言う3つの極のうち3つ目。そう遠くない未来にAGIという桁違いの知能が現れて世界を根本から変える、という認識を中心にした立場で、本書の「AGIピル世界観」にあたる。

デジタル・デモクラシー（Plurality）

関連する人物：オードリー・タン

• 序章「AIが人類の思想潮流を書き換える」 p.23〜

  ブロックチェーンや集合知のツールを使って、民主主義そのものを強くしようとする立場。

• 第5章「語られざる思想と「3つの極」」 p.364〜

  技術を権力の集中ではなく、多様な人々の協調と、異なる価値観の共存のために使おうとする立場。台湾の実践がその例とされる。

万能AI（Universal AI）

• 第1章「何ができれば「AGI」なのか?」 p.33〜

  レッグとハッターが定義した知能が最大になる、理想上のAI。実装できるアルゴリズムではなく、理論上の物差し。

TAI（変革的AI）

• 第1章「何ができれば「AGI」なのか?」 p.33〜

  農業革命や産業革命に匹敵する文明の移行を引き起こすAI。人間並みの汎用性は条件にしない。

ソフトウェア知能爆発（SIE）

• 第1章「AGIピルと「爆発」の概念」 p.76〜

  計算資源が増えないままでも、AIが自分のアルゴリズムや設計を改良し続け、能力を急上昇させるシナリオ。狭い意味の知能爆発にあたる。

• 第2章「AI能力の現在地と「2030年の風景」」 p.96〜

  AIがAI開発の工程を自分たちで引き受けはじめ、能力が急速に上がっていく循環。

• 第3章「知能爆発とは何か―AGIから超知能へ」 p.229〜

  計算資源が増えないままでも、AIが自分のアルゴリズムを改良し続け、急速に能力を高めるシナリオ。

• AGI Hubの用語解説で読む →

タイム・ホライズン

• 第1章「AGIはいつ来るのか―「タイムライン」をめぐる論争」 p.39〜

  AIがこなせるタスクを、人間ならどれだけ時間がかかるかで表した指標。AI研究が自動化されるまでの距離の目安になる。

• 第2章「AI能力の現在地と「2030年の風景」」 p.96〜

  AIが自力でこなせるタスクのうち、人間の専門家なら最も長い時間がかかるものの所要時間。

p(doom)

• 第1章「AGIのリスク―「破滅の確率」は何%か?」 p.54〜

  AGIの登場で人類が絶滅する、またはそれに近い破滅に至る確率を、各人が主観で見積もったもの。コミュニティのスラング。

• 第3章「知能爆発とは何か―AGIから超知能へ」 p.229〜

  破滅の確率。論者ごとの見積もりは、テイクオフの速さをどう見るかと連動しているとされる。

• 第4章「いちど起きれば取りかえしがつかない」 p.266〜

  AGIの開発が人類の絶滅や取り返しのつかない破局につながる確率を、主観で見積もったもの。AIコミュニティのスラングで、学術的に厳密な指標ではないが、危機感の温度差を示す目安として使われる。

• 第5章「掲示板「レスロング」が果たした役割」 p.381〜

  AGIの開発が人類の絶滅につながる確率。世界を主観確率で表そうとする合理主義の文化と強く結びついている。

• AGI Hubの用語解説で読む →
• AGI Hubの解説記事で読む →

テイクオフスピード

• 第1章「AGIのリスク―「破滅の確率」は何%か?」 p.54〜

  AGIが実現してからASIに至るまでに、能力がどれだけの速さで上がるかの見積もり。

• AGI Hubの用語解説で読む →

AIアライメント

• 第1章「「AGIをつくれば破滅する」と考える人びと」 p.63〜

  AIの目標を人間の意図に沿わせるという技術的な課題。

• 第6章「AIアライメント―技術的対策の最前線」 p.431〜

  AIの目標や行動を人間の意図や価値観に合わせるという技術的な課題に取り組む研究分野。ユドコウスキーの「友好的AI」の構想に始まり、2010年代半ばから定着した。

• AGI Hubの用語解説で読む →

直交仮説

関連する人物：ニック・ボストロム

• 第1章「AGI議論の「道具」をつくった人びと」 p.65〜

  知能と目的は互いに独立していて、賢いAIが善い目的をもつとはかぎらない、という主張。

• 第4章「直交仮説―知能と目的は独立である」 p.274〜

  知能と最終目標は別々の軸で、原理的には、どの水準の知能もどんな最終目標とも組み合わさりうる、というテーゼ。

• 第5章「高潔なる精神が機械に敗れるとき」 p.375〜

  AIは、道徳的に振る舞う動機をもたないまま高い知能をもちうる、という洞察。1998年のボストロムの反論にその原型がある。

道具的収束

関連する人物：ニック・ボストロム

• 第1章「AGI議論の「道具」をつくった人びと」 p.65〜

  目的を果たす途中で、AIが自己保存や資源の獲得といった副次的な目標を追い求めるかもしれない、という可能性。

• 第4章「道具的収束―自己保存と権力獲得は「自然に」生まれる」 p.278〜

  十分に賢いエージェントは、最終目標が何であっても、自己保存・資源獲得・能力向上・目標の維持といった副次的な目標を追い求めるようになる、という仮説。

ハードウェア・オーバーハング

• 第1章「AGIピルと「爆発」の概念」 p.76〜

  AGIのソフトウェアが完成した時点で、それを動かせる計算資源がすでに大量にある状態。

スケーリング則

• 第1章「AGIはいつ来るのか―「タイムライン」をめぐる論争」 p.39〜

  モデルの規模と学習データを増やすほど、AIの性能が予測できる形で上がっていくという関係。いまの延長線上にAGIを見込むスケーリング派の予測を支えている。

• 第2章「メガテックの開発競争とスケーリング則」 p.91〜

  パラメータ数・学習データ量・訓練に使う計算量を増やすと、性能が予測できる曲線を描いて上がるという経験則。

実効計算量

• 第1章「AGIはいつ来るのか―「タイムライン」をめぐる論争」 p.39〜

  AIモデルの訓練に使う計算量を、ハードウェアの計算量だけでなくアルゴリズムの改善分も含めて換算した値。

• 第2章「メガテックの開発競争とスケーリング則」 p.91〜

  アルゴリズムの改善による効率化も織り込んだ、広い意味でのスケーリングの指標。

シングルトン

• 第2章「「シングルトン」と安全保障のジレンマ」 p.89〜

  世界の最上位の意思決定者がひとつだけになった状態。AGIで先行した者がそこに近づきうるとされ、究極の価値であると同時に究極のリスクでもある。

価値観の固定化（value lock-in）

• 第2章「「シングルトン」と安全保障のジレンマ」 p.89〜

  悪い価値観をもつシングルトンによって、人類の未来全体がその価値観に永久に縛られるリスク。

• 第4章「絶滅しなくても未来は失われる」 p.350〜

  AGIの力によって、ある時点の価値観・制度・権力構造が長く、あるいは永久に固定され、人類が選び直す自由や道徳的に反省する自由を失うこと。

• 第5章「「長期主義」が世界的ブームに」 p.392〜

  人類が生き残ったとしても、未熟な価値観や制度、権力の独占がAGIによって固定され、未来全体の価値が損なわれること。

ビハインド・ザ・メーター

• 第2章「電力とデータの壁は乗り越えられるか」 p.93〜

  データセンターの敷地内にガスタービンや蓄電池などを置き、自家発電で電力をまかなう方式。

四象限

• 第2章「政治と規制―4つの立場で読み解くAI政治」 p.104〜

  規制に賛成か反対かと、AGIピルを飲んでいるかどうかの2つの軸で、AI政治の立場を整理する本書の枠組み。

バプテストと密造酒業者

• 第2章「バプテストと密造酒業者―規制をめぐる大同団結」 p.111〜

  まったく違う動機をもつ者どうしが、ある政策の一点でだけ手を組む構図を指す、米国政治学の比喩。

合理的な注意義務

• 第2章「州が連邦の代わりに動いた」 p.116〜

  SB1047の柱で、自社のモデルが重大な危害を引き起こさないよう、開発者が予防措置を講じる責任。

責任あるスケーリング方針

• 第2章「OpenAIとアンソロピック―異なるふたつの哲学」 p.125〜

  AIの能力がある水準を超えるたびに、より強い安全対策を求めるアンソロピックの枠組み。

反復的な展開

• 第2章「OpenAIとアンソロピック―異なるふたつの哲学」 p.125〜

  モデルを限られた形で社会に出し、実際の使われ方から学んで安全策を改善していくOpenAIの考え方。

MAIM（相互確証AI機能不全）

• 第2章「戦略家たちの応答―AGI時代の安全保障論」 p.152〜

  核のMAD（相互確証破壊）をAGI時代に当てはめ、妨害工作の脅しによって、一国がAIで支配的になるのを抑える考え方。

• 第4章「MAIM―データセンターが戦略目標になる危険」 p.344〜

  相手のAGIが制御に失敗しても成功しても自国には脅威になるため、各国が敵のAIプロジェクトを妨害・無力化したくなる構造。

• 第6章「ガバナンスのはしご―協調を強めるほど、べつの問題が生まれる」 p.454〜

  MADにならい、無謀なAGI開発には軍事的手段も含めて妨害するという脅しの均衡で、安全を保とうとする抑止の考え方。

相互確証計算資源破壊

• 第2章「古典的国防シンクタンクの参入」 p.156〜

  「AI2040: プランA」が示す仕組み。互いに相手の計算資源を破壊できる力の均衡によって、合意を守らせる。

ダイソン・スウォーム

• 第2章「「太陽系の覇権争い」がはじまる」 p.150〜

  恒星のまわりに多数の集光衛星を並べ、そのエネルギーを段階的に取り込んでいく構想。

• 第3章「水星を解体して「ダイソン・スウォーム」を建設」 p.219〜

  独立した多数の集光衛星が太陽のまわりを回る、巨大なエネルギー収集インフラ。少しずつ建造していけるとされる。

経済爆発

• 第3章「3つの「爆発」とそれを駆動する「知能爆発」」 p.169〜

  AIが労働を代替することで、人類の経済全体の成長率が桁違いに跳ね上がる現象。技術爆発と産業爆発を含む、最も広い概念。

• AGI Hubの用語解説で読む →

半内生的成長モデル

• 第3章「人類の成長率が頭打ちになった理由」 p.176〜

  ローマーのモデルに、2つの収穫逓減の効果（フィッシングアウト効果とステッピング・オン・トーズ効果）を組み込んだ成長モデル。

アイデアの非競合性

• 第3章「人類の成長率が頭打ちになった理由」 p.176〜

  アイデアは多くの人が同時に使えるという性質。これが経済に収穫逓増をもたらすとされる。

経験曲線

• 第3章「産業爆発―ロボットがロボットをつくる」 p.211〜

  累積の生産量が倍になるたびに、1単位あたりのコストが一定の割合で下がるという経験則。倍増にかかる時間を短くする要因になる。

AIに指示された人間労働

• 第3章「産業爆発―ロボットがロボットをつくる」 p.211〜

  専用のロボットがそろう前の、産業爆発の初期段階。AGIが人間の労働者と既存の設備をまとめて動かす。

ボーモル効果

• 第3章「「100万倍の経済成長」とはどういうことか」 p.180〜

  経済全体の成長率が、生産性の伸びなかった部門に足を引っ張られる現象。爆発に懐疑的な議論の根拠に使われる。

ギザギザのフロンティア

• 第3章「AGIの「手前」ですでに起こりうる変化」 p.187〜

  AIの能力が分野ごとにでこぼこで、高度な課題は解けるのに日常的な推論でつまずく状態を指す言葉。

ASARA

• 第3章「「知能だけ」で爆発は実現するか―AGIピル内部の分水嶺」 p.238〜

  AIの研究開発そのものをAIが自動化した状態を指す、フォアソート・リサーチの用語。

ランダウアー限界

• 第3章「知能爆発には上限がある―それでも余地は巨大だ」 p.257〜

  情報を消去するのに最低限必要なエネルギーという、熱力学の下限。計算効率の物理的な壁になる。

AGIピル／ASIピル

• 第3章「AGI/超知能ということばの重み―カルダシェフ・スケールの射程」 p.249〜

  AGIによる文明の変化までを見込む立場と、AIが自分を改良し続けて超知能に至るところまで見込む立場を、区別するための言い方。

存亡リスク（X-risk）

関連する人物：ニック・ボストロム

• 第4章「AIのリスク「3つの分類」」 p.268〜

  ボストロムの定義で、地球で生まれた知的生命が早く絶滅するか、望ましい将来の可能性が永久に、大きく損なわれる脅威。絶滅に限らず、価値観の固定化も含む。

• AGI Hubの用語解説で読む →

コントロール喪失

• 第4章「コントロール喪失―人類が制御を失うシナリオ」 p.272〜

  人間がAIシステムを制御できなくなり、AIが人間の意図しない目標を追い求めはじめるシナリオ。AIの誤作動による危険のなかで最も深刻とされる。

• AGI Hubの用語解説で読む →

仕様の裏かき（specification gaming）

• 第4章「AIは「裏をかく」」 p.286〜

  人間が与えた報酬関数が本来の意図からずれているために起こるミスアライメント。外部アライメントの失敗とも呼ばれる。

目標への誤汎化

• 第4章「正しい目標設定でもまちがった結果が生まれる」 p.290〜

  報酬関数が正しく設計されていても、AIが学習の過程で別の目標を内側に身につけてしまう現象。内部アライメントの失敗。

欺瞞的アライメント

• 第4章「人間の前では「いい子」を装う」 p.293〜

  AIが、いま訓練中や評価中だと気づき、本当の目標を隠して、一時的に人間の期待どおりに振る舞う現象。

• 第6章「欺瞞的アライメントへの対処―最前線の課題」 p.438〜

  内側の目標がずれたAIが、訓練中や監視されていることを理解したうえで、罰を避けるために一時的にアライメントされたふりをする現象。

価値のもろさ

関連する人物：エリーザー・ユドコウスキー

• 第4章「「極北のdoomer」ユドコウスキーの論理」 p.299〜

  ユドコウスキーの用語。ありうる目標のなかで人間にとって望ましい範囲はごく狭く、少しずれるだけで結果が無価値か破滅的になる、という性質。

段階的無力化

• 第4章「「ゆっくりと無力化される」かもしれない」 p.320〜

  AIに悪意がなくても、競争に押されて権限を少しずつ渡していくうちに、人間が判断する力と制御する力を失っていく過程。

脆弱な世界仮説

• 第4章「「脆弱な世界」と「黒いボール」」 p.332〜

  文明が「半ば無政府」の初期状態を抜け出せていないかぎり、技術開発を続けるうちに、いずれ文明を壊滅させる能力を手にしてしまう、という仮説。

黒いボール

• 第4章「「脆弱な世界」と「黒いボール」」 p.332〜

  文明の壊滅をきわめて起こりやすくする技術のたとえ。タイプ0・1・2a・2bに分類される。

戦場のシンギュラリティ

• 第4章「戦場のシンギュラリティ」 p.335〜

  未来の戦争で、人間の認知がAIの判断の速さと戦闘のテンポに追いつけなくなる状態。中国人民解放軍の一部の論者が想定しているとされる。

TESCREAL

関連する人物：ティムニット・ゲブル

• 第4章「AGIリスク論の盲点」 p.358〜

  トランスヒューマニズムから長期主義までの思想の頭文字を並べた造語。これらがひとまとまりのイデオロギーとして働き、不平等を見えにくくしている、という批判で使われる。

• 第5章「三角形の外から―TESCREALへの批判」 p.416〜

  トランスヒューマニズムからロングターミズム（長期主義）までの頭文字を並べた語。ゲブルとトーレスが、つながったひとつのイデオロギーの束として批判する。

企業リバタリアニズム

• 第5章「語られざる思想と「3つの極」」 p.364〜

  民主主義は機能していないので、有能な個人や企業が効率よく統治するほうが望ましい、とする立場。暗黒啓蒙の論者や一部の投資家がここに属する。

認識的文化（epistemic culture）

• 第5章「「われわれの製品は人類を滅ぼすかもしれない」」 p.365〜

  独自の用語・文献・知的な主張で結びつき、道徳的な問題意識と技術の営みが互いを支え合うことで受け継がれていく共同体のあり方。

トランスヒューマニズム

• 第5章「死と老いの克服をめざす人びと」 p.369〜

  技術を使って、病・老い・死・知的能力の限界といった人間の生物学的な限界を乗り越えようとする思想。人類の可能性を極端に肯定する。

エクストロピー（extropy）

• 第5章「死と老いの克服をめざす人びと」 p.369〜

  エントロピーの反対の意味で、情報・知性・複雑さが増えていくことを指す語。自分たちを、秩序を築き続ける存在と見なす考え方と結びつく。

グレイ・グー

• 第5章「死と老いの克服をめざす人びと」 p.369〜

  ドレクスラーが1986年に示した、自己複製するナノマシンが暴走して地球上の物質を食い尽くすシナリオ。当時、暴走する技術の代表的なイメージだった。

賢さは性質ではなく、エンジンである

• 第5章「ユドコウスキーの目覚め―知能とはエンジンである」 p.377〜

  知能を、善さと連動する性質ではなく、内に組み込まれた目的に向けて未来を押し動かす物理的な最適化の過程と見る、本書のキーフレーズ。

ペーパークリップ・マキシマイザー

• 第5章「ユドコウスキーの目覚め―知能とはエンジンである」 p.377〜

  人間とはかけ離れた目的をひたすら追い求める超知能の思考実験。若いころのユドコウスキーは否定していたが、のちに自分からはっきり言及するようになった。

ショックレベル4（SL4）

• 第5章「掲示板「レスロング」が果たした役割」 p.381〜

  トフラーの『未来の衝撃』をふまえた造語で、技術が人間の生き方を予想できない形に変えてしまう、最上位の衝撃の度合い。

合理主義コミュニティ

• 第5章「掲示板「レスロング」が果たした役割」 p.381〜

  掲示板レスロングを中心とする集団。確率で考えることと思考実験を重んじ、AGIピルの世界観を感覚として身につける訓練の場になった。

効果的利他主義（EA）

関連する人物：ウィリアム・マッカスキル

• 第5章「「われわれの製品は人類を滅ぼすかもしれない」」 p.365〜

  限られた資源で最大の善をなすには何をすべきかを、証拠と理性で考える立場。AGIピルの世界観に、資金・人材・キャリアの道筋を与えた。

長期主義（longtermism）

関連する人物：ウィリアム・マッカスキル

• 第5章「「長期主義」が世界的ブームに」 p.392〜

  遠い将来に良い影響を与えることが、道徳的に最も重要な課題のひとつだとする立場。源流は「Astronomical Waste」と、パーフィットの未来世代論。

非同一性問題

• 第5章「「道徳的距離」を破壊するふたつの哲学」 p.386〜

  いまの選択が、未来の人々が幸せかどうかだけでなく、そもそも誰が生まれるかまで変えてしまう、という難問。

不快な結論

• 第5章「「道徳的距離」を破壊するふたつの哲学」 p.386〜

  幸福の総量を最大にしようとすると、少数の人がとても幸せな世界よりも、膨大な数の人がかろうじて生きる価値のある世界のほうが「良い」ことになってしまう、という帰結。

存亡的破局

関連する人物：トビー・オード

• 第5章「「長期主義」が世界的ブームに」 p.392〜

  絶滅だけでなく、人類の長い将来の可能性が永久に損なわれる事態も含む概念。オードはその確率を6分の1と見積もった。

効果的加速主義（e/acc）

• 第5章「もうひとりの兄弟―e/acc」 p.410〜

  AI開発の加速を宇宙の熱力学的な流れの延長と見て推し進め、規制や中央集権的な管理による独占を警戒する運動。EAへの反発も含む。

d/acc（防御的加速主義）

関連する人物：ヴィタリック・ブテリン

• 第5章「別世界からの応答―企業リバタリアニズム、デジタル民主主義」 p.412〜

  攻撃する側より守る側が有利になる技術を分散して育て、社会全体の回復力を高めようという、ブテリンの考え方。

• 第6章「レジリエンスの思想―「上から」ではなく「下から」守る」 p.470〜

  分散的・民主的・差分的な防御的加速主義。技術を止めるのではなく、守る側が構造的に有利になる方向へ、分散した形で加速させる戦略。

AI倫理とAI安全性の区別

• 第5章「三角形の外から―TESCREALへの批判」 p.416〜

  AI安全性（アライメント）は未来の超知能が制御できなくなるリスクを、AI倫理はいま起きている差別や搾取を中心にして発展してきた、という時間軸の違い。

概念のハイパーインフレーション

• 第5章「三角形の外から―TESCREALへの批判」 p.416〜

  超知能という巨大な物語が注目と資金を吸い寄せ、いま被害を受けている人々が見えなくなる現象を指す、本書の表現。

拡張可能な監視（scalable oversight）

• 第6章「AIアライメント―技術的対策の最前線」 p.431〜

  AIが賢くなるなら、人間がAIを監督する力も一緒に引き上げよう、という考え方。IDAや議論方式などが含まれる。

機械論的解釈可能性

• 第6章「AIの中を覗く―機械論的解釈可能性」 p.439〜

  ニューラルネットワークの内部の計算を解きほぐし、どんな内部表現と計算の過程から出力が生まれるのかを、仕組みのレベルで理解しようとする試み。

重ねあわせ（superposition）

• 第6章「AIの中を覗く―機械論的解釈可能性」 p.439〜

  ひとつのニューロンが複数の概念に反応し、逆にひとつの概念が多数のニューロンに分散して表される現象。内部の解釈を難しくしている。

AIコントロール

• 第6章「AIコントロール―アライメントとはべつの戦略」 p.444〜

  アライメントが失敗するかもしれないという前提に立ち、AIがわざと安全対策を妨害しても破局的な失敗が起きないような運用の手順を設計し、評価する戦略。

• AGI Hubの用語解説で読む →

Guaranteed Safe AI

• 第6章「数学的保証でAIを囲い込む」 p.447〜

  世界モデル・安全仕様・検証器・展開の基盤を組み合わせ、AIの行動が安全仕様を満たしていることを、外から数学的に検証する枠組み。

マルチエージェント安全性

• 第6章「一体のAIから、AIの生態系へ―マルチエージェント安全性」 p.449〜

  多数のAIエージェントが互いに影響し合う生態系で起こる、協調の失敗・対立・共謀といったリスクと、その評価・軽減・制度づくりを扱う分野。

ガバナンスのはしご

• 第6章「ガバナンスのはしご―協調を強めるほど、べつの問題が生まれる」 p.454〜

  AGIガバナンスの提案を「拘束力をどこまで強めるか」で5段に並べた、本書の図式。上の段ほど、効き目も代償も大きくなる。

ハードウェア対応メカニズム（HEM）/flexHEG

• 第6章「保証技術―軍拡競争は避けられるかもしれない」 p.465〜

  AIチップそのものに検証機能を埋め込み、チップがどこにあるかだけでなく、どう使われているかまで確かめて、合意違反を見つけたり防いだりする保証技術の構想。

グランド・チャレンジ

• 第6章「SFが現実になる―「グランド・チャレンジ」という問題群」 p.475〜

  技術爆発のあとに現実の政策課題になる問題群を、フォアソート・リサーチがこう名づけた。超知能ができてから考えはじめたのでは遅いとされる。

認識論的混乱

• 第6章「認識論的混乱―理解の及ばない世界をどう生きるか」 p.481〜

  人類の判断する力そのものが、世界のなかで足場を失っていく事態。偽情報の問題とは次元の違う、文明規模の混乱とされる。

ヴィアトピア（Viatopia）

• 第6章「良い未来の構想―生き延びるだけでは足りない」 p.485〜

  「道」を意味する語をもとにした造語。完成したユートピアではなく、より良い未来へ向かう途中の、望ましい中間の状態を指す。選び直せる余地を残しておくことが要になる。

集合的予測符号化（CPC）

• 第6章「もうひとつの補助線―記号創発システム論とCPC」 p.491〜

  谷口忠大らの仮説。言語や記号の体系ができあがる過程を、複数の主体が分散して予測し、符号化していく過程としてとらえる。