以下は著者本人(AGI HUB共同代表)による note 掲載記事の全文です。原文(note)はこちら。
今日は占いの日だよ.
AGIを最初に開発する企業はどこなのかという,どこまでガチなのかわからない話をしよう.
🚀AIで科学が覆る!🚀ぶちあげ Advent Calendar 2024
前提
まず話を簡単にするために,AGIの定義をゆるふわに2つ想定しよう.
一つは,(対応する機械の肉体さえあれば)既存の人間のほとんどの仕事を担うことができる知能.
もう一つは,ほとんどの人間を上回る程度に,新しいことにもスムーズに適応できる知能だ.
そして一旦,最も有力そうに見える2企業を取り上げよう.
雑にOpenAIとDeepMindでいいかい?
他は後で考えよう.
二社の比較
この二社の技術はどう違うだろう.
まず前者はo1という熟考重視のLRMを一般に提供しているが,後者はしていない.
提供していなくとも内部で活用している可能性はある.DeepMindなら合成データを作るためにぶん回していても全くおかしくなさそうだ.
しかし一般に提供していないということは,ユーザーからのフィードバックも得られないということになる.今後の開発である程度の損をする.
別の話で,前者はおそらくあまり力を入れていなさそうだが,後者は明確に注力している技術に,世界モデルがある.
GenieやGenie2という,様々なゲームの世界を模倣するAIが開発されている.
このあたりを加味すると,LLMの脳筋スケーリングならOpenAI,世界モデルならDeepMindにそれぞれ軍配が上がるように見える.
思えば,スケーリング則で一番有名な論文もOpenAIのものだった.とすると,スケーリングを推す文化はより根付いていそうである.
もちろん,昨今懸念されているデータの枯渇については,高品質な生成データで解決されるという前提だが.
さて,これがAGIにどう繋がるのか?
1つ目の定義
人間のほとんどの仕事を担える知能は,ある種の暗記的な知能が重視されることになる.
大半の仕事は,文字通り手順を暗記できれば済んでしまうだろう.
一見そうではなさそうな,アーティストや一部の研究者など創造性を求められる職種も,既存の組み合わせや数を打つことでかなり再現できてしまう.
創造的なアイディアや科学的仮説の生成も既に研究が進んでいる分野だ.
このあたりは脳筋スケーリングで良さそうに思える.
OpenAI優位だ.
2つ目の定義
一方で,人間以上に新しいことにも適応できる知能の場合は,より柔軟性が求められる.
この場合は,幾何的な空間内を操作できるモデルが大切なのではないか.
言語空間は自由過ぎるのだ.
適度な制約を設けることによって,新しい場面でもとりあえずの一手を打ちやすくなる.
より具体的には,物理世界のシミュレーションや,それを抽象化した積み木的なシミュレーションなどである.
これらをちょうど自然なかたちに体現しようとしているのが世界モデルだろう.
数学は文字で営まれていると思うかもしれないが,あれは別途ルールを定めて運用されているものであり,言語や文字自体が持つ制約を主軸に運用しているわけではない.
プログラミングも同様だ.
ルールを定めずとも,自然から得られる制約が欲しい.
と考えていくと,適応力の高い知能を作るにはLLMだけでは不十分で,世界モデルとの統合が必要そうな気がしてくる.
DeepMindに分がある.
なお創造的な職業との違いは,少なくとも他の人間向けかどうか,はあるだろう.
それらの職種は,評価者が人間である時点で,しかもほとんどは自分より非専門的な立場向けに発信することになる時点で,真新しさにはかなりの制限がつく.
その他の企業との比較
Anthropic
ここはアラインメントに力を注いでいることと,ソースコード生成など重要なベンチマークで頭一つ抜けていることが注目すべき点だ.
もしかしたら表裏一体で,前者のため解釈可能性を重視していることが,後者に繋がっているのかもしれない.
世界モデルまではおそらく手が回っていないだろう.
OpenAIとの争いという意味では,LLMの苦手な部分を補えるソースコード生成に強みがあるのが大きい.知覚や思考の補助として活用している研究はちらほら見かける.
そこまでプロフェッショナルな水準が要求されない仕事の90%代替ではOpenAIが先行して,必要となる99%代替ではAnthropicが先に達成する,みたいなことは起こるかもしれない.
DeepSeek, Alibaba等の中国系企業
急速に成長しており,o1に類似したLRMも既に提供している.
一方でGPTの出力を訓練データに用いているのではないかという噂もあり,基本的には後追いの色が強いと考えられる.
ただしAI研究者の数は多いだろう.自分が良く目にする領域では,2/3くらいが中国系なのではないかというくらい頻繁に中国人の名前を見かける.
また,西洋圏のAI開発規制の影響を受けづらいのも重要な観点である.
ふとしたきっかけでAGIを最初に産み落とす可能性はある.
Sakana AIここはちょっと異色だ.独自で最先端レベルのLLMを開発しているわけではない.
しかしLLMを組み合わせるだけで,The AI Scientistという研究の全自動化を成し遂げてしまっている.
他所で高性能な世界モデルが公開された場合,うまく組み合わせて適応力の高いシステムを作り上げてしまうかもしれない.
加えて共同創業者に,世界モデルの著者とTransformerの著者がいるのも大きいだろう.
同様に真新しいメカニズムを提案することで,一気にトップに躍り出るようなこともあるのかもしれない.
他にも,過去にどんな職種を募集していたかも加味すると,社内の技術が把握しやすくなり,より良い予測もできるだろう.
これは読者の宿題としよう(←大学の教科書とかにありがちなやつ).
← リサーチ一覧へ戻る