記事一覧に戻る

Erick Lachmann's avatar

Francisco de Almeida Rocha Alves's avatar

最適化理論、進化生物学、競争市場、機械学習がすべて予測すること——そして答えが同じである理由

---

Dharma AIをフォローしている方はすでにご存知のとおり、私たちは専門化を効果的なAIシステムの定義的な原則の一つと捉えており、コストやパフォーマンスから信頼性、主権に至るまで、あらゆる側面に影響を及ぼしていると考えています。この主張をこれほど厳密に述べた論文は、Goldfeder、Wyder、LeCun、Shwartz-Zivによる2026年の研究ほどありません。

本記事では、AI Must Embrace Specialization via Superhuman Adaptable Intelligence（Goldfeder, Wyder, LeCun, & Shwartz-Ziv, 2026）から得られるアイデアを探求し、解釈します。この論文の収束的論証——最適化理論、生物学、組織経済学、機械学習にまたがるもの——は、続く議論のための証拠構造と知的基盤の両方を提供します。ここで提示される枠組み、構成、編集的統合はDharmaによるものです。

---

従来の期待は合理的です。AIシステムがより高性能になるにつれて、より汎用的になるはずだというものです。より高い能力とより広い適用性は自然な伴侶のように思えます——より多くのリソース、より優れた手法、拡張された学習が、より多くのタスクに自信を持って取り組むシステムを生み出すはずです。

実際に現れるパターンは異なります。特定の領域で最も重要な結果を達成するシステムは、往々にしてその領域に最も狭く焦点を当てたものです。タンパク質構造予測におけるブレークスルーは、単一の科学的タスクのために設計されたシステムからもたらされました。AIの歴史的マイルストーンを詳しく調べると、汎用性の拡大ではなく、激しいドメイン特化が反映されていることがわかります。

このパターンは繰り返されます。ドメインを越え、数十年にわたり、ほとんど共通点のないアーキテクチャ選択を越えて繰り返されます。この一貫したパターンは、AI研究の内部に由来しない共通の原因を示唆しています。

---

アルゴリズムはターゲットに適合することで勝つ

1997年、WolpertとMacreadyは、AIアーキテクチャの議論でほとんど取り上げられないことを証明しました。単一の汎用最適化アルゴリズムが、すべての可能な問題に対して他のすべてのアルゴリズムを上回ることはないというものです（Wolpert & Macready, 1997）。この証明は数学的であり、哲学的なものではありません。あらゆる学習者が直面しうるあらゆる問題の分布にわたって平均化すると、すべてのアルゴリズムは等しく良く——そして等しく悪く——機能します。ある問題分布で優位に立つアルゴリズムは、必然的に他の分布で劣位に立たされます。パフォーマンスは再分配されるのであり、乗算されるのではありません。

実践的な含意は直接的です。「アルゴリズムはターゲット問題に適合することで勝つ」（Goldfeder et al., 2026）。定理は汎用性が不可能であるとは述べていません——汎用性がパフォーマンス上の利点ではないと述べています。一貫した構造的優位性の道は集中です。適合のために幅を犠牲にすることです。

これは有限のリソースが関わる場合に、より鮮明になります。現実のシステムはすべて制約の下で動作します——有限の計算資源、有限のデータ、有限の開発時間です。有限のエネルギーが与えられた場合、利用可能なリソースを有限のタスク集合の学習に向けるアプローチは、同じリソースを無制限の範囲に分散させるアプローチを上回ります。算術は容赦ありません。タスク集合が無制限に拡大するにつれて、タスクあたりの利用可能リソースはゼロに向かって縮小します。普遍的なカバレッジと意味のあるパフォーマンスは、有限のリソースの下では直接的に緊張関係にあります。

定理が指し示す結論は、汎用性が悪いということではありません。それはそれより狭く、より運用的なものです。論文が述べるように、「普遍的な汎用性は理論的概念だが、実践的には神話である」（Goldfeder et al., 2026）。現実の制約との接触に耐えうるのは、すべてをやろうとするシステムではなく、ターゲットに適合するシステムです。

数学はこれを嗜好ではなく予測として確立します。この予測が最適化理論を超えた世界で成り立つかどうかは別の問いです。

---

生物学と市場がすでに知っていること

最適化理論が名前を与える前に、2つの他のドメインが同じ予測に到達していました。

論文が生物学的事例を記述するように。あるニッチにおけるすべてのパフォーマンス向上は、他の場所でのコストを伴います。汎用種は多くの環境に適した形質を持ちますが、どの環境にも最適ではありません——能力が薄く広がりすぎていて、特定の条件で支配的になれません。トレードオフなしにパフォーマンス向上は存在しません。一つの能力に投資されたリソースは、別の能力には利用できません。選択は、すべての可能な環境にわたる均一なカバレッジのために最適化されたものではなく、地域の条件に適合した設計を好みます。生存して繁殖する生物は、最も汎用的に有能なものではなく、最も具体的に適合したものです。進化のタイムスケールにわたって蓄積された結果は、汎用種が支配することではなく、専門種がニッチを埋めることです。論文が述べるように。「専門化は生物学の偶然ではなく、限られたリソース、競合する目的、そして進化的に関連する課題の小さな部分集合でのパフォーマンスに報いる環境の予測可能な帰結である」（Goldfeder et al., 2026）。

競争市場は異なる手段を通じて同じダイナミクスに従います。パフォーマンスの閾値を満たせない組織や戦略は排除されます——絶滅ではなく、退出、資金提供の停止、より適合した代替案による置き換えを通じて。競争は選択メカニズムとして機能します。効果的な戦略を増幅し、非効果的なものを排除します。このメカニズムは生物学的選択とは何の共通点もありません——遺伝も、突然変異も、進化的なタイムスケールもありません。選択の単位は生物ではなく、組織、製品、戦略です。しかし構造的圧力は同じです。有限のリソース、パフォーマンス要件、そしてそれが重要な場所で優位に立つには広すぎるほど分散した実体の体系的な除去です。集中した能力は、パフォーマンス基準が明確で一貫している場合、分散した能力を凌駕します。

進化と市場は全く異なるメカニズム——異なるタイムスケール、異なる選択単位、異なる遺伝メカニズム——を通じて動作します。しかし両者は、リソース圧力の下で同じ結果を生み出します。幅より適合です。定理はこれを予測します。生物学と市場は独立してそれに到達します。第三のドメインが全く異なる手段を通じて同じ結論に到達するとき、パターンは定理のように見えることをやめ、制約されたシステムの振る舞いについてのより一般的なもののように見え始めます。

---

機械学習が専門化を繰り返し再発見する理由

同じパターンは機械学習の内部でも現れています——最適化理論から導かれたものではなく、システムを構築し、何が改善するかを観察した蓄積された経験を通じて到達したものです。

最も明確な形態は負の転移です。複数のタスクで訓練されたシステムが、それらのタスクが協力するのではなく競合するために生じる測定可能な性能低下です（Ruder, 2017）。タスクが構造を共有する場合、一緒に訓練することは役立ちます。しかし、タスクが表現能力を競合したり、訓練中に矛盾する勾配を課したりする場合、個々のタスクのパフォーマンスは専用システムが達成するものより低下します。幅からの利得は深さへのコストになります。これは、互いに引き合うタスクにわたって有限の能力を分割することの文書化された帰結です。専門家は、そのような競合に直面しないため、このコストを支払いません。

最先端モデルのアーキテクチャは、異なる形態の証拠を提供します。Mixture-of-expertsシステムは、すべてのパラメータにわたる均一な汎用性を通じてではなく、各入力をネットワークの専門化されたサブセットにルーティングすること——異なるタスクに対して異なる専門家を活性化すること——によって、その幅を実現します。論文の著者はこれを構造的な譲歩として読み取ります。汎用になるように設計されたシステムが、内部的に専門化を回復することで結果を達成しているというものです。これは論証された解釈であり、証明された定理ではありません——これらのアーキテクチャは計算効率のために設計されたものであり、汎用性の限界についてそれらが示唆することは、述べられた意図ではなく合理的な推論です。しかし、それは注目に値します。最も有能な汎用目的システムは、専門家システムが設計上行うことを内部的に行うことでそのパフォーマンスに到達しているのです。

最も明確な歴史的例は同じ論理に従います。AlphaFoldは、タンパク質構造予測という特定のタスクを、タスク固有のアーキテクチャと訓練選択で標的化することで、タンパク質構造予測にステップチェンジをもたらしました（Jumper et al., 2021）。その利得は、より広いカバレッジではなく、より狭い焦点から来ました。論文はAlphaFoldを原型的な事例として用いています——すべての専門化されたシステムが同等の利得を達成するという証拠としてではなく、そのメカニズムの異常に明確な例証としてです。そのメカニズムは繰り返し現れています。AIのマイルストーンの歴史は、論文が指摘するように、結果が汎用知能の実証のように見える場合でも、しばしば広い能力ではなく激しいドメイン特化を反映しています。

3つの異なる場所。3つの異なるメカニズム。同じ発見。

---

スケーリングが変えないこと

この図は、AI研究で最も引用される観察の一つに対処しなければ不完全です。SuttonのBitter Lessonは、ドメイン知識に依存する手法は、計算をスケールする手法に一貫して負けるというものです（Sutton, 2019）。一見すると、これは専門化の主張を複雑にするように見えます。スケールと汎用性が勝つのであれば、専門化は、リソース制約が緩和される——計算が安くなる——につれて役立つヒューリスティックに過ぎないのかもしれません。

この反論は、2つの異なる概念の混同に基づいています。ドメイン知識とは、手でコード化された特徴、設計された事前知識、そしてシステムに特定の領域についての洞察を与えるために設計されたルールを指します。Bitter Lessonはこれを標的としています——そしてそうすることは正しいです。明示的なドメイン知識をエンコードするシステムは、スケールが増すにつれて一貫して負けています。

ドメイン専門化は異なります。システムのリソース、アーキテクチャ、訓練を、広く分散させるのではなく、境界のあるタスク集合に向ける決定です。これはドメインについての知識のエンコードではありません。スコープについての決定です。

論文はこの区別を正確に描いています。

「ドメイン知識の有用性の低下は、ドメイン専門化の有用性とは別である。スケーリングが進むにつれて、タンパク質の折り畳みを行うシステムを構築するためにタンパク質について知る必要は少なくなる。しかし、そのようなシステムは依然としてタンパク質に特化して焦点を当てることで恩恵を受ける。」（Goldfeder et al., 2026）

スケーリングは、システムがデータから学習できることを変えます。有限のタスク集合にリソースを集中させることが、無制限の範囲にわたって分散させることを上回るかどうかを変えるわけではありません。Bitter Lessonと専門化の議論は異なる次元で動作します——一方は知識をどのように獲得すべきかを記述し、もう一方はシステムを何に向けるべきかを記述します。両者は同時に真でありえます。スケーリングはシステムが学習するメカニズムを変えます。適合が幅より価値があることをもたらす制約を解消するわけではありません。

---

4つの分析的伝統にわたって、同じパターンが異なる経路を通じて現れました。これは説明を必要とする偶然ではありません。それは証拠です。

有限のリソースが選択圧力に直面するとき——最適化問題、生態系、市場、または訓練実行において——適合は一貫して幅を打ち負かします。具体的なメカニズムは異なります。タイムスケールは異なります。選択の単位は異なります。しかし構造的ダイナミクスは同じであり、同じ結果を生み出します。

定理は生物学におけるこのパターンを引き起こしません。生物学は市場におけるそれを引き起こしません。どちらも機械学習におけるそれを引き起こしません。それらはすべて同じ根本的な制約に直面しています。希少性の下でのパフォーマンスは集中を必要とします。定理が数学的に確立したこと、進化の歴史が経験的に確認したこと、競争市場が制度的に実証したこと、そして機械学習がアーキテクチャ的に再発見したことです。

専門化は嗜好ではありません。有限のリソースがパフォーマンスの要求に直面するときに現れるものです。

---

貴組織におけるAIパフォーマンスに対するドメイン焦点の影響を評価している場合——または専門化戦略のための内部的な根拠を構築している場合——貴社の文脈についてお伺いしたいと思います。Dharma AIにお問い合わせください。

---

一次資料

  • Goldfeder, S., Wyder, M., LeCun, Y., & Shwartz-Ziv, R. (2026). AI must embrace specialization via superhuman adaptable intelligence. arXiv:2602.23643.

参考文献

  • Wolpert, D.H. & Macready, W.G. (1997). No free lunch theorems for optimization. IEEE Transactions on Evolutionary Computation, 1(1), 67–82.

  • Forister, M.L., Novotny, V., Panorska, A.K., Baje, L., Basset, Y., Butterill, P.T., & Dyer, L.A. (2012). Global distribution of diet breadth in insect herbivores. Proceedings of the National Academy of Sciences, 109(2), 418–423.

  • Futuyma, D.J. & Moreno, G. (1988). The evolution of ecological specialization. Annual Review of Ecology and Systematics, 19, 207–233.

  • Hannan, M.T. & Freeman, J. (1977). The population ecology of organizations. American Journal of Sociology, 82(5), 929–964.

  • Loasby, B.J. (1983). Knowledge, learning and the firm. As cited in Goldfeder et al. (2026).

  • Ruder, S. (2017). An overview of multi-task learning in deep neural networks. arXiv:1706.05098.

  • Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research, 23(120), 1–39.

  • Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O., & Hassabis, D. (2021). Highly accurate protein structure prediction with AlphaFold. Nature, 596, 583–589.

  • Silver, D., Hubert, T., Schrittwieser, J., Antonoglou, I., Lai, M., Guez, A., & Hassabis, D. (2018). A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play. Science, 362(6419), 1140–1144.

  • Sutton, R.S. (2019). The bitter lesson. Retrieved from http://www.incompleteideas.net/IncIdeas/BitterLesson.html

---

さらなる読書

---

インタラクティブなデモを試したり、オープンソースモデルをダウンロードしたり、専門化されたAIシステムが実際の企業アプリケーションで汎用目的モデルをどのように上回るかを発見したりするには、 Hugging Face上のDharma AI をご覧ください。