理解大型語言模型中的新興能力：來自生物系統的教訓 | 哈維爾·馬林 | 2025年1月

自然系統的基本法則如何幫助解釋人工智慧的意外能力

注意：這篇文章呈現了我們最近研究論文的主要發現，題為「理解大型語言模型中出現能力的非遍歷框架」[link1] [link2]。雖然這篇論文提供了全面的數學框架和詳細的實驗證據，但這篇文章旨在讓這些見解更容易被更廣泛的讀者理解。

那麼，句子有多少種呢？比如陳述句、疑問句和命令句？有無數種；各種各樣的「符號」、「單詞」、「句子」的使用方式。此外，這種多樣性並不是固定的，而是隨著時間而變化的；新的語言類型、新的語言遊戲會出現，而其他的則會過時並被遺忘。我們可以從數學的變化中大致了解這一點。

路德維希·維根斯坦…