儘管生成式人工智慧的產出令人印象深刻，但它對世界並沒有一致的理解 | 麻省理工學院新聞

大型語言模型的能力

大型語言模型能做很多令人驚訝的事情，比如寫詩或生成可用的電腦程式，雖然這些模型的訓練目的是預測文本中下一個出現的單詞。

這些驚人的能力讓人感覺這些模型似乎在隱含地學習一些關於世界的普遍真理。

但根據一項新的研究，這不一定是事實。研究人員發現，一種流行的生成式人工智慧模型能在紐約市提供幾乎完美的逐步駕駛指示，卻沒有形成準確的內部城市地圖。

儘管這個模型在導航方面的能力非常出色，但當研究人員關閉一些街道並添加繞行路線時，它的表現卻急劇下降。

深入研究後，研究人員發現這個模型隱含生成的紐約地圖上有許多不存在的街道，這些街道在網格之間彎曲並連接遙遠的交叉口。

這對於在現實世界中部署的生成式人工智慧模型可能有嚴重的影響，因為一個在某種情況下表現良好的模型，可能在任務或環境稍有變化時就會失效。

麻省理工學院 (MIT) 的經濟學助理教授及信息與決策系統實驗室 (LIDS) 的主要研究員 Ashesh Rambachan 說：“我們希望大型語言模型能在語言方面做出這麼多驚人的事情，或許我們也可以在科學的其他領域使用這些工具。但如果我們想利用這些技術來發現新事物，了解大型語言模型是否學會了連貫的世界模型是非常重要的。”

Rambachan 的研究團隊還包括哈佛大學的博士後研究員 Keyon Vafa、麻省理工學院的電機工程與計算機科學 (EECS) 碩士生 Justin Y. Chen、康奈爾大學的計算機科學與信息科學的 Tisch 大學教授 Jon Kleinberg，以及麻省理工學院的 EECS 和經濟學教授 Sendhil Mullainathan。這項研究將在神經信息處理系統會議上發表。

新的評估標準

研究人員專注於一種稱為變壓器的生成式人工智慧模型，這種模型是像 GPT-4 這樣的大型語言模型的基礎。變壓器在大量基於語言的數據上進行訓練，以預測序列中的下一個標記，例如句子中的下一個單詞。

但如果科學家想要確定一個大型語言模型是否形成了準確的世界模型，僅僅測量其預測的準確性是不夠的，研究人員表示。

例如，他們發現變壓器幾乎每次都能預測出連接四 (Connect 4) 遊戲中的有效移動，而不需要理解任何規則。

因此，團隊開發了兩個新的評估標準來測試變壓器的世界模型。研究人員將評估集中在一類稱為確定性有限自動機 (DFA) 的問題上。

DFA 是一個有一系列狀態的問題，就像必須經過的交叉口以到達目的地，並且有具體的方式描述必須遵循的規則。

他們選擇了兩個問題來表述為 DFA：在紐約市的街道上導航和玩棋盤遊戲奧賽 (Othello)。

Vafa 解釋說：“我們需要測試平台，因為我們知道世界模型是什麼。現在，我們可以嚴謹地思考恢復這個世界模型的意義。”

他們開發的第一個標準稱為序列區分，這表示如果模型能看到兩個不同的狀態，比如兩個不同的奧賽棋盤，並認識到它們的不同，那麼這個模型就形成了一個連貫的世界模型。序列，即有序的數據點列表，是變壓器用來生成輸出的。

第二個標準稱為序列壓縮，這表示一個具有連貫世界模型的變壓器應該知道兩個相同的狀態，比如兩個相同的奧賽棋盤，擁有相同的可能下一步的序列。

他們使用這些標準來測試兩類常見的變壓器，一類是基於隨機生成的序列進行訓練，另一類則是基於遵循策略生成的數據。

不連貫的世界模型

令人驚訝的是，研究人員發現隨機做出選擇的變壓器形成了更準確的世界模型，這可能是因為它們在訓練過程中看到了更廣泛的潛在下一步。

Vafa 解釋說：“在奧賽中，如果你看到兩台隨機的電腦在對弈，而不是冠軍選手，理論上你會看到所有可能的移動，包括冠軍選手不會做的壞招。”

儘管這些變壓器幾乎每次都能生成準確的導航指示和有效的奧賽移動，但這兩個標準顯示，只有一個生成了連貫的奧賽移動世界模型，並且在導航示例中沒有一個模型能形成連貫的世界模型。

研究人員通過在紐約市的地圖上添加繞行路線來展示這一點，這導致所有導航模型失敗。

Vafa 說：“當我們添加繞行路線時，我對性能下降的速度感到驚訝。如果我們關閉僅 1% 的可能街道，準確性會立即從幾乎 100% 下降到僅 67%。”

當他們恢復模型生成的城市地圖時，這些地圖看起來像是一個想像中的紐約市，數百條街道交錯在網格上方。這些地圖上經常出現隨機的高架橋或多條不可能的街道方向。

這些結果顯示，變壓器在某些任務上表現得相當好，但並不理解規則。如果科學家想要建立能捕捉準確世界模型的大型語言模型，他們需要採取不同的方法，研究人員表示。

Rambachan 說：“我們經常看到這些模型做出令人印象深刻的事情，並認為它們一定理解了某些關於世界的知識。我希望我們能說服人們，這是一個需要仔細思考的問題，我們不必依賴自己的直覺來回答。”

未來，研究人員希望解決更廣泛的問題，例如某些規則僅部分已知的情況。他們還希望將他們的評估標準應用於現實世界的科學問題。

這項工作部分由哈佛數據科學倡議、國家科學基金會研究生研究獎學金、Vannevar Bush 教授獎學金、Simons 合作計劃資助以及麥克阿瑟基金會的資助支持。