像人類大腦一樣，大型語言模型以一般方式推理多樣數據 | MIT新聞

大型語言模型的運作方式

早期的語言模型只能處理文字，但現在的現代大型語言模型（LLMs）能夠在不同類型的數據上執行各種任務。例如，LLMs可以理解多種語言、生成電腦程式碼、解決數學問題，或回答有關圖片和音頻的問題。

麻省理工學院（MIT）的研究人員深入探討LLMs的內部運作，以更好地理解它們如何處理這些不同的數據，並發現它們與人類大腦有一些相似之處。

神經科學家認為，人類大腦的前顳葉有一個“語義中心”，可以整合來自不同感官的信息，例如視覺數據和觸覺輸入。這個語義中心連接著特定感官的“輻射”，將信息傳遞到中心。MIT的研究人員發現，LLMs使用類似的機制，以抽象的方式處理來自不同感官的數據。例如，一個以英語為主的模型會依賴英語作為中心媒介來處理日語的輸入或推理數學、電腦程式碼等。此外，研究人員證明，他們可以通過使用模型主導語言的文字來干預模型的語義中心，改變其輸出，即使模型正在處理其他語言的數據。

這些發現可能幫助科學家訓練未來的LLMs，使其更好地處理多樣的數據。

“LLMs就像一個大黑盒子。它們的表現非常驚人，但我們對它們的內部運作機制知之甚少。我希望這能成為更好理解它們運作的早期步驟，以便我們能夠改進它們，並在需要時更好地控制它們，”電機工程與計算機科學（EECS）研究生、這項研究的主要作者吳兆峰（Zhaofeng Wu）說。

他的合著者包括南加州大學（USC）的研究生余心妍（Xinyan Velocity Yu）、USC的副教授丹尼·尤加塔瑪（Dani Yogatama）、蘋果公司（Apple Inc.）的研究科學家盧家森（Jiasen Lu），以及MIT的助理教授金允（Yoon Kim），他是計算機科學與人工智慧實驗室（CSAIL）的成員。這項研究將在國際學習表徵會議上發表。

整合多樣數據

研究人員在這項新研究中基於之前的工作，這些工作暗示以英語為中心的LLMs使用英語來進行各種語言的推理過程。

吳兆峰和他的合作者擴展了這個想法，深入研究LLMs用來處理多樣數據的機制。

一個LLM由許多相互連接的層組成，將輸入的文字分割成單詞或稱為標記的子單詞。模型為每個標記分配一個表示，使其能夠探索標記之間的關係並生成序列中的下一個單詞。在圖片或音頻的情況下，這些標記對應於圖片的特定區域或音頻片段的部分。

研究人員發現，模型的初始層以其特定的語言或感官處理數據，就像人類大腦中的特定感官輻射一樣。然後，LLM將標記轉換為與感官無關的表示，因為它在內部層中推理，類似於大腦的語義中心如何整合多樣的信息。

模型為具有相似意義的輸入分配相似的表示，儘管它們的數據類型不同，包括圖片、音頻、電腦程式碼和數學問題。即使一張圖片和它的文字標題是不同的數據類型，因為它們共享相同的意義，LLM也會為它們分配相似的表示。

例如，一個以英語為主的LLM會先用英語“思考”一個中文輸入，然後再生成中文的輸出。對於非文字的輸入，如電腦程式碼、數學問題或多模態數據，模型也有類似的推理傾向。

為了測試這個假設，研究人員將一對具有相同意義但用兩種不同語言寫的句子傳遞給模型。他們測量了模型對每個句子的表示有多相似。

然後，他們進行了第二組實驗，將以英語為主的模型的文本輸入換成另一種語言，如中文，並測量其內部表示與英語和中文的相似度。研究人員對其他數據類型也進行了類似的實驗。

他們一致發現，對於具有相似意義的句子，模型的表示是相似的。此外，在許多數據類型中，模型在內部層中處理的標記更像是以英語為中心的標記，而不是輸入的數據類型。

“許多這些輸入數據類型看起來與語言極為不同，因此我們非常驚訝，當模型處理數學或編碼表達式時，我們仍然能夠探測到英語標記，”吳說。

利用語義中心

研究人員認為，LLMs可能在訓練過程中學會了這種語義中心策略，因為這是一種經濟的處理多樣數據的方式。

“世界上有成千上萬種語言，但很多知識是共享的，比如常識或事實知識。模型不需要在不同語言中重複這些知識，”吳說。

研究人員還嘗試在模型處理其他語言時，使用英語文本干預模型的內部層。他們發現，即使這些輸出是其他語言的，他們仍然可以可預測地改變模型的輸出。

科學家可以利用這一現象，鼓勵模型在多樣數據類型之間共享盡可能多的信息，從而提高效率。

但另一方面，可能存在一些概念或知識無法在語言或數據類型之間轉換，例如文化特定的知識。在這些情況下，科學家可能希望LLMs具備一些特定語言的處理機制。

“如何在可能的情況下最大程度地共享，同時又允許語言擁有一些特定的處理機制？這可以在未來的模型架構研究中進行探索，”吳說。

此外，研究人員可以利用這些見解來改善多語言模型。通常，一個以英語為主的模型在學習說另一種語言時，會失去一些在英語中的準確性。他說，更好地理解LLM的語義中心可以幫助研究人員防止這種語言干擾。

“理解語言模型如何在不同語言和模態之間處理輸入，是人工智慧中的一個關鍵問題。這篇論文與神經科學建立了有趣的聯繫，並顯示出所提出的‘語義中心假說’在現代語言模型中成立，其中在模型的中間層中創建了不同數據類型的語義相似表示，”特拉維夫大學計算機科學學院的助理教授莫爾·蓋瓦·皮佩克（Mor Geva Pipek）說，他並未參與這項工作。“這個假說和實驗很好地結合並擴展了之前工作的發現，可能對未來創建更好的多模態模型以及研究它們與人類大腦功能和認知之間的聯繫有影響。”

這項研究部分由MIT-IBM Watson人工智慧實驗室資助。