不只是統(tǒng)計機器！MIT研究人員重磅論文引圍觀：大型語言模型是“世界模型”，甚至有獨立的“時間和空間神經(jīng)元”

每經(jīng)記者 蔡鼎    每經(jīng)編輯 蘭素英    

近年來，大型語言模型（下稱LLMs）的能力不斷提高，引發(fā)了各界關于它們是否只是學習了表面的統(tǒng)計規(guī)律，還是形成了包含數(shù)據(jù)生成過程的內(nèi)在模型（即世界模型）的爭論。近日，來自麻省理工（下稱MIT）的研究人員公布了他們的研究，就此給出了答案。

MIT研究人員Wes Gurnee和Max Tegmark于10月3日提交在預印本arXiv上的論文稱，他們通過分析三個空間數(shù)據(jù)集（世界、美國、紐約市的地點）和三個時間數(shù)據(jù)集（歷史人物、藝術作品、新聞標題）在Llama-2系列模型中的學習表征，發(fā)現(xiàn)了世界模型的證據(jù)。

研究人員發(fā)現(xiàn)，LLMs學習了空間和時間的線性表征，并且這些表征在不同的尺度和實體類型（如城市和地標）之間是統(tǒng)一的。此外，作者還識別出了單個的“空間神經(jīng)元”和“時間神經(jīng)元”，它們可靠地編碼了空間和時間坐標。論文稱，現(xiàn)代LLMs獲取了關于空間和時間這些基本維度的結(jié)構(gòu)化知識，證明LLMs學習的不僅僅是表面統(tǒng)計規(guī)律，而是真正的世界模型。

LLMs中存在“時間和空間神經(jīng)元”

在空間和時間數(shù)據(jù)集層面，研究人員在實驗中構(gòu)建了六個數(shù)據(jù)集，包含有對應空間或時間坐標的地點或事件的名稱，分別涵蓋了不同的空間或時間尺度，包括全球范圍內(nèi)的地點、美國國內(nèi)的地點，以及紐約市范圍內(nèi)的地點；過去3000年內(nèi)去世的歷史人物；1950年以來發(fā)布的歌曲、電影和書籍；以及2010年至2020年發(fā)布的新聞標題。

圖片來源：arXiv網(wǎng)站論文

對于每個數(shù)據(jù)集，研究人員納入了多種類型的實體，例如城市等人口密集場所和湖泊等自然地標，以研究不同對象類型的統(tǒng)一表征情況。此外，研究人員還維護并豐富了相關的元數(shù)據(jù)，以便通過更詳細的分類分析數(shù)據(jù)。

研究人員使用標準的探測技術，即在LLMs的內(nèi)部激活上擬合一個簡單的模型來預測與輸入數(shù)據(jù)相關聯(lián)的目標標簽。具體來說，給定一個激活數(shù)據(jù)集A和一個目標Y，包含時間或二維經(jīng)緯度坐標，作者擬合線性回歸探測器得到一個線性預測器。在未提示過的數(shù)據(jù)上強大的預測性表明，LLMs中有可被線性解碼出來的空間和時間信息。

作者首先探測了Llama-2-{7B, 13B, 70B}每一層對每個空間和時間數(shù)據(jù)集的預測性能。結(jié)果顯示，在所有數(shù)據(jù)集上，空間和時間特征都可以被線性探測器恢復，而且這些表達隨著模型規(guī)模增大而變得更準確，并且在達到穩(wěn)定狀態(tài)之前，模型前半層的表達質(zhì)量會平穩(wěn)提高。例如，他們發(fā)現(xiàn)，Llama-2-70B竟然能夠描繪出真實世界的文字地圖。

總結(jié)來說，MIT研究人員的研究顯示：LLMs不僅僅是隨機的模型——Llama-2已經(jīng)是包含世界的詳細模型，甚至包含獨立的“時間神經(jīng)元”和“空間神經(jīng)元”！

論文作者之一、MIT研究大模型優(yōu)化的博士生Wes Gurnee的論文一經(jīng)arXiv和推特（現(xiàn)X）發(fā)布，便引發(fā)廣泛關注。其推文概述了論文的內(nèi)容，截至發(fā)稿，已經(jīng)有近300萬次閱讀。

LLMs學習的空間和時間線性表征在不同實體類型間是統(tǒng)一的

此外，作者還研究了Llama-2的這些空間或時間表征是否對提示詞敏感，即是否可以通過上下文來引發(fā)或抑制這些事實回憶。直覺上，對于任何實體詞，自回歸模型都有動機產(chǎn)生一個適合應對任何未來可能的上下文或問題的表達。

為了研究這一點，研究人員創(chuàng)建了新的激活數(shù)據(jù)集，其中在每個實體詞前加上不同的提示。在所有情況下，作者都包括了一個“空”提示，只包含實體詞（和一個序列開始符號）。然后，作者包括了一個詢問模型回憶相關事實的提示，例如“<地點>的經(jīng)緯度是多少”或“<作者>的<書籍>發(fā)布于何時”。對于美國和紐約市數(shù)據(jù)集，作者還包括了詢問這個地點在美國或紐約市哪里的提示，試圖消除一些地點名稱的歧義（例如City Hall）。

作為基準的模型，作者囊括了10個隨機提示詞作為提示。為了確定是否可以模糊主題，對于一些數(shù)據(jù)集，作者將所有實體名稱全部大寫。最后，對于標題數(shù)據(jù)集，作者嘗試在最后一個詞和在標題后面加上句號兩種情況下進行測試。研究人員發(fā)現(xiàn)，顯式地提示模型信息，或者給出消除歧義的提示，對Llama-2的輸出結(jié)果幾乎沒有影響。然而，作者驚訝地發(fā)現(xiàn)隨機干擾詞和將實體大寫會降低其輸出內(nèi)容的質(zhì)量。唯一明顯改善性能的修改是在標題后面加上句號進行探測，這表明句號被用來包含句子結(jié)束。

圖片來源：arXiv

Wes Gurnee和Max Tegmark在論文的“討論”章節(jié)指出，他們提供的證據(jù)表明，LLMs學習的空間和時間線性表征在不同實體類型之間是統(tǒng)一的，并且對提示詞具有相當敏感的反應，而且存在對這些特征高度敏感的單個神經(jīng)元。由此推論，在模型和數(shù)據(jù)量足夠大的情況下，LLMs僅靠下一個標記的預測就足以學習世界的文字地圖。

“我們的分析為今后的工作提出了許多有趣的問題。雖然我們表明可以線性地重建樣本在空間或時間中的絕對位置，而且一些神經(jīng)元使用了這些探測方向，但空間和時間表征的真正范圍和結(jié)構(gòu)仍不清楚。特別是，我們推測這種結(jié)構(gòu)的最典型形式是離散化的分層網(wǎng)狀結(jié)構(gòu)，其中任何樣本都被表示為其最近基點的線性組合。此外，LLMs可以也確實在使用這種坐標系，以線性探針（linear probe）的方式使用正確的基點方向線性組合來表示絕對位置。我們預計，隨著LLMs規(guī)模的擴大，這一坐標系將通過更多的基點、更多的粒度以及更精確的實體到模型坐標的映射而得到增強。”研究人員寫道。

Wes Gurnee和Max Tegmark的論文標題 圖片來源：arXiv 

作者還指出，在他們的分析以及更廣泛的研究中，另一個干擾因素是他們的數(shù)據(jù)集中存在許多模型本身并不知道的“實體”，從而“污染”了他們的激活數(shù)據(jù)集。

“我們對這些了解空間和時間維度的世界模型是如何學習或使用的理解也僅僅觸及了其表面。在初步的實驗中，我們發(fā)現(xiàn)我們的模型在不依賴多步推理的情況下難以回答基本的時空關系問題，這使得因果干預分析變得復雜，但我們認為這是理解何時以及如何使用這些特征的關鍵步驟。”論文作者補充道。

封面圖片來源：視覺中國-VCG111421248465