面壁智能首席科學(xué)家劉知遠(yuǎn)：提升知識(shí)密度是實(shí)現(xiàn)高效大模型的方向

每經(jīng)記者 張韻    每經(jīng)編輯 董興生    

大模型也有自己的“摩爾定律”？2024世界人工智能大會(huì)期間，深耕端側(cè)大模型的清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘副教授、面壁智能首席科學(xué)家劉知遠(yuǎn)分享了他的研究思路：“如果擁有在端側(cè)有限的算力、內(nèi)存、能耗條件下，將知識(shí)濃縮到更小的參數(shù)規(guī)模中的能力，那么便可探尋大模型的高效成長(zhǎng)規(guī)律。”

圖片來(lái)源：每經(jīng)記者 張韻 攝

在訓(xùn)練大模型之前，劉知遠(yuǎn)會(huì)在“模型沙盒”中做成百上千次演練。他解釋道，在小模型上高效尋找最優(yōu)數(shù)據(jù)和超參配置，并外推至大模型，可找到一個(gè)更高的知識(shí)密度，從而帶來(lái)一個(gè)更加高效的模型。

劉知遠(yuǎn)認(rèn)為，如果說(shuō)芯片制程會(huì)帶來(lái)終端算力持續(xù)增強(qiáng)，模型制程也將帶來(lái)模型知識(shí)密度的持續(xù)增長(zhǎng)，那么兩者交匯將揭示端側(cè)智能的巨大潛力。因此，大模型時(shí)代會(huì)擁有自己的“摩爾定律”，即模型知識(shí)密度的持續(xù)增強(qiáng)。據(jù)劉知遠(yuǎn)觀(guān)察，模型的知識(shí)密度呈現(xiàn)出每8個(gè)月提升一倍的規(guī)律。

劉知遠(yuǎn)進(jìn)一步得出結(jié)論，未來(lái)高效大模型第一性原理的關(guān)鍵詞便是知識(shí)密度，也就是每一次計(jì)算依托的參數(shù)規(guī)模所對(duì)應(yīng)的能力消耗。當(dāng)大模型數(shù)據(jù)驅(qū)動(dòng)技術(shù)方向大致確定，模型的架構(gòu)、算法、數(shù)據(jù)等技術(shù)方案卻仍在高速迭代，因此持續(xù)改進(jìn)模型制程、極致提升知識(shí)密度成為行業(yè)努力的方向。