清華大學(xué)智能產(chǎn)業(yè)研究院院長(zhǎng)張亞勤：現(xiàn)在大模型無法知道“我不知道什么”丨大模界

每經(jīng)記者 可楊    每經(jīng)編輯 張海妮    

2024年6月14日，AI行業(yè)盛會(huì)“2024北京智源大會(huì)”在中關(guān)村展示中心開幕。《每日經(jīng)濟(jì)新聞》在現(xiàn)場(chǎng)注意到，在全體大會(huì)中的主題討論環(huán)節(jié)，零一萬物CEO李開復(fù)與清華大學(xué)智能產(chǎn)業(yè)研究院院長(zhǎng)、智源學(xué)術(shù)顧問委員張亞勤對(duì)談。

圖片來源：主辦方提供 

張亞勤談到了大模型的“三個(gè)做對(duì)了”和“三個(gè)目前需要改進(jìn)”。

關(guān)于“三個(gè)做對(duì)了”，張亞勤提出：

首先，規(guī)模定律Scaling Law。規(guī)模定律的實(shí)現(xiàn)，主要得益于對(duì)海量數(shù)據(jù)的利用以及算力的顯著提升。再加上現(xiàn)在的Diffusion和Transformer架構(gòu)能夠高效地利用算力和數(shù)據(jù)，使得“飛輪效應(yīng)”得以正循環(huán)。盡管有人質(zhì)疑Scaling Law在2~3年后是否仍然有效，但張亞勤個(gè)人認(rèn)為至少在未來5年里，它仍將是產(chǎn)業(yè)發(fā)展的主要方向。

其次是“Token-Based”統(tǒng)一表述方式。在大模型中，“Token”是一個(gè)基本元素。無論是文本、語音、圖像、視頻，還是自動(dòng)駕駛中的激光雷達(dá)信號(hào)，甚至是生物領(lǐng)域的蛋白質(zhì)和細(xì)胞，最終都可以抽象為一個(gè)Token。Token之間的訓(xùn)練、學(xué)習(xí)和生成是核心環(huán)節(jié)，這與我們大腦中的神經(jīng)元工作原理相似，無論執(zhí)行何種任務(wù)，其基礎(chǔ)機(jī)制都是相同的。

最后是通用性。這與Token緊密相關(guān)?，F(xiàn)在的通用性不僅體現(xiàn)在文本處理上，還擴(kuò)展到了多模態(tài)領(lǐng)域，甚至可以生成如蛋白質(zhì)等復(fù)雜結(jié)構(gòu)。此外，它在物理世界（如具身智能）和生物世界（如生物智能）中也有著廣泛的應(yīng)用前景。

以上這三個(gè)是大模型做對(duì)的，而關(guān)于現(xiàn)階段的主要問題，張亞勤也提出了三個(gè)點(diǎn)：

第一個(gè)，效率較低。特別是大模型的計(jì)算效率低下問題，與人類大腦的高效性形成了鮮明的對(duì)比。人類大腦擁有860億個(gè)神經(jīng)元，每個(gè)神經(jīng)元又有數(shù)千個(gè)突觸連接，卻只需要20瓦的能量，重量還不到三斤；而GPT4這個(gè)萬億參數(shù)模型則需要巨大的算力和能源，與人腦相比相差1000倍之多。此外，人腦能夠根據(jù)不同的情境靈活調(diào)用不同區(qū)域的神經(jīng)元，而大模型卻每次輸入一個(gè)問題都要調(diào)用和激活幾乎大量參數(shù)。因此，如何借鑒人類大腦的計(jì)算方法，在降低計(jì)算耗能、提高效率方面進(jìn)行探索和創(chuàng)新，是一個(gè)值得關(guān)注的方向。

第二個(gè)，大模型目前還未能真正理解物理世界，相關(guān)的推理能力、透明性以及幻覺等問題都還在深入研究中。有一個(gè)重要的問題是，即使我們的大模型做得再好，它在生成式表述與對(duì)真實(shí)世界的描繪之間仍存在矛盾。因此，我們需要探索如何將生成式的概率大模型與現(xiàn)有的“第一性原理”或真實(shí)模型、知識(shí)圖譜相結(jié)合。目前，雖然已經(jīng)有了一些嘗試，如采用RAG技術(shù)或進(jìn)行微調(diào)，并取得了一定的進(jìn)展，但張亞勤認(rèn)為這些方法并非根本解決方案。張亞勤預(yù)測(cè)，在未來五年內(nèi)，將會(huì)有一個(gè)全新的架構(gòu)出現(xiàn)，這個(gè)架構(gòu)有望取代目前的Transformer和Diffusion模型。

第三個(gè)欠缺的地方是邊界問題?，F(xiàn)在大模型無法知道“我不知道什么”，這是目前要解決的問題，是它的邊界效應(yīng)。

封面圖片來源：主辦方提供