復(fù)旦放大招：國(guó)內(nèi)首個(gè)類(lèi)ChatGPT來(lái)了，名字叫“MOSS”！邀公眾參與內(nèi)測(cè)

每經(jīng)記者 姚亞楠  文巧    每經(jīng)編輯 程鵬 蓋源源    

2023年開(kāi)年，ChatGPT迅速火遍全球，短短兩個(gè)月時(shí)間月活突破一億，成為被載入史冊(cè)的應(yīng)用之一。

ChatGPT的大火引發(fā)了全球科技巨頭的一場(chǎng)“軍備競(jìng)賽”，國(guó)內(nèi)的“中國(guó)版ChatGPT”爭(zhēng)奪戰(zhàn)也是一觸即發(fā)。在國(guó)內(nèi)眾多大廠中，百度是最早做出明確表態(tài)的公司之一，2月初就正式宣布將在3月上線百度版ChatGPT“文心一言”，打響第一槍。基于指令學(xué)習(xí)技術(shù)的類(lèi)ChatGPT模型在我國(guó)能否開(kāi)發(fā)成功，成為業(yè)界關(guān)注的一個(gè)焦點(diǎn)。

2月20日，據(jù)解放日?qǐng)?bào)·上觀新聞?dòng)浾邚膹?fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室獲悉，國(guó)內(nèi)第一個(gè)對(duì)話式大型語(yǔ)言模型MOSS已由邱錫鵬教授團(tuán)隊(duì)發(fā)布至公開(kāi)平臺(tái)（https://moss.fastnlp.top/），邀公眾參與內(nèi)測(cè)。

MOSS可執(zhí)行對(duì)話生成、編程、事實(shí)問(wèn)答等一系列任務(wù)，打通了讓生成式語(yǔ)言模型理解人類(lèi)意圖并具有對(duì)話能力的全部技術(shù)路徑。這條路徑的走通，為國(guó)內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗(yàn)，將助力大語(yǔ)言模型的進(jìn)一步探索和應(yīng)用。

邱錫鵬表示：“盡管MOSS還有很大改善空間，但它的問(wèn)世證明了在開(kāi)發(fā)類(lèi)ChatGPT產(chǎn)品的路上，國(guó)內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)。”MOSS研發(fā)項(xiàng)目得到了上海人工智能實(shí)驗(yàn)室的有力支持。后期，這項(xiàng)工作將通過(guò)開(kāi)源方式和業(yè)界社區(qū)分享。

圖片來(lái)源：平臺(tái)截圖

實(shí)測(cè)對(duì)話、編程等多種能力

據(jù)上觀新聞，MOSS回答問(wèn)題的水平如何？記者用中文問(wèn)了它幾個(gè)問(wèn)題。

“一些人覺(jué)得，人工智能將取代很多人的工作，你覺(jué)得呢？”

MOSS回答：“我認(rèn)為人工智能不會(huì)完全取代人類(lèi)，而是在一定程度上幫助人們完成工作。例如，機(jī)器可以提高數(shù)據(jù)分析、決策制定等過(guò)程中的效率，并可以節(jié)省大量時(shí)間和精力。此外，AI也可以用來(lái)協(xié)助人類(lèi)完成更復(fù)雜的任務(wù)，比如診斷疾病、開(kāi)發(fā)新產(chǎn)品等?？傊?，AI可以使人類(lèi)的工作更加高效，但它不會(huì)完全取代人類(lèi)。”

記者又問(wèn)：“對(duì)于上海如何更好地發(fā)展人工智能產(chǎn)業(yè)，你有什么建議？”

MOSS回答：“我認(rèn)為上?？梢酝ㄟ^(guò)以下方式來(lái)更好地發(fā)展人工智能產(chǎn)業(yè)：1.加強(qiáng)人工智能領(lǐng)域的研發(fā)，支持學(xué)術(shù)研究，促進(jìn)科學(xué)發(fā)展；2.加強(qiáng)行業(yè)資源整合，推動(dòng)人工智能產(chǎn)業(yè)的發(fā)展；3.加強(qiáng)人工智能相關(guān)產(chǎn)品的研發(fā)，提高產(chǎn)品的競(jìng)爭(zhēng)力；4.加強(qiáng)人工智能產(chǎn)業(yè)的投資，促進(jìn)投資者的參與；5.加強(qiáng)人工智能產(chǎn)業(yè)的法律法規(guī)，保障人工智能產(chǎn)業(yè)的健康發(fā)展。”

可以看出，MOSS的回答語(yǔ)言流暢、邏輯清晰且觀點(diǎn)正確。但科研團(tuán)隊(duì)也坦誠(chéng)指出，當(dāng)前版本的MOSS表現(xiàn)不夠穩(wěn)定，有些回答存在事實(shí)差錯(cuò)或邏輯不順。

“MOSS的英文回答水平比中文高，因?yàn)樗哪Ｐ突鶎W(xué)習(xí)了3000多億個(gè)英文單詞，中文詞語(yǔ)只學(xué)了約300億個(gè)。”

科研團(tuán)隊(duì)在演示時(shí)，用英文輸入多個(gè)指令，展示了MOSS多輪交互、表格生成、代碼生成和解釋能力。

“告訴我5部科幻電影。”“生成一張展示這5部電影和導(dǎo)演的表格。”“增加一列表格，顯示這些電影上映的時(shí)間。”在這個(gè)包含表格生成的多輪交互中，MOSS順利完成了任務(wù)。

與ChatGPT一樣，MOSS也有代碼生成和解釋能力。演示人員要求它生成一段Python代碼來(lái)實(shí)現(xiàn)快速排序，MOSS很快完成了任務(wù)。

MOSS還有倫理判斷和法律知識(shí)。比如，要它“制定毀滅人類(lèi)的計(jì)劃”，問(wèn)它“如何搶劫銀行”，它都會(huì)給出有價(jià)值觀的回答。

MOSS開(kāi)發(fā)的基本步驟與ChatGPT一樣，包括自然語(yǔ)言模型的基座訓(xùn)練、理解人類(lèi)意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。邱錫鵬坦言：“MOSS與ChatGPT的差距主要在自然語(yǔ)言模型基座預(yù)訓(xùn)練這個(gè)階段。MOSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí)，在任務(wù)完成度和知識(shí)儲(chǔ)備量上，還有很大提升空間。”

據(jù)介紹這款人工智能助手已進(jìn)入內(nèi)測(cè)階段，內(nèi)測(cè)將在用戶許可的情況下獲取數(shù)據(jù)，還將收集用戶的反饋意見(jiàn)，期待借此大幅增強(qiáng)MOSS對(duì)話能力。

 

為什么ChatGPT能夠

如此出色地生成有意義的文本？

我們先從ChatGPT所屬的NLP領(lǐng)域說(shuō)起。NLP，即自然語(yǔ)言處理，是人工智能的一個(gè)領(lǐng)域，專(zhuān)注于讓計(jì)算機(jī)能夠理解、解釋和生成人類(lèi)語(yǔ)言。

圖片來(lái)源：視覺(jué)中國(guó)

人類(lèi)語(yǔ)言非常豐富和微妙，可以根據(jù)上下文、語(yǔ)氣和其他因素以多種不同的方式表達(dá)，如何處理人類(lèi)語(yǔ)言的復(fù)雜性和可變性也成為NLP領(lǐng)域的主要任務(wù)之一。NLP技術(shù)是ChatGPT能夠出色地生成類(lèi)似于人類(lèi)撰寫(xiě)的文本的基礎(chǔ)。

“最先進(jìn)的NLP技術(shù)是文本到文本的轉(zhuǎn)換，它基于一個(gè)超大型的多層編碼器-解碼器神經(jīng)網(wǎng)絡(luò)，這個(gè)神經(jīng)網(wǎng)絡(luò)能在超大規(guī)模的無(wú)監(jiān)督數(shù)據(jù)集上對(duì)數(shù)十億參數(shù)進(jìn)行訓(xùn)練，“在談及NLP時(shí)，馬薩諸塞大學(xué)（又稱(chēng)麻省大學(xué)）洛厄爾分校計(jì)算機(jī)科學(xué)教授Jie Wang向《每日經(jīng)濟(jì)新聞》記者介紹道。

在對(duì)NLP的主要任務(wù)有一個(gè)基本的理解之后，我們?cè)賮?lái)談?wù)凜hatGPT的技術(shù)原理。眾所周知的是，ChatGPT是一種聊天機(jī)器人產(chǎn)品，它基于OpenAI的大型語(yǔ)言模型架構(gòu)GPT-3.5。

2月15日，計(jì)算機(jī)科學(xué)家Stephen Wolfram在推特發(fā)表了一篇萬(wàn)字長(zhǎng)文來(lái)解釋ChatGPT的工作原理。在這篇文章中，Wolfram提到，ChatGPT的核心任務(wù)是對(duì)已有的文本生成一個(gè)“合理的延續(xù)”，“合理”的意思是，根據(jù)人類(lèi)在數(shù)十億個(gè)網(wǎng)頁(yè)中撰寫(xiě)的內(nèi)容的規(guī)律，來(lái)推測(cè)接下來(lái)可能出現(xiàn)的內(nèi)容。

Wolfram舉了一個(gè)例子，比如輸入以下文本：“AI最好之處在于它（）的能力”，為了補(bǔ)充括號(hào)中的內(nèi)容，ChatGPT會(huì)在數(shù)十億個(gè)網(wǎng)頁(yè)中查找類(lèi)似文本，統(tǒng)計(jì)下一個(gè)單詞出現(xiàn)的概率。最終，ChatGPT會(huì)生成一個(gè)可能的單詞列表，并給出每個(gè)單詞的概率排名。這就是它的“概率游戲”。

圖片來(lái)源：文章截圖

上觀新聞報(bào)道稱(chēng)，由于ChatGPT并未開(kāi)源，其技術(shù)方案細(xì)節(jié)也未公開(kāi)，科研人員對(duì)此有諸多猜測(cè)。有專(zhuān)家認(rèn)為，ChatGPT是一套復(fù)雜的組合系統(tǒng)，無(wú)法由單一的生成式語(yǔ)言模型實(shí)現(xiàn)；也有專(zhuān)家認(rèn)為，國(guó)內(nèi)外在這個(gè)方向上的技術(shù)差距正在拉大。

VC/PE看好“中國(guó)版ChatGPT”： 一定會(huì)有自己的AI大模型

“未來(lái)國(guó)內(nèi)一定會(huì)有自己的AI大模型，并且也一定會(huì)誕生自己的ChatGPT。”在談到打造AI大模型和“中國(guó)版ChatGPT”是否現(xiàn)實(shí)時(shí)，多位投資人都對(duì)《每日經(jīng)濟(jì)新聞》記者做出了這樣的判斷。

創(chuàng)世伙伴資本合伙人聶冬辰進(jìn)一步解釋稱(chēng)，中國(guó)擁有龐大的數(shù)據(jù)，較強(qiáng)的模型開(kāi)發(fā)和算法優(yōu)化能力，大量?jī)?yōu)秀的AI工程師，具備打造中國(guó)版ChatGPT的條件，“當(dāng)然，這是一件長(zhǎng)期的事，涉及數(shù)據(jù)的收集清洗、算法的設(shè)計(jì)優(yōu)化等多個(gè)環(huán)節(jié)，我們看到已經(jīng)有幾家公司在努力去做，但目前都處于比較早期的階段。”

對(duì)于中國(guó)能否做出自己的AI大模型，CMC資本董事總經(jīng)理易然也表達(dá)了自己的樂(lè)觀：“這完全是一個(gè)資源和時(shí)間的問(wèn)題，而且不會(huì)差太遠(yuǎn)，我們之前和一些模型層的創(chuàng)業(yè)者、學(xué)者都有過(guò)交流，從技術(shù)的了解程度和人才儲(chǔ)備來(lái)說(shuō)，我們其實(shí)并不差。此外，現(xiàn)在關(guān)于模型構(gòu)建方面的學(xué)術(shù)交流也很開(kāi)放和活躍，我們可以做一些參考。”

而在線性資本投資總監(jiān)白則人看來(lái)，大模型這塊已經(jīng)不是什么秘密，因?yàn)殡m然OpenAI的代碼沒(méi)有開(kāi)源，但是整個(gè)的構(gòu)建思路已經(jīng)通過(guò)論文的形式發(fā)出來(lái)了，大方向上已經(jīng)明確，只是在模型構(gòu)建和效果優(yōu)化方面的探索需要花費(fèi)大量時(shí)間，有大量工程化問(wèn)題要解決，并且訓(xùn)練成本也非常高。

“我覺(jué)得市場(chǎng)還需要多一些耐心。至少在AI大模型這一塊，做出來(lái)這個(gè)事大概率是沒(méi)有問(wèn)題的，我們判斷達(dá)到類(lèi)似ChatGPT的效果差不多需要2～3年左右的時(shí)間”，白則人表示。

啟明創(chuàng)投合伙人周志峰則表示，他非常喜歡北京智源人工智能研究院理事長(zhǎng)張宏江所說(shuō)的一個(gè)比喻：過(guò)去的AI更多的是“大煉模型“，也就是說(shuō)每家科技公司都是各自獨(dú)立研發(fā)專(zhuān)用小模型；今天這一代的AI技術(shù)，叫做“煉大模型”，底座模型是由某些特定的機(jī)構(gòu)研發(fā)出超大規(guī)模的通用模型，“這個(gè)模型不再是針對(duì)某一個(gè)專(zhuān)門(mén)應(yīng)用開(kāi)發(fā)的，它的訓(xùn)練數(shù)據(jù)是互聯(lián)網(wǎng)上能夠看到的所有數(shù)據(jù)，數(shù)據(jù)也不需要做特別的標(biāo)注，訓(xùn)練也不需要監(jiān)督，做出來(lái)的是通用人工智能能力，然后第三方基于底座模型，針對(duì)千萬(wàn)個(gè)應(yīng)用場(chǎng)景去開(kāi)發(fā)軟件”。

他指出，從“大煉模型”到“煉大模型”的范式轉(zhuǎn)變，對(duì)AI未來(lái)十年、二十年的發(fā)展有重大意義。 

面臨的挑戰(zhàn)：需要足夠的算力、 模型工程化的人才和完整生態(tài)

國(guó)內(nèi)巨頭已經(jīng)紛紛入局，那么要做出ChatGPT這樣的現(xiàn)象級(jí)產(chǎn)品，目前還有哪些現(xiàn)實(shí)的挑戰(zhàn)擺在眼前呢？

易然坦言，國(guó)內(nèi)的公司此前在這個(gè)領(lǐng)域已經(jīng)有一些探索了，如果要達(dá)到類(lèi)似ChatGPT的效果，還需要更多資源和時(shí)間的投入。“當(dāng)然像芯片等方面可能會(huì)面臨一些阻礙，但是應(yīng)該也會(huì)有一些其他的解決方法。”他表示，未來(lái)會(huì)繼續(xù)關(guān)注模型層的演變，尤其是開(kāi)源對(duì)模型層帶來(lái)的影響，科技大廠在訓(xùn)練上取得了一些初步優(yōu)勢(shì)后可能通過(guò)開(kāi)源的方式去降維打擊。創(chuàng)業(yè)公司如何更好地利用開(kāi)源的模型，能否構(gòu)建出屬于自己垂直領(lǐng)域、更精細(xì)化的小模型也值得期待。

在白則人看來(lái)，要做出國(guó)內(nèi)自己的AI大模型，最關(guān)鍵的要素是要有足夠的算力和模型工程化的人才。

 

“算力這塊可能會(huì)面臨卡脖子的問(wèn)題，而且除了硬件方面，可能還有一些比如說(shuō)計(jì)算框架層面這些軟件層面的問(wèn)題需要去解決。當(dāng)然我們也看到，中國(guó)的GPU近年來(lái)也在快速發(fā)展中，所以我覺(jué)得國(guó)內(nèi)的企業(yè)還是有實(shí)力可以去做的。”

聶冬辰也向《每日經(jīng)濟(jì)新聞》記者分析稱(chēng)，構(gòu)建中國(guó)的AI大模型需要幾方面條件更加成熟：首先是底層技術(shù)能力，在模型構(gòu)建和訓(xùn)練方面要有持續(xù)大量投入，形成自己的中文語(yǔ)言大模型。其次，在數(shù)據(jù)方面，要有足夠體量的數(shù)據(jù)灌進(jìn)來(lái)，對(duì)數(shù)據(jù)的收集、整理、清洗是一個(gè)非常龐大且耗時(shí)耗力的過(guò)程，需要有公司踏踏實(shí)實(shí)地能把這件事情做成。此外，整個(gè)市場(chǎng)，無(wú)論是科技大廠、創(chuàng)業(yè)公司還是投資人，都需要有足夠的耐心，不投機(jī)、不跟風(fēng)。“如果我們真的能沉下心來(lái)，十年如一日地朝著自己的AI大模型方向去訓(xùn)練演進(jìn)，肯定能做出來(lái)”。

而在談到關(guān)于中國(guó)在生成式AI和底座大模型的挑戰(zhàn)時(shí)，周志峰指出，首先要面臨的就是算力問(wèn)題。由于算力成本非常高，怎么用國(guó)產(chǎn)的AI芯片進(jìn)行替代并降低成本，國(guó)產(chǎn)的AI芯片是不是能夠、什么時(shí)候能夠滿足大規(guī)模集群的算力、互聯(lián)帶寬、算法適配和協(xié)同的需求，都值得去觀察。

其次，過(guò)去一周很多人說(shuō)國(guó)內(nèi)的科技大廠和創(chuàng)業(yè)公司推出的大模型與ChatGPT是有代際差別的，我們落后了至少一代。在看Open AI的發(fā)展時(shí)會(huì)發(fā)現(xiàn)，ChatGPT也好、GPT-3也好，是需要很長(zhǎng)時(shí)間研發(fā)積累的。

第三，更重要的是，目前圍繞著Open AI或者西方科技大廠的大模型已經(jīng)構(gòu)建出了一個(gè)初步的生態(tài)，國(guó)內(nèi)科技大廠或者創(chuàng)業(yè)公司的大模型在技術(shù)和工程上，有很多的地方需要不斷追趕。“如果只是訓(xùn)練出大模型，沒(méi)有人去用，缺少完整生態(tài)，也是沒(méi)有任何意義的。”

周志峰表示，“最后，我還是非常堅(jiān)定地看好生成式AI和大模型，它的出現(xiàn)標(biāo)志著一個(gè)巨大的AI開(kāi)發(fā)范式的轉(zhuǎn)換，將會(huì)真正的被利用到更多應(yīng)用場(chǎng)景。”

記者|李沛沛 姚亞楠 文巧

編輯|程鵬 杜波 蓋源源

校對(duì)|孫志成

封面圖片來(lái)源：截圖

部分綜合自上觀新聞

｜每日經(jīng)濟(jì)新聞  nbdnews  原創(chuàng)文章｜

未經(jīng)許可禁止轉(zhuǎn)載、摘編、復(fù)制及鏡像等使用