騰訊混元大模型亮相：全鏈路自研，聚焦應(yīng)用死磕“幻覺”

每經(jīng)編輯 蒙錦濤    

9月7日，在2023騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊混元大語言模型正式亮相，并宣布通過騰訊云對(duì)外開放。這是騰訊首次披露的通用大語言模型，具備強(qiáng)大的中文創(chuàng)作能力，復(fù)雜語境下的邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。

此前的大半年，國(guó)內(nèi)云廠商跟隨ChatGPT，掀起“百模大戰(zhàn)”。一時(shí)間，國(guó)內(nèi)生成式大語言模型多得讓人眼花繚亂。騰訊在市場(chǎng)激流勇進(jìn)之后再“秀肌肉”，也映射了“混元”這個(gè)取自典籍的名字中“元?dú)馍诨煦缰小钡暮x，它撥清迷霧，迎接新天地。

騰訊為什么此前不著急發(fā)通用大模型？在蟄伏的日子里，騰訊做了什么？騰訊混元大模型值得期待嗎？

“不急于把半成品拿出來展示”

在“百模大戰(zhàn)”經(jīng)歷喧囂，逐漸降噪之時(shí)，騰訊不緊不慢地揭開自己大語言模型的神秘面紗，這體現(xiàn)了騰訊一如既往的風(fēng)格——不爭(zhēng)一時(shí)熱度、用產(chǎn)品實(shí)力說話。

在今年5月騰訊2023年股東大會(huì)上，騰訊董事會(huì)主席兼首席執(zhí)行官馬化騰就如此評(píng)價(jià)大模型：“我們最開始以為這是互聯(lián)網(wǎng)十年不遇的機(jī)會(huì)，但是越想越覺得這是幾百年不遇的、類似發(fā)明電的工業(yè)革命一樣的機(jī)遇?；ヂ?lián)網(wǎng)企業(yè)都有很多的積累，都在做，我們也一樣在埋頭研發(fā)，但是并不急于早早做完，把半成品拿出來展示?！?/span>

馬化騰認(rèn)為，對(duì)于工業(yè)革命來講，早一個(gè)月把電燈泡拿出來在長(zhǎng)的時(shí)間跨度上來看是不那么重要的。大模型之于互聯(lián)網(wǎng)技術(shù)革命，就如電燈之于工業(yè)革命。騰訊在乎的是這個(gè)“電燈”的實(shí)用性和耐用性，而不是死盯著早一步投入市場(chǎng)激起的那簇虛無的水花。

“關(guān)鍵還是要把底層的算法、算力和數(shù)據(jù)扎扎實(shí)實(shí)做好，而且更關(guān)鍵的是場(chǎng)景落地。”馬化騰說道。

在市場(chǎng)看不見的日子里，騰訊已經(jīng)在大模型底層能力上埋頭鉆研多年。從2021年開始，騰訊先后推出千億和萬億參數(shù)的NLP稀疏大模型，打破CLUE三大榜單紀(jì)錄，實(shí)現(xiàn)在中文理解能力上的新突破。

在去年年末ChatGPT掀起大模型浪潮后，騰訊的大模型路線也穩(wěn)扎穩(wěn)打，利用自身多元且豐富的產(chǎn)品、數(shù)據(jù)、場(chǎng)景的優(yōu)勢(shì)，迭代了多個(gè)版本。騰訊的大模型在豐富的內(nèi)部場(chǎng)景和應(yīng)用上進(jìn)行了反復(fù)錘煉，更清楚一個(gè)深入業(yè)務(wù)的大模型應(yīng)該如何設(shè)計(jì)和研發(fā)。

騰訊集團(tuán)副總裁蔣杰

相比于國(guó)內(nèi)外已發(fā)布的大語言產(chǎn)品主要是通過聊天場(chǎng)景進(jìn)行測(cè)試和訓(xùn)練，騰訊選擇了用自家產(chǎn)品來測(cè)試。在騰訊集團(tuán)副總裁蔣杰看來，測(cè)試大語言模型的途徑有很多?！耙环N是通過Chat來驗(yàn)證，這會(huì)有比較好的體感。而騰訊有20多年的發(fā)展歷史，有海量的用戶和TO C的應(yīng)用場(chǎng)景、TO B的驗(yàn)證體系，用它們來測(cè)試或許會(huì)有更好的效果。”蔣杰表示。

就這樣，騰訊強(qiáng)大的產(chǎn)品矩陣，成為了混元大模型語料訓(xùn)練的“養(yǎng)料”，也是場(chǎng)景應(yīng)用的“磨刀石”。至今，騰訊混元大模型擁有超千億參數(shù)規(guī)模，預(yù)訓(xùn)練語料超2萬億tokens。

目前，混元大模型已經(jīng)接入騰訊50多個(gè)業(yè)務(wù)并取得初步效果，包括騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì)議、騰訊文檔、微信搜一搜、QQ瀏覽器等業(yè)務(wù)和產(chǎn)品。這其中既包括了C端應(yīng)用，也包括了B端場(chǎng)景，其應(yīng)用和測(cè)試的體量足以比擬甚至超越國(guó)內(nèi)一些先發(fā)的其他大模型。

在騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊正式宣布，混元大模型將作為騰訊云MaaS服務(wù)的底座，客戶不僅可以直接通過API調(diào)用混元，也可以將混元作為基底模型，為不同產(chǎn)業(yè)場(chǎng)景構(gòu)建專屬應(yīng)用。

自研的底氣

慢即是快，這是騰訊長(zhǎng)期遵循的產(chǎn)品哲學(xué)。少了倉(cāng)促的趕場(chǎng)，多了扎實(shí)的自研技術(shù)和創(chuàng)新優(yōu)勢(shì)。

全鏈路自研是騰訊混元大模型的亮點(diǎn)。據(jù)蔣杰介紹，騰訊混元大模型從第一個(gè)token開始從零訓(xùn)練，掌握了從模型算法到機(jī)器學(xué)習(xí)框架，再到AI基礎(chǔ)設(shè)施的全鏈路自研技術(shù)。這其中包括大規(guī)模、高質(zhì)量、多樣化的語料庫(kù)、創(chuàng)新的大模型算法和訓(xùn)練方法、自研Angel機(jī)器學(xué)習(xí)框架、強(qiáng)大的算力基礎(chǔ)設(shè)施等。

全鏈路自研帶來的效果，是顯而易見的。舉個(gè)例子，目前生成式AI在實(shí)際場(chǎng)景的應(yīng)用比較受限，大部分停留在高容錯(cuò)、任務(wù)簡(jiǎn)單的休閑場(chǎng)景，例如詩(shī)詞生成。用戶在初嘗大模型時(shí)，往往會(huì)因其炫技式的作詩(shī)或者回答腦筋急轉(zhuǎn)彎而感到驚艷，然而，對(duì)于容錯(cuò)率更低或任務(wù)更復(fù)雜的工作、專業(yè)以及嚴(yán)肅場(chǎng)景，如客服助手、醫(yī)療診斷、調(diào)研統(tǒng)計(jì)等領(lǐng)域，往往容易出現(xiàn)張冠李戴、胡言亂語的問題（即大模型“幻覺”），導(dǎo)致用戶對(duì)準(zhǔn)確性和可靠性的呼聲極高。

可以說，“幻覺”扼住了大模型大規(guī)模應(yīng)用的“咽喉”，讓企業(yè)和個(gè)人面臨嚴(yán)肅的需求時(shí)，不敢放心使用。對(duì)此，業(yè)界往往通過知識(shí)圖譜或者搜索外掛的方式試圖解決，但效果并不理想。而騰訊混元大模型給出的方案是——不依賴外掛，在預(yù)訓(xùn)練階段通過“探真”算法進(jìn)行事實(shí)修正，讓混元大模型的幻覺相比主流開源大模型降低了30%至50%。

不僅是降低幻覺，騰訊混元大模型還通過強(qiáng)化學(xué)習(xí)的方法，讓模型學(xué)會(huì)識(shí)別陷阱問題；通過位置編碼優(yōu)化，提高了超長(zhǎng)文的處理效果和性能；提出思維鏈的新策略，讓大模型能夠像人一樣結(jié)合實(shí)際的應(yīng)用場(chǎng)景進(jìn)行推理和決策。它還能進(jìn)行文學(xué)創(chuàng)作、文本摘要、角色扮演等內(nèi)容創(chuàng)作，做到充分理解用戶意圖，并高效、準(zhǔn)確地給出有時(shí)效性的答復(fù)。

此外，騰訊還自研了機(jī)器學(xué)習(xí)框架Angel，使訓(xùn)練速度相比業(yè)界主流框架提升1倍，推理速度較業(yè)界主流框架提升1.3倍。

放眼市場(chǎng)，有眾多的開源大模型可以提供給廠商進(jìn)行疊加和使用。相反，全鏈路自研就顯得并不取巧。那么，騰訊為何堅(jiān)持做自研？蔣杰有自己的答案：“首先，如果企業(yè)不從頭開始做自研的話，就缺乏對(duì)這個(gè)技術(shù)的完全掌握；第二，騰訊大模型的自研，能夠加速后續(xù)的迭代，加快與其他業(yè)務(wù)的深度結(jié)合和綁定。對(duì)于騰訊那么多海量高并發(fā)的業(yè)務(wù)來說，開源架構(gòu)無法應(yīng)對(duì)沖擊，對(duì)騰訊來說是并不合適的。所以我們一定要走出一條基于自主體系的研發(fā)道路?！?/span>

在大模型扎堆的當(dāng)下，全鏈路自研給了騰訊底氣。在中國(guó)信通院《大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用的評(píng)估方法》的標(biāo)準(zhǔn)符合性測(cè)試中，混元大模型共測(cè)評(píng)66個(gè)能力項(xiàng)，在“模型開發(fā)”和“模型能力”兩個(gè)重要領(lǐng)域的綜合評(píng)價(jià)均獲得了當(dāng)前的最高分。在主流的評(píng)測(cè)集MMLU、CEval和AGI-eval上，混元大模型均有優(yōu)異的表現(xiàn)，特別是在中文的理科、高考題和數(shù)學(xué)等子項(xiàng)上表現(xiàn)突出。

業(yè)務(wù)的倍增器

“我們研發(fā)大模型的目標(biāo)不是在評(píng)測(cè)上獲得高分，而是將技術(shù)應(yīng)用到實(shí)際場(chǎng)景中。騰訊將全面擁抱大模型?！笔Y杰說道。這也反映了騰訊從實(shí)踐中來，到實(shí)踐中去的產(chǎn)品初心。

在大會(huì)上，蔣杰展示了騰訊會(huì)議、騰訊文檔、騰訊廣告等多個(gè)業(yè)務(wù)，在接入騰訊混元大模型后的實(shí)際應(yīng)用情況。

其中，騰訊會(huì)議基于混元大模型打造了AI小助手，只需要簡(jiǎn)單的自然語言指令，就能完成會(huì)議信息提取、內(nèi)容分析等復(fù)雜任務(wù)，會(huì)后還能生成智能總結(jié)紀(jì)要。據(jù)實(shí)測(cè)，在指令理解、會(huì)中問答、會(huì)議摘要、會(huì)議待辦項(xiàng)等多個(gè)方面，混元大模型均獲得較高的用戶采納率。

例如在廣告場(chǎng)景，騰訊混元大模型支持智能化的廣告素材創(chuàng)作，能夠適應(yīng)行業(yè)與地域特色，滿足千人千面的需求，實(shí)現(xiàn)文字、圖片、視頻的自然融合。此外，基于混元大模型的能力，廣告智能導(dǎo)購(gòu)能夠幫助商家在企業(yè)微信等場(chǎng)景，提升服務(wù)質(zhì)量和服務(wù)效率。

在8月的財(cái)報(bào)電話會(huì)中，騰訊總裁劉熾平表示：“就生成式AI技術(shù)，或廣泛地對(duì)于基礎(chǔ)模型而言，我們認(rèn)為此類技術(shù)和機(jī)會(huì)并不僅局限于聊天機(jī)器人這樣的問答式體驗(yàn)。從更廣泛來看，我們對(duì)AI了解越多，就越對(duì)它作為我們業(yè)務(wù)的倍增器感到期待。AI技術(shù)將有助于提高用戶交互服務(wù)的效率和質(zhì)量，促進(jìn)我們的廣告定位、數(shù)據(jù)定位能力，以及提升許多內(nèi)容生產(chǎn)的效率。因此，通過持續(xù)發(fā)展生成式AI，我們將能從多個(gè)方面受益?！?/span>

在騰訊看來，混元大模型的想象空間遠(yuǎn)不止目前呈現(xiàn)給公眾的效果。像人類一樣，它能持續(xù)訓(xùn)練、終身學(xué)習(xí)，訓(xùn)練數(shù)據(jù)集會(huì)持續(xù)更新，不斷學(xué)習(xí)更新最新知識(shí)，以改善其性能和準(zhǔn)確性。同時(shí)，混元大模型也將為騰訊在6月發(fā)布的模型即服務(wù)（MaaS）解決方案釋放更多市場(chǎng)潛力。

蔣杰介紹道，騰訊9月7日發(fā)布的通用大語言模型，也將作為騰訊云MaaS服務(wù)的底座，進(jìn)一步服務(wù)更多的行業(yè)客戶。不僅如此，最近，騰訊云也全面接入Llama 2、Bloom等20多個(gè)主流模型，和混元一樣，都支持直接部署調(diào)用。客戶可以根據(jù)實(shí)際需求，基于混元、基于開源模型，打造自己專屬的行業(yè)大模型。

現(xiàn)在，混元大模型已經(jīng)不是半成品了，但按照騰訊的高標(biāo)準(zhǔn)，還達(dá)不到“成品”的程度?！拔艺J(rèn)為混元永遠(yuǎn)在路上，現(xiàn)在推出的版本只是可用，但我們一直在演進(jìn)我們的能力，例如從大語言模型演進(jìn)到文生圖。今天只是一個(gè)開始，我希望我們每個(gè)月都會(huì)給大家驚喜。”蔣杰最后說道。

編輯|蒙錦濤