騰訊湯道生：擁抱行業(yè)大模型，助力產(chǎn)業(yè)高質(zhì)量發(fā)展

“大語(yǔ)言模型的興起，讓AI的大規(guī)模普惠有了更大可能。過(guò)去一段時(shí)間以來(lái)，我們的行業(yè)大模型產(chǎn)品得到了不少客戶(hù)的肯定，切切實(shí)實(shí)幫助用戶(hù)提升了各項(xiàng)能力。同時(shí)，客戶(hù)的需求也推動(dòng)了騰訊云MaaS的不斷升級(jí)，我們的大模型商店也在不斷‘擴(kuò)容’，以滿(mǎn)足不同企業(yè)的不同需求。”

9月7日，2023騰訊全球數(shù)字生態(tài)大會(huì)于深圳成功舉辦。在“行業(yè)大模型與智能應(yīng)用”專(zhuān)場(chǎng)，騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生發(fā)表主題演講，重點(diǎn)分享了AI大模型等技術(shù)產(chǎn)品對(duì)于產(chǎn)業(yè)發(fā)展的深遠(yuǎn)影響，以及騰訊云行業(yè)大模型的最新戰(zhàn)略思考、能力升級(jí)。

騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生

湯道生提到，行業(yè)大模型已經(jīng)過(guò)了“嘗鮮期”，目前正深入各類(lèi)業(yè)務(wù)場(chǎng)景，推動(dòng)企業(yè)全鏈條智能化。與此同時(shí)，在大模型產(chǎn)業(yè)化的落地過(guò)程中，客戶(hù)關(guān)注的不僅是模型的大小、功能，而是更為關(guān)注如何選用并定制適合自身業(yè)務(wù)發(fā)展的模型產(chǎn)品。

基于客戶(hù)的實(shí)際需求，騰訊云不斷升級(jí)大模型精選商店，包括自研的通用大模型“混元”、20多種主流開(kāi)源模型和更多行業(yè)大模型。企業(yè)可以根據(jù)自身需求選擇合適的模型產(chǎn)品，并進(jìn)行訓(xùn)練和精調(diào)，以滿(mǎn)足個(gè)性化需求。

此外，湯道生還認(rèn)為，模型的熱潮導(dǎo)致各項(xiàng)成本攀升，擁抱大模型不能只是一時(shí)沖動(dòng)，還要理性考慮落地成本。針對(duì)此，騰訊云也提供了從數(shù)據(jù)處理、多機(jī)多卡訓(xùn)練到硬件優(yōu)化的一站式解決方案，以幫助企業(yè)高效、低成本地創(chuàng)建和使用大模型。同時(shí)，騰訊云TI平臺(tái)還進(jìn)行了全新升級(jí)，有效提升了大模型的訓(xùn)練速度和推理效率。

“AI大模型等產(chǎn)品的發(fā)展及落地將對(duì)千行百業(yè)產(chǎn)生‘質(zhì)’的影響，我們也將持續(xù)開(kāi)放產(chǎn)品能力、不斷探索技術(shù)應(yīng)用，助力產(chǎn)業(yè)實(shí)現(xiàn)更高質(zhì)量的發(fā)展。”湯道生表示。

以下為演講全文：

大家好！

歡迎來(lái)到騰訊全球數(shù)字生態(tài)大會(huì)“行業(yè)大模型與智能應(yīng)用”專(zhuān)場(chǎng)，共同探討AI驅(qū)動(dòng)下的產(chǎn)業(yè)發(fā)展。

人工智能發(fā)展至今已經(jīng)有70多年，在前幾波浪潮中，AI雖然在一些產(chǎn)業(yè)應(yīng)用中，實(shí)現(xiàn)了落地，但受到基礎(chǔ)算法、算力、數(shù)據(jù)等限制，距離普遍的產(chǎn)業(yè)應(yīng)用，還有一定距離。

大語(yǔ)言模型的發(fā)展，第一次讓我們看到了，AI在產(chǎn)業(yè)中，大規(guī)模落地的可能。六個(gè)月前，很多企業(yè)驚嘆于通用大模型的生成能力，迫不及待地嘗試與業(yè)務(wù)結(jié)合。但很快發(fā)現(xiàn)，通用大模型在實(shí)際應(yīng)用中，面臨專(zhuān)業(yè)度、準(zhǔn)確度、數(shù)據(jù)安全、成本等很多挑戰(zhàn)。基于此，騰訊云在6月19日推出了騰訊云MaaS服務(wù)，通過(guò)“行業(yè)大模型+企業(yè)數(shù)據(jù)精調(diào)”方案，幫助產(chǎn)業(yè)伙伴打造適合自己的大模型產(chǎn)品。

三個(gè)月來(lái)，我們建設(shè)行業(yè)大模型的思路，獲得了業(yè)界的普遍認(rèn)可，很多企業(yè)通過(guò)我們的行業(yè)大模型，大幅提升內(nèi)容生產(chǎn)、營(yíng)銷(xiāo)、客服能力，客戶(hù)也和我們一起，挖掘出更多落地的創(chuàng)新應(yīng)用。

技術(shù)變革和客戶(hù)需求的快速發(fā)展，給行業(yè)大模型發(fā)展帶來(lái)更多機(jī)遇，也推動(dòng)騰訊云MaaS服務(wù)能力快速迭代，在這里，我也和大家分享一些我觀(guān)察到的大模型發(fā)展趨勢(shì)。

首先，行業(yè)大模型正深入各類(lèi)業(yè)務(wù)場(chǎng)景，推動(dòng)企業(yè)全鏈條智能化。

六個(gè)月前，客戶(hù)來(lái)談大模型，能想到的應(yīng)用場(chǎng)景基本只是文字客服。但今天，應(yīng)用場(chǎng)景已經(jīng)快速擴(kuò)展到各個(gè)領(lǐng)域，比如，在金融行業(yè)，大模型已經(jīng)應(yīng)用在開(kāi)戶(hù)、業(yè)務(wù)處理、風(fēng)控等多個(gè)場(chǎng)景。

基于這些客戶(hù)需求，我們嘗試用大模型打造全棧產(chǎn)品能力，用于業(yè)務(wù)不同環(huán)節(jié)，助力企業(yè)全鏈條提質(zhì)增效。

就拿金融行業(yè)來(lái)說(shuō)，海量單據(jù)的處理是金融業(yè)務(wù)員的突出痛點(diǎn)，這項(xiàng)工作技術(shù)含量低、但又很重要，容錯(cuò)率低，每天都要耗費(fèi)大量時(shí)間。一家國(guó)內(nèi)頭部商業(yè)銀行找到我們，用搭載大模型能力的TI-OCR平臺(tái)，只需要50張標(biāo)注數(shù)據(jù)，就能識(shí)別回單、發(fā)票、申請(qǐng)書(shū)等多種表單，準(zhǔn)確率超過(guò)95%，需要的數(shù)據(jù)也大大減少。不僅節(jié)約業(yè)務(wù)人員的大量時(shí)間，而且還能自動(dòng)提煉核心標(biāo)簽，生成電子數(shù)據(jù)文件，進(jìn)行后續(xù)商業(yè)分析。

而風(fēng)險(xiǎn)管理是金融業(yè)務(wù)的生命線(xiàn)，金融機(jī)構(gòu)幾個(gè)月就得升級(jí)一次風(fēng)控模型，傳統(tǒng)建模流程，耗時(shí)耗力，我們也將騰訊安全積累多年的多模態(tài)風(fēng)控知識(shí)，沉淀到金融風(fēng)控大模型中。金融機(jī)構(gòu)通過(guò)小樣本的提示，就可以根據(jù)客群和市場(chǎng)的變化，自動(dòng)生成專(zhuān)屬的風(fēng)控模型，整個(gè)建模流程，從2周減少到2天，整體反欺詐效果提升了20%左右。

在客戶(hù)服務(wù)環(huán)節(jié)，大模型的應(yīng)用也不僅僅是文字對(duì)話(huà)，專(zhuān)屬大模型與數(shù)智人的結(jié)合，讓虛擬客服用擬人化的方式，與客戶(hù)順暢地實(shí)時(shí)互動(dòng)；再加上基于音視頻，和圖像識(shí)別的人臉核身技術(shù)，就可以高效在線(xiàn)辦理金融業(yè)務(wù)。根據(jù)行業(yè)統(tǒng)計(jì)，金融客服中心的運(yùn)營(yíng)成本中，人力成本占到60%-70%。中信建投就運(yùn)用騰訊云智能的解決方案，完成了95%的新用戶(hù)開(kāi)戶(hù)工作。

其次，隨著大模型的產(chǎn)業(yè)落地，大家更關(guān)注如何尋找與自身業(yè)務(wù)更匹配的模型底座，訓(xùn)練出符合自身需求的專(zhuān)屬模型。

這驅(qū)使我們不斷升級(jí)大模型商店，提供全新的“1+N+N”服務(wù)，滿(mǎn)足不同企業(yè)的不同需求。

“1”代表我們的騰訊混元大模型。在大會(huì)的主論壇中，我們正式公布了自研通用大模型——混元，騰訊內(nèi)部多個(gè)業(yè)務(wù)和產(chǎn)品，已經(jīng)接入測(cè)試，并取得不錯(cuò)的效果，更多業(yè)務(wù)和應(yīng)用也正在逐步接入中?；煸粌H是騰訊行業(yè)大模型的重要支撐底座，也面向行業(yè)開(kāi)放。通過(guò)我們的大模型商店，客戶(hù)可以利用混元，來(lái)訓(xùn)練自己的專(zhuān)屬模型，并借助API開(kāi)放能力，與已有業(yè)務(wù)系統(tǒng)無(wú)縫融合。

然后第一個(gè)“N”，是指混元之外，我們?cè)诖竽Ｐ蜕痰曛?，提供Llama 2、Falcon、Bloom等20多種行業(yè)最新、最流行的開(kāi)源通用大模型，供客戶(hù)選擇。同時(shí)我們的TI平臺(tái)，也已經(jīng)支持這些開(kāi)源模型的訓(xùn)練和推理?？蛻?hù)基于Jupyter Notebook，就可以快速啟動(dòng)模型精調(diào)，模型部署通過(guò)低代碼操作就可以完成。

第二個(gè)“N”，指的是我們的行業(yè)大模型。在通用大模型基礎(chǔ)上，通過(guò)行業(yè)數(shù)據(jù)再次加工，為行業(yè)客戶(hù)提供更專(zhuān)業(yè)和精準(zhǔn)的服務(wù)。目前我們的行業(yè)大模型，從早期的文旅、泛互、零售等領(lǐng)域，快速擴(kuò)展到能源、消費(fèi)電子、醫(yī)療等20多個(gè)行業(yè)，并覆蓋生產(chǎn)、銷(xiāo)售、客服等多個(gè)環(huán)節(jié)。

企業(yè)可以在大模型精選商店中，挑選合適的模型為基礎(chǔ)，通過(guò)騰訊云智能的TI平臺(tái)，導(dǎo)入企業(yè)獨(dú)有的專(zhuān)業(yè)文檔與企業(yè)數(shù)據(jù)，做進(jìn)一步的訓(xùn)練與精調(diào)，快速生成更有針對(duì)性的專(zhuān)屬大模型，更好滿(mǎn)足企業(yè)個(gè)性化需求。同時(shí)，不管是在公有云上搭建，還是私有化部署，我們都可以做好權(quán)限管控和數(shù)據(jù)加密，讓企業(yè)用戶(hù)在使用模型時(shí)更放心。

再次，模型的熱潮導(dǎo)致硬件和人力成本攀升，更多的企業(yè)意識(shí)到，擁抱大模型不能只是一時(shí)沖動(dòng)，還要理性考慮落地成本，訓(xùn)練、推理的效率。

企業(yè)專(zhuān)屬模型的生成，涉及數(shù)字資產(chǎn)資源管理、數(shù)據(jù)標(biāo)注、訓(xùn)練、評(píng)估、測(cè)試和部署等很多環(huán)節(jié)。同時(shí)，根據(jù)業(yè)務(wù)發(fā)展，企業(yè)模型需要不斷地調(diào)優(yōu)、迭代，數(shù)據(jù)處理的整個(gè)過(guò)程，也要不斷地重復(fù)。

如何幫助企業(yè)高效率、低成本地用好模型？我們通過(guò)基于騰訊云TI平臺(tái)的行業(yè)大模型精調(diào)解決方案，幫助模型開(kāi)發(fā)者與算法工程師，一站式解決數(shù)據(jù)處理問(wèn)題，保障數(shù)據(jù)高質(zhì)高效、安全合規(guī)地處理；通過(guò)多機(jī)多卡訓(xùn)練加速能力，高效率、低成本地創(chuàng)建和使用大模型。

這次，我們對(duì)TI平臺(tái)的工具鏈進(jìn)行了全新升級(jí)，全新升級(jí)的太極Angel框架，通過(guò)異步調(diào)度優(yōu)化、顯存優(yōu)化、計(jì)算優(yōu)化等方式，讓大模型的訓(xùn)練速度提升30%，推理加速比達(dá)到了2倍。

行業(yè)大模型正在走進(jìn)千行百業(yè)，大量新的場(chǎng)景、新的需求被激活，如何低成本獲取底層算力，也是企業(yè)當(dāng)前面臨的突出難題。在大模型的底層基礎(chǔ)設(shè)施上，我們對(duì)服務(wù)器、網(wǎng)絡(luò)、數(shù)據(jù)這個(gè)“鐵三角”不斷優(yōu)化，幫助客戶(hù)降本增效。

我們的新一代HCC高性能計(jì)算集群，實(shí)現(xiàn)了GPU算力無(wú)損釋放，服務(wù)協(xié)議等級(jí)（SLA）不低于99.9%。同時(shí)基于云原生架構(gòu)，實(shí)現(xiàn)訓(xùn)練和推理業(yè)務(wù)的混合部署，大量節(jié)約大模型的部署、訓(xùn)練成本。

我們自研的服務(wù)器機(jī)間網(wǎng)絡(luò)——星脈，做到了業(yè)界最強(qiáng)的3.2T帶寬、支持10萬(wàn)卡集群組網(wǎng)，讓GPU之間的通信更快，擁堵更少，計(jì)算效率更高。

我們也在國(guó)內(nèi)云廠(chǎng)商中，率先推出向量數(shù)據(jù)庫(kù)，提升海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和檢索效率，讓大模型預(yù)訓(xùn)練數(shù)據(jù)的分類(lèi)、去重和清洗，實(shí)現(xiàn)10倍的效率提升。1個(gè)月左右的數(shù)據(jù)接入時(shí)間，3天即可完成，極大降低了企業(yè)的成本。

毫無(wú)疑問(wèn)，我們正在邁入被人工智能劇烈改變的時(shí)代，AI將通過(guò)與產(chǎn)業(yè)深度融合，創(chuàng)造更大的價(jià)值。騰訊將不斷開(kāi)放自身的技術(shù)和能力，助力產(chǎn)業(yè)擁抱智能升級(jí)，實(shí)現(xiàn)更高質(zhì)量的發(fā)展。