騰訊云AI超級(jí)底座新升級(jí)：訓(xùn)練效率提升幅度達(dá)到3倍

大模型推動(dòng)AI進(jìn)入新紀(jì)元，對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)檢索及調(diào)度容錯(cuò)等方面提出了更高要求。在9月7日舉行的2023騰訊全球數(shù)字生態(tài)大會(huì)“AI超級(jí)底座專場(chǎng)”上，騰訊云介紹異構(gòu)計(jì)算全新產(chǎn)品矩陣“AI超級(jí)底座”及其新能力。

騰訊云副總裁王亞晨在開(kāi)場(chǎng)致辭中表示，AI大模型就像是一場(chǎng)F1比賽，騰訊云專門設(shè)計(jì)了星脈高性能算力網(wǎng)絡(luò)“賽道”，并自研了TiTa和TCCL網(wǎng)絡(luò)協(xié)議作為“車載導(dǎo)航和道路控制系統(tǒng)”，共同讓“HCC GPU服務(wù)器”這臺(tái)馬力強(qiáng)大的F1賽車發(fā)揮最大的算力性能，助力客戶在AI大模型的競(jìng)爭(zhēng)中遙遙領(lǐng)先。

騰訊云全新異構(gòu)計(jì)算產(chǎn)品矩陣“AI超級(jí)底座”亮相

隨著AI應(yīng)用走向全領(lǐng)域，模型參數(shù)發(fā)展到千億、萬(wàn)億級(jí)規(guī)模，對(duì)云計(jì)算的基礎(chǔ)設(shè)施提出了全新的挑戰(zhàn)。騰訊云異構(gòu)計(jì)算產(chǎn)品總監(jiān)宋丹丹表示，AI超級(jí)底座可以從底層算力基礎(chǔ)設(shè)施到上層應(yīng)用對(duì)接提供整套完整服務(wù)，方便模型生產(chǎn)廠商和AI開(kāi)發(fā)者快速開(kāi)發(fā)、驗(yàn)證。

騰訊云AI超級(jí)底座具有海量算力、極致性能、靈活取用等優(yōu)勢(shì)，結(jié)合了騰訊云的海量多元算力、高性能網(wǎng)絡(luò)和存儲(chǔ)集群，并以云原生產(chǎn)品作為入口供開(kāi)發(fā)者靈活調(diào)用。在軟硬結(jié)合層，騰訊云還可以通過(guò)GPU虛擬化、容器等，以及高性能應(yīng)用服務(wù)HAI給開(kāi)發(fā)者提供簡(jiǎn)易的開(kāi)發(fā)體驗(yàn)，并讓底層的高性能算力無(wú)損直達(dá)開(kāi)發(fā)者，真正實(shí)現(xiàn)“高性能易上手”。

基礎(chǔ)設(shè)施再進(jìn)化，取之AI，賦能于AI

作為AIGC時(shí)代的重要核心，大模型需要龐大的算力來(lái)支撐。騰訊云高性能計(jì)算集群產(chǎn)品HCC采用騰訊云星星海自研服務(wù)器，提供高性能、高帶寬和低延遲的集群算力。目前，HCC已全面升級(jí)至2.0，性能、效率和穩(wěn)定性實(shí)現(xiàn)全面提升，相比上代訓(xùn)練效率提升幅度達(dá)到3倍，將幾十天的訓(xùn)練周期縮短至一周內(nèi)。

此外，騰訊云還推出了性價(jià)比更高的冷存儲(chǔ)產(chǎn)品、COS加速器，以及數(shù)據(jù)湖多級(jí)加速體系，可面向AIGC等多種業(yè)務(wù)場(chǎng)景提供多級(jí)緩存加速方案，進(jìn)一步提升訓(xùn)練效率并降低資源成本。騰訊云存儲(chǔ)產(chǎn)品總監(jiān)崔劍指出，騰訊云通過(guò)提供近存儲(chǔ)側(cè)的一站式數(shù)據(jù)處理智能平臺(tái)，為以AIGC為代表的業(yè)務(wù)提供內(nèi)容處理、內(nèi)容審核等服務(wù)，幫助用戶挖掘數(shù)據(jù)價(jià)值，從而實(shí)現(xiàn)了“取之AI，助力AI”。

騰訊云公網(wǎng)產(chǎn)品負(fù)責(zé)人俞圓圓指出，對(duì)于參數(shù)達(dá)到千億、萬(wàn)億級(jí)別的AI大模型來(lái)說(shuō)，大帶寬、低延時(shí)、廣覆蓋、少抖動(dòng)的網(wǎng)絡(luò)是實(shí)現(xiàn)高效訓(xùn)練的關(guān)鍵因素之一。騰訊云星脈高性能計(jì)算網(wǎng)絡(luò)具備業(yè)界最高的3.2T通信帶寬，可為AI大模型的訓(xùn)練提供高速公路級(jí)別的網(wǎng)絡(luò)通道。

軟硬件結(jié)合，提升極致性能

底層基礎(chǔ)設(shè)施以外，AI大模型的落地也需要上層軟件的支持。騰訊云異構(gòu)計(jì)算AI研發(fā)專家工程師葉帆表示，隨著集群規(guī)模的增加，無(wú)論訓(xùn)練還是推理對(duì)硬件性能的利用均呈現(xiàn)指數(shù)難度上升，需要精細(xì)的軟硬件協(xié)同來(lái)提升性能。騰訊云的Taco-LLM開(kāi)箱即用性能方案基于Continuous Batching、預(yù)測(cè)解碼、模型量化等技術(shù)，提高吞吐的同時(shí)，也降低了客戶端延遲，并全面兼容hugging face主流大語(yǔ)言模型，可保障復(fù)雜多變的公有云應(yīng)用場(chǎng)景。

針對(duì)GPU算力資源浪費(fèi)的問(wèn)題，騰訊云TencentOS高級(jí)產(chǎn)品架構(gòu)師杜震表示，qGPU容器產(chǎn)品可以支持多個(gè)容器共享GPU卡，具備了各容器間算力、顯存的精細(xì)隔離和靈活配置，將GPU的利用率提升至極致，最終幫助客戶大幅節(jié)約GPU資源成本。同時(shí)，騰訊云還基于RUE內(nèi)核全場(chǎng)景混部，統(tǒng)一調(diào)度分配CPU、IO、網(wǎng)絡(luò)、內(nèi)存等資源，提升資源利用率，進(jìn)一步降低運(yùn)營(yíng)成本。

向量數(shù)據(jù)庫(kù)加速企業(yè)AI化進(jìn)程

在大模型時(shí)代，通過(guò)向量數(shù)據(jù)庫(kù)將數(shù)據(jù)高效接入AI大模型，并深度挖掘數(shù)據(jù)價(jià)值，成為最重要的事。

騰訊云數(shù)據(jù)庫(kù)產(chǎn)品副總經(jīng)理羅云指出，騰訊云向量數(shù)據(jù)庫(kù)同時(shí)具備的性能和規(guī)模優(yōu)勢(shì)，支持高達(dá)10億級(jí)的向量檢索規(guī)模，延遲則控制在毫秒級(jí)，比傳統(tǒng)單機(jī)插件式數(shù)據(jù)庫(kù)檢索規(guī)模提升了10倍。同時(shí)，騰訊云向量數(shù)據(jù)庫(kù)還具備百萬(wàn)級(jí)每秒查詢（QPS）的峰值能力，經(jīng)騰訊內(nèi)部海量場(chǎng)景實(shí)踐，數(shù)據(jù)接入AI的效率比傳統(tǒng)方案提升10倍，運(yùn)行穩(wěn)定性高達(dá)99.99%。

從底層到上層，騰訊云AI超級(jí)底座通過(guò)大模型高性能計(jì)算集群、計(jì)算網(wǎng)絡(luò)以及向量數(shù)據(jù)庫(kù)等大模型生態(tài)工具，助力AI大模型應(yīng)用落地。