騰訊云升級向量數(shù)據(jù)庫至千億規(guī)模 統(tǒng)一數(shù)據(jù)“語言”讓AI更通用

每經(jīng)記者 王帆    每經(jīng)編輯 張海妮    

今年7月，騰訊云正式發(fā)布AI原生向量數(shù)據(jù)庫，最高支持10億級向量檢索規(guī)模。四個月后，在11月15日的騰訊云向量數(shù)據(jù)庫技術(shù)及產(chǎn)業(yè)峰會上，騰訊云宣布將向量數(shù)據(jù)庫檢索規(guī)模從十億升級至千億級別。

向量數(shù)據(jù)庫使用向量化計算，能夠高速地處理大規(guī)模的復(fù)雜數(shù)據(jù)，解決傳統(tǒng)關(guān)系型數(shù)據(jù)庫中的痛點，是大模型訓(xùn)練過程中數(shù)據(jù)存儲的更優(yōu)選擇。在接受包括《每日經(jīng)濟新聞》記者在內(nèi)的媒體記者采訪時，騰訊云數(shù)據(jù)庫副總經(jīng)理羅云表示：“向量在未來是一種通用的人工智能數(shù)據(jù)格式，能夠屏蔽掉因底層數(shù)據(jù)格式的差異導(dǎo)致無法很好使用非結(jié)構(gòu)化數(shù)據(jù)的問題。”

也就是說，向量數(shù)據(jù)庫通過統(tǒng)一企業(yè)數(shù)據(jù)與大模型交互的“語言”，讓AI變得更加通用和高效。這已經(jīng)成為AI浪潮下的行業(yè)共識。

圖片來源：每經(jīng)記者 孔澤思 攝（資料圖）

向量數(shù)據(jù)規(guī)模從十億升級到千億

11月15日，在騰訊云向量數(shù)據(jù)庫技術(shù)及產(chǎn)業(yè)峰會上，騰訊云全面升級向量數(shù)據(jù)庫多項核心性能，最高支持千億級向量規(guī)模和500萬QPS（每秒查詢率）峰值能力，同時和信通院一起聯(lián)合50多家企業(yè)共同發(fā)布了國內(nèi)首個向量數(shù)據(jù)庫標準，推進向量數(shù)據(jù)庫及大模型相關(guān)產(chǎn)業(yè)走向大規(guī)模應(yīng)用。

騰訊方面透露，自7月份正式發(fā)布以來，騰訊云向量數(shù)據(jù)庫經(jīng)過多次迭代升級，在企業(yè)級能力上持續(xù)突破：在優(yōu)化版的IVF索引支持下，從最初支持的十億向量規(guī)模到現(xiàn)在的千億規(guī)模；不斷優(yōu)化索引的壓縮算法，讓相同的內(nèi)存可以存儲5-10倍的數(shù)據(jù)；集成Embedding（嵌入）功能，讓用戶無須關(guān)注向量生成過程，就可以實現(xiàn)快速的數(shù)據(jù)處理。

騰訊云數(shù)據(jù)庫副總經(jīng)理羅云在會上表示：“從編程語言到自然語言，大模型重塑了算力調(diào)度方式。而AGI（通用人工智能）時代，也需要智能化的數(shù)據(jù)調(diào)度范式。AGI時代的數(shù)據(jù)平臺，向量數(shù)據(jù)庫是數(shù)據(jù)的中樞，騰訊云向量數(shù)據(jù)庫希望成為這個數(shù)據(jù)中樞，通過企業(yè)級和智能化的能力助力各行各業(yè)一起走向AGI。”

在會后接受采訪時，羅云進一步分析道：“向量在未來是一種通用的人工智能數(shù)據(jù)格式，它連接關(guān)鍵數(shù)據(jù)庫、非關(guān)鍵數(shù)據(jù)庫、對象存儲、文件存儲各式各樣結(jié)構(gòu)的數(shù)據(jù)，把這些數(shù)據(jù)集中化放在一個數(shù)據(jù)管理平臺上，屏蔽掉因底層數(shù)據(jù)格式的差異導(dǎo)致無法很好使用非結(jié)構(gòu)化數(shù)據(jù)的問題。”他提到，大模型目前更多是解決計算問題，而向量數(shù)據(jù)庫解決的是存儲問題，兩者之間相互支持配合，是一種“你中有我，我中有你”的關(guān)系。

如今，向量數(shù)據(jù)庫通過統(tǒng)一數(shù)據(jù)“語言”能夠加速大模型高效落地，已經(jīng)成為了行業(yè)共識。今年全球有多家向量數(shù)據(jù)庫創(chuàng)業(yè)公司獲得新融資。阿里云今年7月也發(fā)布了內(nèi)置向量引擎功能的最新版云原生數(shù)倉AnalyticDB，用戶僅需30分鐘即可構(gòu)建專屬生成式AI應(yīng)用。

成本還不是推廣的主要“卡點”

據(jù)羅云介紹，目前騰訊云向量數(shù)據(jù)庫已經(jīng)累計服務(wù)了騰訊內(nèi)部40多個業(yè)務(wù)，日請求量達1600億次，服務(wù)了包括博世、銷售易、搜狐、好未來、鏈家等在內(nèi)的超過1000家外部客戶。

例如，在SaaS領(lǐng)域，幫助企業(yè)客戶快速構(gòu)建私域知識庫、智能客服系統(tǒng)；在電商行業(yè)，使用向量數(shù)據(jù)庫來提升推薦、搜索、廣告業(yè)務(wù)的推薦效果；在出行行業(yè)，使用向量數(shù)據(jù)庫來加速自動駕駛模型訓(xùn)練。此外，在教育行業(yè)以及文創(chuàng)等行業(yè)也有廣泛應(yīng)用。

《每日經(jīng)濟新聞》記者注意到，向量數(shù)據(jù)庫擁有騰訊云產(chǎn)品一貫的推廣邏輯——在內(nèi)部豐富的產(chǎn)品矩陣中打磨跑通，再對外輸出經(jīng)驗。羅云認為，騰訊自己把產(chǎn)品的應(yīng)用吃透，再放到外部去，客戶的滿意度自然就會起來。“在To B這種賽道，一個客戶的試錯成本是很高的。如果客戶由于我們的服務(wù)沒有支撐好他的業(yè)務(wù)，那這種業(yè)界的口碑傳播其實對我們整個云品牌的創(chuàng)傷是挺大的。”他說道。

那么，為何最早使用騰訊云向量數(shù)據(jù)庫的是SaaS領(lǐng)域以及電商出行、教育等行業(yè)？羅云認為，產(chǎn)品落地的“冷啟動”對象，首先主要來自騰訊云既有的客戶群體，其次是取決于客戶意愿，對新興業(yè)務(wù)是否主動擁抱。

羅云稱，“我和很多的企業(yè)主都在聊，大家很饑渴也很焦慮，生怕在AI時代掉隊，但他們其實也不太明白怎么樣去用好向量數(shù)據(jù)庫，怎么樣用好大模型，怎么樣把自己的知識變成向量數(shù)據(jù)存儲起來。盡管向量數(shù)據(jù)庫是很重計算、重內(nèi)存的事情，整個行業(yè)都在探討解決方案，但目前來看，成本還不是當前推廣向量數(shù)據(jù)庫的主要‘卡點’，客戶更多的還是考慮怎樣把自己的行業(yè)know-how（技術(shù)訣竅）和AI技術(shù)打通”。

封面圖片來源：每經(jīng)記者 孔澤思 攝（資料圖）