中國電信發(fā)布全自研視頻生成大模型

每經(jīng)記者 楊卉    每經(jīng)編輯 張海妮    

12月2日至12月5日，“2024數(shù)字科技生態(tài)大會”在廣州舉辦。期間，中國電信在首屆“TeleAI開發(fā)者大會”上發(fā)布了視頻生成大模型、視覺大模型產(chǎn)用一體化平臺、具身智能、智傳網(wǎng)等一系新品，成立不久的TeleAI研究院也一同亮相。

《每日經(jīng)濟(jì)新聞》記者在現(xiàn)場了解到，此次電信發(fā)布的視頻生成大模型為首個央企全自研視頻生成大模型，打造了“VAST（Video As Storyboard from Text）二階段視頻生成技術(shù)”，可通過文本描述勾勒出包含視頻構(gòu)圖、主體目標(biāo)位置及人物姿態(tài)等關(guān)鍵信息的“故事板”（Storyboard），進(jìn)而生成對應(yīng)的視頻內(nèi)容。

圖片來源：每經(jīng)記者 楊卉 攝

中國電信方面表示，得益于VAST的創(chuàng)新能力，視頻生成大模型可以保證單個或多個主體人物在各視頻片段中的外觀一致性，實現(xiàn)對復(fù)雜動作和交互式動作的精確控制，并讓角色和目標(biāo)物體的運(yùn)動符合物理規(guī)律。

基于此，通過語義、語音、文生圖、文生視頻等全棧大模型能力打通短劇及影視制作的各個環(huán)節(jié)；覆蓋文字腳本撰寫、分鏡腳本繪制、視頻拍攝及剪輯、配音及音效合成等全流程，實現(xiàn)降本增效。

除了視頻生成大模型，中國電信還發(fā)布了基于知識的視圖萬物布控視覺大模型。根據(jù)中國電信的介紹，視覺大模型現(xiàn)已升級至TeleSearch 2.0—基于知識的視圖萬物布控，可實現(xiàn)動態(tài)知識掛載和行業(yè)事件認(rèn)知，并驅(qū)動復(fù)雜邏輯理解。

TeleSearch 2.0目標(biāo)是打破模態(tài)間的信息孤島，支持上百個專業(yè)知識文檔掛載，在理解文檔內(nèi)容的基礎(chǔ)上可根據(jù)復(fù)雜長語句精準(zhǔn)檢索圖片和視頻，從而完成跨模態(tài)復(fù)雜語義準(zhǔn)確理解及超萬種目標(biāo)精準(zhǔn)檢索。

依托TeleSearch 2.0，中國電信構(gòu)建了視覺大模型產(chǎn)用一體化平臺，通過算法冷啟動回流數(shù)據(jù)，可實現(xiàn)0訓(xùn)練數(shù)據(jù)直接推理，并支持小樣本訓(xùn)練。中國電信透露，目前該平臺已成功應(yīng)用于多省應(yīng)急項目，沉淀了20余個應(yīng)急全流程感知場景，提升對災(zāi)害研判與應(yīng)急響應(yīng)的核心能力。