全面對標(biāo)Sora 生數(shù)科技聯(lián)合清華推出國內(nèi)首個(gè)純自研視頻大模型 | 大模界

每經(jīng)記者 可楊    每經(jīng)編輯 魏官紅    

4月27日，在中關(guān)村論壇未來人工智能先鋒論壇上，生數(shù)科技聯(lián)合清華大學(xué)正式發(fā)布中國首個(gè)長時(shí)長、高一致性、高動(dòng)態(tài)性視頻大模型Vidu。

據(jù)悉，該模型采用Diffusion（擴(kuò)散概率模型）與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。生數(shù)科技方面介紹，與Sora一致，Vidu能夠根據(jù)提供的文本描述直接生成長達(dá)16秒的高質(zhì)量視頻。

生數(shù)科技方面介紹，其核心技術(shù)U-ViT架構(gòu)由團(tuán)隊(duì)于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個(gè)Diffusion（擴(kuò)散概率模型）與Transformer融合的架構(gòu)，完全由團(tuán)隊(duì)自主研發(fā)。

Vidu所生成的短片，采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實(shí)現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

所謂插幀即通過在視頻的每兩幀畫面中增加一幀或多幀來提升視頻的長度或流暢度。這種方法需要對視頻進(jìn)行逐幀處理，通過插入額外的幀來改善視頻長度和質(zhì)量，是一個(gè)分步驟的過程。但Vidu與Sora則是通過單一步驟直接生成高質(zhì)量的視頻，無需經(jīng)過多個(gè)步驟的關(guān)鍵幀生成和插幀處理。

2023年3月，生數(shù)科技團(tuán)隊(duì)開源全球首個(gè)基于U-ViT架構(gòu)的多模態(tài)擴(kuò)散大模UniDiffuser，在全球范圍內(nèi)率先完成融合架構(gòu)的大規(guī)?？蓴U(kuò)展性（Scaling Law）驗(yàn)證。UniDiffuser是在大規(guī)模圖文數(shù)據(jù)集LAION-5B上訓(xùn)練出的近10億參數(shù)量模型，支持圖文模態(tài)間的任意生成和轉(zhuǎn)換。在架構(gòu)上，UniDiffuser比同樣是DiT架構(gòu)的Stable Diffusion 3領(lǐng)先了一年。

生數(shù)科技表示，大模型的突破是一個(gè)多維度、跨領(lǐng)域的綜合性過程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計(jì)劃”，誠邀產(chǎn)業(yè)鏈上下游企業(yè)、研究機(jī)構(gòu)加入，共同構(gòu)建合作生態(tài)。

生數(shù)科技成立于2023年3月，公司創(chuàng)始團(tuán)隊(duì)來自清華大學(xué)人工智能研究院，是全球范圍內(nèi)最早從事擴(kuò)散概率模型研究的團(tuán)隊(duì)之一。截至目前，生數(shù)科技已完成數(shù)億元融資，投資方包括啟明創(chuàng)投、螞蟻集團(tuán)、BV百度風(fēng)投、達(dá)泰資本、錦秋基金、卓源亞洲等知名機(jī)構(gòu)。

封面圖片來源：視覺中國-VCG31N2008743681