九位業(yè)界專(zhuān)家齊聚，聚焦智能時(shí)代下多媒體與XR技術(shù)的融合發(fā)展

5G、AI等技術(shù)的不斷發(fā)展，正在逐步拉近虛擬與現(xiàn)實(shí)空間的物理距離，XR作為全真互聯(lián)的重要入口之一，也進(jìn)入了高速發(fā)展期。近年來(lái)，XR頻繁出現(xiàn)在各類(lèi)政府工作報(bào)告中，并被列為數(shù)字經(jīng)濟(jì)發(fā)展的七大重點(diǎn)產(chǎn)業(yè)之一。作為XR落地產(chǎn)業(yè)應(yīng)用的橋頭堡領(lǐng)域，多媒體賽道更是備受期待和關(guān)注。

針對(duì)XR技術(shù)趨勢(shì)及落地場(chǎng)景，在2022騰訊數(shù)字生態(tài)大會(huì)·騰訊云多媒體技術(shù)專(zhuān)場(chǎng)上，多位行業(yè)專(zhuān)家就“多媒體與XR技術(shù)的演進(jìn)、現(xiàn)狀和發(fā)展”展開(kāi)深度討論。圍繞如何基于低碼率高畫(huà)質(zhì)、超分等視頻處理技術(shù)帶來(lái)的畫(huà)質(zhì)提升、三維視頻帶來(lái)的深度感知、任意視點(diǎn)視頻帶來(lái)的用戶(hù)交互、擴(kuò)展現(xiàn)實(shí)與虛擬現(xiàn)實(shí)帶來(lái)的超現(xiàn)實(shí)感等業(yè)界關(guān)注的焦點(diǎn)問(wèn)題，輸出自身獨(dú)到的觀(guān)點(diǎn)和建議。

IEEE Fellow、騰訊杰出科學(xué)家、騰訊多媒體實(shí)驗(yàn)室負(fù)責(zé)人劉杉表示：“近年來(lái)XR在產(chǎn)學(xué)研各界被反復(fù)提及，XR無(wú)論是發(fā)展的廣闊前景還可能的廣泛應(yīng)用，都有很多技術(shù)空間可以讓我們?nèi)ヌ嵘部梢杂懈两捏w驗(yàn)。除了技術(shù)性的音視頻標(biāo)準(zhǔn)之外，關(guān)于XR以及相關(guān)的合規(guī)的標(biāo)準(zhǔn)也非常重要。因?yàn)檫@些標(biāo)準(zhǔn)不僅有其商業(yè)價(jià)值，更有其社會(huì)價(jià)值。目前國(guó)內(nèi)國(guó)際包括騰訊在內(nèi)的企業(yè)都非常重視這一部分的投入。”

（圖：IEEE Fellow、騰訊杰出科學(xué)家、騰訊多媒體實(shí)驗(yàn)室負(fù)責(zé)人劉杉）

隨著XR不斷滲透到游戲、影視、娛樂(lè)等消費(fèi)類(lèi)ToC場(chǎng)景，以及醫(yī)療、零售、教育等產(chǎn)業(yè)類(lèi)ToB場(chǎng)景。中國(guó)工程院院士、廣播電視技術(shù)專(zhuān)家丁文華表示，XR與多媒體的技術(shù)演進(jìn)相輔相成，它不僅影響著每個(gè)人的工作、學(xué)習(xí)，未來(lái)還有可能影響到包括教育、醫(yī)療、工業(yè)乃至整個(gè)制造環(huán)境的再造。

無(wú)論是消費(fèi)類(lèi)ToC場(chǎng)景還是產(chǎn)業(yè)類(lèi)ToB場(chǎng)景，在IEEE Fellow、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授溫江濤看來(lái)，XR真正實(shí)現(xiàn)落地的前提，是需要更多不同技術(shù)及理論的支撐。多媒體技術(shù)是其中最主要的一部分，另外還涉及顯示材料、電池等技術(shù)方向。

全景聲科技創(chuàng)始人、董事長(zhǎng)潘興德補(bǔ)充認(rèn)為，XR產(chǎn)業(yè)的發(fā)展更多由內(nèi)容驅(qū)動(dòng)，C端文娛內(nèi)容或成為第一階段最重要的落地方向。未來(lái)包括電影、音樂(lè)、游戲、視頻等行業(yè)都可以在虛擬世界里面匹配對(duì)應(yīng)的呈現(xiàn)方式。

騰訊多媒體實(shí)驗(yàn)室擴(kuò)展媒體中心負(fù)責(zé)人、國(guó)際標(biāo)準(zhǔn)專(zhuān)家許曉中，騰訊在線(xiàn)視頻BU播放技術(shù)中心總監(jiān)朱子榮參與了本次討論。

此外，騰訊多媒體實(shí)驗(yàn)室還對(duì)外宣布即將發(fā)布一份基于產(chǎn)業(yè)洞察、自研技術(shù)積累梳理而出的VR技術(shù)白皮書(shū)，將為行業(yè)的高效、健康發(fā)展提供重要的參考價(jià)值。

丁文華：重視軟硬件合規(guī)性，XR應(yīng)用可對(duì)人類(lèi)生活產(chǎn)生深遠(yuǎn)影響

XR是一種近眼顯示的綜合技術(shù)應(yīng)用，人們過(guò)去更多通過(guò)手機(jī)、ipad、電腦等遠(yuǎn)場(chǎng)顯示去獲取信息。如今，近眼顯示的發(fā)展已經(jīng)融入了很多技術(shù)元素，譬如如何實(shí)現(xiàn)感知問(wèn)題、如何讓顯示圖像更具沉浸感、如何將聲音更好融入其中，甚至還能控制互動(dòng)，多種技術(shù)的疊加能夠?yàn)橄M(fèi)者帶來(lái)更為沉浸式的體驗(yàn)。

XR作為人機(jī)交互最主要的入口裝置之一，它與多媒體技術(shù)的演進(jìn)相輔相成，能夠?yàn)槿藗兊纳a(chǎn)、生活帶來(lái)比較大的變化。它不僅影響著每個(gè)人的工作、學(xué)習(xí)，還可能影響到醫(yī)療、教育，乃至工業(yè)等整個(gè)制造環(huán)境的再造。目前，XR相關(guān)技術(shù)都在不停地更新迭代，這幾年的進(jìn)步比較明顯，未來(lái)前景可以期待。

（圖：中國(guó)工程院院士、廣播電視技術(shù)專(zhuān)家 丁文華）

從行業(yè)標(biāo)準(zhǔn)出發(fā)，XR應(yīng)用應(yīng)該具備一個(gè)下限——佩戴的舒適性；同時(shí)，我們還應(yīng)該去不斷追求它的上限——效果的逼真度、體驗(yàn)的沉浸式，而這些都需要產(chǎn)業(yè)界去制定相對(duì)應(yīng)的標(biāo)準(zhǔn)。

從合規(guī)角度出發(fā)，軟硬件合規(guī)非常重要，應(yīng)該由政府牽頭、企業(yè)跟進(jìn)，一同促進(jìn)行業(yè)的高效、健康發(fā)展，目前整個(gè)行業(yè)的核心還是聚焦在內(nèi)容生產(chǎn)方面，未來(lái)應(yīng)該在多層面做進(jìn)一步的革新和突破。

XR眼下大受關(guān)注，它下一步的技術(shù)拓展也遠(yuǎn)不止于視覺(jué)、聽(tīng)覺(jué)層面。而是面向交互、面向感知、面向腦機(jī)接口技術(shù)，去做更多的技術(shù)探索與突破。“X”是未知的，它的變化對(duì)人類(lèi)產(chǎn)生的影響是非常深遠(yuǎn)的。

溫江濤：未來(lái)的多媒體技術(shù)應(yīng)用更像是網(wǎng)格架構(gòu)，而非金字塔架構(gòu)

XR實(shí)現(xiàn)真正落地的前提，需要多種技術(shù)及理論的支撐。多媒體技術(shù)是其中最主要的一部分，另外還涉及顯示材料、電池等技術(shù)方向的突破，最終目標(biāo)是為了能夠讓消費(fèi)者更舒適、更長(zhǎng)時(shí)間地去佩戴、體驗(yàn)相關(guān)產(chǎn)品。

通常，大眾所理解的多媒體是包括音頻、圖像等多個(gè)不同媒體形態(tài)的組成。比如電視臺(tái)，它是“一個(gè)生產(chǎn)者面向眾多消費(fèi)者”的形態(tài)，類(lèi)似金字塔架構(gòu)。但在目前的融媒體生態(tài)中，無(wú)論是直播形態(tài)或是社交網(wǎng)絡(luò)上其他各式各樣的形態(tài)，多媒體已經(jīng)變成了“眾多生產(chǎn)者面對(duì)眾多消費(fèi)者”的形態(tài)，更像是網(wǎng)格架構(gòu)，而非金字塔架構(gòu)。

在我看來(lái)，網(wǎng)格架構(gòu)更適合未來(lái)技術(shù)趨勢(shì)的發(fā)展。所有偉大的產(chǎn)品，我們看到的可能不只是技術(shù)，而是體驗(yàn)。譬如剛剛拿到的第一款I(lǐng)phone，首先不會(huì)想到其中有上百億個(gè)晶體管、有上億行復(fù)雜的代碼，消費(fèi)者最先關(guān)注到的是更好的體驗(yàn)。XR未來(lái)也是這樣，一方面我們希望多媒體的技術(shù)能夠不斷地演進(jìn)去促進(jìn)XR產(chǎn)業(yè)的發(fā)展；另外一方面可能也需要使用多媒體技術(shù)去彌補(bǔ)其他行業(yè)發(fā)展的不足。

（圖：IEEE Fellow、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授 溫江濤）

此外，我認(rèn)為面向XR的標(biāo)準(zhǔn)可以分為兩類(lèi)：一類(lèi)是企業(yè)喜歡的標(biāo)準(zhǔn)，另外一類(lèi)是企業(yè)排斥的標(biāo)準(zhǔn)。比如說(shuō)視頻編解碼等，這些標(biāo)準(zhǔn)能夠推動(dòng)產(chǎn)品的落地，企業(yè)都會(huì)積極參與；另一類(lèi)標(biāo)準(zhǔn)可能涉及安全、倫理等問(wèn)題，有些企業(yè)則避之不及，因?yàn)闀?huì)阻礙相關(guān)產(chǎn)品的落地。未來(lái)，我希望更多的產(chǎn)品在投入市場(chǎng)之前，可以保證它的安全性、合規(guī)性得到完全驗(yàn)證。

XR中的“X”象征著未知。未來(lái)如何去使用XR技術(shù)，以及它的應(yīng)用形態(tài)在哪些方面能夠落地，需要大家一起探索。

潘興德： XR產(chǎn)業(yè)未來(lái)的發(fā)展在第一階段更多由內(nèi)容推動(dòng)

我們一直在關(guān)注產(chǎn)業(yè)的發(fā)展。未來(lái)的XR行業(yè)必然會(huì)深入影響人們?nèi)粘Ｉ畹姆椒矫婷?，?huì)深刻影響現(xiàn)實(shí)世界的運(yùn)轉(zhuǎn)規(guī)則。但我們距離沉浸式的或者能夠媲美現(xiàn)實(shí)世界的XR應(yīng)用還有很長(zhǎng)一段路要走。一方面是技術(shù)本身的鴻溝，另一方面則是標(biāo)準(zhǔn)化問(wèn)題，其中涉及互通互聯(lián)、社會(huì)倫理等方面的問(wèn)題。

XR落地，內(nèi)容為王。未來(lái)，電影、音樂(lè)、游戲、視頻等行業(yè)都可以在虛擬世界里面找到對(duì)應(yīng)的呈現(xiàn)方式。

（圖：全景聲科技創(chuàng)始人、董事長(zhǎng) 潘興德）

在終端顯示層面，我們也正在嘗試使用越來(lái)越少的揚(yáng)聲器去實(shí)現(xiàn)更好的效果。比如目前使用兩只揚(yáng)聲器在理想條件下，就能夠?qū)崿F(xiàn)接近八分之一的聲場(chǎng)。接下來(lái)，我們還要解決包括渲染模型個(gè)性化問(wèn)題和各種更精確建模等極具挑戰(zhàn)性的問(wèn)題。

XR對(duì)于音頻場(chǎng)景，需要解決的是三自由度、六自由度、沉浸感、互動(dòng)性問(wèn)題。在一個(gè)虛擬世界或虛實(shí)共生的世界中，用戶(hù)需要聽(tīng)到真實(shí)的聲音。而聲音中又包括各種各樣的聲音源，這會(huì)涉及大量的建模問(wèn)題。未來(lái)，XR場(chǎng)景的聲學(xué)問(wèn)題可能會(huì)帶來(lái)很多新的挑戰(zhàn)，需要整個(gè)產(chǎn)業(yè)界去一同面對(duì)、解決。

許曉中： 希望搭建一個(gè)標(biāo)準(zhǔn)平臺(tái)為業(yè)界提供更寬廣的舞臺(tái)

從底層技術(shù)角度出發(fā)，XR涉及視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)和其他更接近于現(xiàn)實(shí)感官的技術(shù)。為了能夠支撐使用體驗(yàn)，我們需要為用戶(hù)提供更高維度的數(shù)據(jù)，會(huì)涉及諸多與多媒體相關(guān)的技術(shù)元素。

譬如，從視覺(jué)角度出發(fā)，為了能夠消費(fèi)更高維度、更豐富的視覺(jué)信息，我們需要對(duì)更高維度的內(nèi)容進(jìn)行壓縮編碼操作；從聽(tīng)覺(jué)角度出發(fā)，包括六自由度的視頻、音頻之間協(xié)同的系統(tǒng)設(shè)計(jì)比較重要，消費(fèi)者要有更多的自由度去感知自己所消費(fèi)的內(nèi)容。

（圖：騰訊多媒體實(shí)驗(yàn)室擴(kuò)展媒體中心負(fù)責(zé)人、國(guó)際標(biāo)準(zhǔn)專(zhuān)家 許曉中）

但這個(gè)融合過(guò)程會(huì)遇到不少挑戰(zhàn)。一方面，視覺(jué)、聽(tīng)覺(jué)等感知技術(shù)的標(biāo)準(zhǔn)化工作還在推進(jìn)、探索中；另一方面，如何將更多的技術(shù)進(jìn)行系統(tǒng)整合，從而協(xié)同一致地為用戶(hù)提升體驗(yàn)，都比較考驗(yàn)技術(shù)基礎(chǔ)和整合能力。

我個(gè)人的觀(guān)點(diǎn)是，XR可以有一個(gè)標(biāo)準(zhǔn)平臺(tái)，為工業(yè)界、學(xué)術(shù)界和其他研究力量提供開(kāi)放寬廣的平臺(tái)，業(yè)界同仁們可以將自己的長(zhǎng)處發(fā)揮起來(lái)，去促進(jìn)XR技術(shù)方方面面的進(jìn)展。

朱子榮：多技術(shù)融合才能實(shí)現(xiàn)XR的沉浸式體驗(yàn)

從軟、硬件到人機(jī)交互，XR的底層技術(shù)非常復(fù)雜，想要實(shí)現(xiàn)更為沉浸式體驗(yàn)感受，需要將這些技術(shù)互融互通。近些年，不管是硬件、軟件、還是內(nèi)容方面，都有很大的發(fā)展。但是，目前的XR仍然處于技術(shù)的早期階段，距離我們預(yù)期的虛擬世界感受還有較大差距。

（圖：騰訊在線(xiàn)視頻BU播放技術(shù)中心總監(jiān) 朱子榮）

從XR的應(yīng)用層面出發(fā)，游戲、運(yùn)動(dòng)健身和視頻占據(jù)前三甲。游戲跟運(yùn)動(dòng)健身比較好理解，它們本身具有一定的三維立體或者沉浸體驗(yàn)的感受，用戶(hù)自然會(huì)比較青睞。在視頻領(lǐng)域，人們從公共影院再到對(duì)私人空間的期待，用戶(hù)非常希望在觀(guān)看視頻時(shí)能夠有非常好的沉浸感受。

但是在這個(gè)過(guò)程中，內(nèi)容硬件的發(fā)展必不可少，用戶(hù)會(huì)要求更高的畫(huà)面清晰度、更低的時(shí)延以及更準(zhǔn)確、更自然的人機(jī)交互方式，讓人們?cè)赩R、AR里面有更好的體驗(yàn)。這樣慢慢從生態(tài)的角度、從需求角度再傳導(dǎo)到上游的生產(chǎn)跟分發(fā)生態(tài)，整個(gè)生態(tài)就會(huì)發(fā)展起來(lái)。

圓桌論壇之后，在活動(dòng)的主題分享環(huán)節(jié)，騰訊多媒體實(shí)驗(yàn)室專(zhuān)家研究員趙欣帶來(lái)《國(guó)際視頻編碼標(biāo)準(zhǔn)前沿進(jìn)展》主題演講，他表示各個(gè)國(guó)際視頻編碼標(biāo)準(zhǔn)組織目前正在推動(dòng)下一代視頻編碼標(biāo)準(zhǔn)項(xiàng)目，VVC標(biāo)準(zhǔn)化項(xiàng)目是騰訊第一次站上國(guó)際視頻標(biāo)準(zhǔn)的大舞臺(tái)。根據(jù)第三方德國(guó)專(zhuān)利信息分析機(jī)構(gòu)IPLytics報(bào)告，騰訊在VVC采納技術(shù)提案總數(shù)中位列所有公司排名前三。

（圖：騰訊多媒體實(shí)驗(yàn)室專(zhuān)家研究員趙欣）

開(kāi)放媒體聯(lián)盟（AOMedia）在2018年發(fā)布了AV1標(biāo)準(zhǔn)，在視頻應(yīng)用產(chǎn)業(yè)中產(chǎn)生了巨大影響。開(kāi)放媒體聯(lián)盟2020年啟動(dòng)下一代AV2視頻編碼標(biāo)準(zhǔn)項(xiàng)目，騰訊多媒體實(shí)驗(yàn)室團(tuán)隊(duì)從AV2項(xiàng)目的籌備階段就開(kāi)始參與，目前已貢獻(xiàn)了30多項(xiàng)技術(shù)提案，其中17項(xiàng)技術(shù)提案獲得采納并且進(jìn)入了AV2的AVM編解碼軟件平臺(tái)。在A(yíng)V2項(xiàng)目中，騰訊多媒體實(shí)驗(yàn)室團(tuán)隊(duì)創(chuàng)新地提出了“跨色度像素偏移濾波”的自研技術(shù)，該技術(shù)屬于傳統(tǒng)混合編碼框架下的六大編碼模塊之一的濾波技術(shù)。

騰訊多媒體實(shí)驗(yàn)室高級(jí)研究員李一鳴以《O264rt編解碼——實(shí)時(shí)業(yè)務(wù)優(yōu)化實(shí)踐》為主題，分享了實(shí)時(shí)業(yè)務(wù)場(chǎng)景驅(qū)動(dòng)的264相關(guān)優(yōu)化。他表示視頻編碼標(biāo)準(zhǔn)目前仍然是屬于一個(gè)百家爭(zhēng)鳴的時(shí)代，在生態(tài)方面264仍有它獨(dú)特的優(yōu)勢(shì)，比如說(shuō)專(zhuān)利、終端支持度。

（圖：騰訊多媒體實(shí)驗(yàn)室高級(jí)研究員李一鳴）

多媒體實(shí)驗(yàn)室主導(dǎo)的實(shí)時(shí)的端側(cè)的264編碼器，被命名為O264rt。O264rt編碼器拋棄了X264的設(shè)計(jì)方向，在設(shè)計(jì)上是直接針對(duì)業(yè)務(wù)場(chǎng)景去深度定制的目前，O264rt的對(duì)接場(chǎng)景其實(shí)包含了純RTC應(yīng)用，電競(jìng)直播，以及云游戲、短視頻錄制等等，場(chǎng)景的話(huà)包括了騰訊很多ToB、ToC的產(chǎn)品，比如說(shuō)TRTC、全民K歌等等。

騰訊多媒體實(shí)驗(yàn)室高級(jí)應(yīng)用研究員田思達(dá)帶來(lái)《開(kāi)箱即用的智能音樂(lè)平臺(tái)》，他表示騰訊的智能音樂(lè)平臺(tái)的技術(shù)能力，按照方向可以分為三個(gè)部分。音樂(lè)理解方面，不僅可以處理整曲，還可以細(xì)化到片段，甚至是音符或者字詞的粒度，實(shí)現(xiàn)了對(duì)一首音樂(lè)全方位無(wú)死角的解析；在音樂(lè)生成方面，不僅能作曲，還可以寫(xiě)詞，也可以通過(guò)演奏和演唱的方式來(lái)對(duì)音樂(lè)的作品進(jìn)行呈現(xiàn)；在音樂(lè)融合方面，將音樂(lè)和視頻等其他模態(tài)的信息進(jìn)行跨模態(tài)的融合，這樣能夠批量產(chǎn)生高質(zhì)量的內(nèi)容。

（圖：騰訊多媒體實(shí)驗(yàn)室高級(jí)應(yīng)用研究員田思達(dá)）

田思達(dá)介紹了騰訊的智能音樂(lè)平臺(tái)的業(yè)務(wù)情況，包括為騰訊云的各條業(yè)務(wù)線(xiàn)提供多個(gè)算法，為金融產(chǎn)品提供了音樂(lè)標(biāo)簽的能力，為騰訊水墨畫(huà)提供了智能配樂(lè)的能力等。

整場(chǎng)論壇中，“未知”一詞頻頻出現(xiàn)，這是人們對(duì)XR充滿(mǎn)想象和期待的縮影，它可以是AR，可以是VR，也可以是MR，不同的形態(tài)對(duì)應(yīng)著不同的技術(shù)標(biāo)準(zhǔn)，業(yè)界都在實(shí)踐和探索。而騰訊多媒體實(shí)驗(yàn)室分享的多項(xiàng)技術(shù)進(jìn)展可以看到其對(duì)于XR的思考與選擇，以及XR如何改變多媒體的形態(tài)。在即將發(fā)布的VR技術(shù)白皮書(shū)中，騰訊多媒體實(shí)驗(yàn)室或?qū)⒎窒砀郮R的研究與產(chǎn)業(yè)調(diào)查，敬請(qǐng)期待。