每日經濟新聞 2023-02-17 21:22:58
◎目前虛擬人在實際應用中,普遍缺乏真實的人物表情。但在影視制作領域,卻已能生成生動的面部表情。比如年前火熱的電影——《阿凡達2水之道》。
◎在Unity看來,中國擁有世界上最大的游戲市場和汽車市場,也是最大的制造業(yè)國家、基建國家。這意味著,中國擁有全球最大的數(shù)字孿生市場,也很可能誕生最大的元宇宙世界。
每經記者 朱成祥 每經編輯 梁梟
近期,無論是科技領域還是資本市場,最火熱的概念莫過于ChatGPT和AIGC(人工智能技術生成內容)。從文本到圖片,AIGC都有豐富的應用。
那么,在3D世界,AIGC有沒有應用空間?3D引擎與ChatGPT以及GPT類工具,能否擦出火花?
針對以上問題,《每日經濟新聞》記者近日采訪了國際3D引擎巨頭Unity多位專家。Unity中國高級經理兼跨端移植技術負責人孫志鵬告訴記者,對應AI作畫,3D引擎可能實現(xiàn)“一句話建模”。
ChatGPT可實現(xiàn)人工智能創(chuàng)作文本,基于文本,AI作畫可實現(xiàn)人工智能創(chuàng)作圖片,即從一維的文本到二維的平面圖片。那么,基于文本,能否形成三維的視頻呢?即利用CG(計算機動畫)技術以及3D引擎技術,進一步由AI制作微電影。如此前,藝術家團體Sagans就借助虛幻引擎5和AI算法,創(chuàng)造出賽博朋克風格的MV。
對此,孫志鵬表示,AI已被不斷集成至Unity的工具流中,主要用于強化管線的渲染能力,同時也會在程序化數(shù)字資產生成和可微渲染的部分,為AIGC的落地做能力加強和生態(tài)儲備,并參與GPT之類的預訓練模型的使用探索。在多模態(tài)、數(shù)據(jù)合成、對比學習等領域緊跟學術界成果,爭取早日在3D數(shù)字資產創(chuàng)作領域實現(xiàn)AIGC。
對應AI作畫,3D引擎可能實現(xiàn)“一句話建模”。以場景生成為例,目前看起來一個可能的路徑是:首先通過GPT之類的生成模塊,自動生成對一個用戶需要的場景足夠詳細的描述,然后通過一個多模態(tài)模塊進行模態(tài)融合,去驅動一個全可微的程序化建模模塊來生成場景,繼而通過可微渲染器渲染的結果,最后把這個結果交給類似CLIP(文末注)的模塊去生成符合最初描述的圖像或視頻。
而類似過程可以用在很多類型的資產生成過程中,“一句話建模”也就由此實現(xiàn)了。在此之前,工具引擎需要在程序化和可微的方向上做好準備,同時時刻緊跟AIGC相關領域的科研進展,在新銳技術落地的第一時間,讓一切成為可能。
三維空間除了視頻,還有直播等場景。目前,虛擬人技術發(fā)展迅速,那么Unity能否進一步將自身技術應用到電視直播中,從虛擬人升級到虛擬演播室?
對此,Unity中國回復記者稱,此前,由韓國開發(fā)者使用Unity打造的虛擬人SUA已經吸引了全世界的關注。作為實時渲染的數(shù)字人類,SUA全身都基于實時渲染實現(xiàn)。實時渲染的渲染速度與交互性,讓SUA可以與觀眾實時互動,也就讓虛擬演播室成為可能。
另外,目前虛擬人在實際應用中,普遍缺乏真實的人物表情。但在影視制作領域,卻已能生成生動的面部表情。比如年前火熱的電影——《阿凡達2水之道》。該影片的CG技術提供方WētāFX,和此前已被Unity收購的Wētā Digital師出同門。
圖片來源:Unity供圖
Unity Wētā Tools對《每日經濟新聞》記者表示,制作中的最大突破是為影片中的數(shù)字角色制作創(chuàng)新地提出了APFS系統(tǒng)(Anatomically Plausible Facial System),這是一個基于肌肉纖維曲線的面部動畫參數(shù)化系統(tǒng),同時Wētā也提供了一整套與之配合的特效畫面制作生產流程。
全新的APFS系統(tǒng)提供了一個更基于解剖學基礎、更以動畫師為中心的創(chuàng)作環(huán)境。在幫助動畫師通過肌肉曲線直接控制面部肌肉,生成高保真的面部表情的同時,也將復雜的非線性皮膚表現(xiàn)納入深度神經網絡(一種模仿動物神經網絡行為特征,進行分布式并行信息處理的算法數(shù)學模型),繼而通過大約7~10萬次的高質量面部掃描來訓練AI模型,旨在幫助電影創(chuàng)作者更高效地制作高逼真度畫面。
Unity在3D引擎和CG技術領域擁有的技術實力,能給中國的相關產業(yè)發(fā)展帶來哪些助力?
Unity中國表示,公司致力于打造中國本土的、適配各類國產軟硬件平臺的數(shù)字生產力工具,豐富由實時圖形渲染技術支撐的AR、VR、MR以及數(shù)字孿生體驗,賦能中國數(shù)字經濟安全、穩(wěn)定、健康發(fā)展。
在Unity看來,中國擁有世界上最大的游戲市場和汽車市場,也是最大的制造業(yè)國家、基建國家。這意味著,中國擁有全球最大的數(shù)字孿生市場,也很可能誕生最大的元宇宙世界。
注:CLIP,Contrastive Language-Image Pre-training,是一種機器學習技術,它可以準確理解和分類圖像和自然語言文本,這對圖像和語言處理具有深遠的影響。
封面圖片來源:Unity供圖
如需轉載請與《每日經濟新聞》報社聯(lián)系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP