虛擬數(shù)字人，鏈接元宇宙與現(xiàn)實

在元宇宙概念火熱的當(dāng)下，虛擬數(shù)字人被認(rèn)為是元宇宙不可缺少的一部分。12月27日，京東云圍繞各方關(guān)注的熱點話題舉行了“技術(shù)X產(chǎn)業(yè)”——虛擬數(shù)字人專場沙龍。本次沙龍邀請清華大學(xué)新聞學(xué)院教授、清華大學(xué)新媒體研究中心執(zhí)行主任沈陽、京東科技數(shù)字人引擎技術(shù)總監(jiān)王林芳以及京東科技人機交互技術(shù)總監(jiān)陳蒙三位嘉賓，圍繞虛擬數(shù)字人與元宇宙、虛擬數(shù)字人的技術(shù)發(fā)展和趨勢、虛擬數(shù)字人的產(chǎn)業(yè)應(yīng)用及成果等話題展開探討，揭開了虛擬數(shù)字人及多模態(tài)人機交互技術(shù)的“秘密”。

對于加速“跑入”人們生活的虛擬數(shù)字人，沈陽表示：虛擬數(shù)字人是現(xiàn)實與元宇宙場景鏈接的重要“媒介”之一。虛擬數(shù)字人不僅是元宇宙的原住民，還是自然人在元宇宙中的數(shù)字化化身，它將成為我們在元宇宙中自我呈現(xiàn)與形成自我認(rèn)同的重要方式，并成為人和人、人和物的交互載體。

虛擬數(shù)字人、虛擬偶像這些概念并不是新鮮字眼，最早可追溯至計算機動畫技術(shù)誕生之初。“2007年Yamaha的以語音合成程序為基礎(chǔ)開發(fā)的音源庫，包裝了首個虛擬偶像初音未來，這個二次元少女還舉辦了大量的線下演唱會，從此虛擬偶像風(fēng)靡一時。”陳蒙介紹道，隨著人工智能和虛擬技術(shù)的不斷發(fā)展，尤其在2020年因為全球疫情影響，文娛行業(yè)加速線上化，也促進(jìn)了虛擬偶像市場的迅速崛起。

對于當(dāng)下虛擬偶像井噴的現(xiàn)狀，王林芳從技術(shù)上給出了答案：基于人工智能的深度學(xué)習(xí)、內(nèi)容生成，語音、視覺識別技術(shù)越來越成熟，驅(qū)動了今年虛擬數(shù)字人整體快速發(fā)展；而虛擬偶像是虛擬數(shù)字人在文娛行業(yè)、消費平臺落地的產(chǎn)物。而京東虛擬數(shù)字人強調(diào)產(chǎn)業(yè)落地，為銀行、政務(wù)、商家等行業(yè)降本增效，在具體的應(yīng)用場景中帶來更大的價值。

“知心、走心、關(guān)心”技術(shù)讓虛擬人越來越有人情味

近年來，隨著我國虛擬偶像公司數(shù)量的增加，虛擬數(shù)字人的市場正在異軍突起。據(jù)悉，虛擬數(shù)字人可以分為三個發(fā)展方向：一是以虛擬偶像為代表的表演型虛擬數(shù)字人；二是服務(wù)型虛擬數(shù)字人，如虛擬銀行柜員、虛擬客服、虛擬主播等，可幫助企業(yè)提高效率；三是未來將逐步走入千家萬戶的個人陪伴型虛擬數(shù)字人。

因為人的天性是傾向于融合視覺、聽覺等多種感官交互的過程，多模態(tài)人機交互技術(shù)就是滿足人對于外界信息獲取逐漸升維的過程，從單純的文本到語音，到現(xiàn)在融合計算機視覺等技術(shù)。而多種模態(tài)交互的難點在于不斷的高度擬人化，也就是我們常說的讓虛擬數(shù)字人具有“人情味”，不僅包括外觀、表情、動作更加逼真，還有從語音、語意、語態(tài)、對話的深入理解。依托京東云的前沿AI技術(shù)，言犀多模態(tài)交互數(shù)字人可幫助虛擬人跟自然人建立情感上信賴關(guān)系，讓虛擬人看起來像人、聽起來像人，無限接近真人，真正做到“知心、走心、關(guān)心”。除了計算機視覺技術(shù)之外，“人情味”背后的關(guān)鍵是多模態(tài)人機交互技術(shù)，從感受的角度出發(fā)，是“知心、走心、關(guān)心”三個層次，背后有一系列人工智能技術(shù)予以支撐，包括多模態(tài)的感知和理解、知識推理和決策、情感智能、魯棒性語音識別和擬人化合成等。

要實現(xiàn)從“知心”到“關(guān)心”的高度擬人化，言犀多模態(tài)交互數(shù)字人離不開京東云在多模態(tài)人機交互技術(shù)等前沿科技的不斷探索。京東科技在NeurIPS、CVPR、AAAI、ACL等國際AI頂級會議上共發(fā)表相關(guān)論文近350篇，2次獲得IEEE Signal Processing最佳論文獎；京東多模態(tài)交互數(shù)字人技術(shù)榮獲多媒體領(lǐng)域的全球頂級盛會ACM Multimedia的最佳演示獎，兩次榮獲世界人工智能大會SAIL-卓越人工智能引領(lǐng)者獎。

虛擬數(shù)字人全面深入產(chǎn)業(yè)應(yīng)用

“您好，我是江南農(nóng)商銀行數(shù)字員工小江。請問您想辦理什么業(yè)務(wù)“、”您請說，如交易密碼修改、我要開戶……”

今年12月，江南農(nóng)商銀行與京東云合作，推出了全國首個業(yè)務(wù)辦理類數(shù)字人“言犀VTM數(shù)字員工”。區(qū)別于過往咨詢問答式機器人，言犀VTM數(shù)字員工可獨立、準(zhǔn)確完成銀行交易場景的自助應(yīng)答、業(yè)務(wù)辦理等全流程服務(wù)。言犀VTM數(shù)字員工最大的創(chuàng)新之處，是將應(yīng)用場景延伸至真實的業(yè)務(wù)交易辦理環(huán)節(jié)，而將數(shù)字人技術(shù)與業(yè)務(wù)交易場景打通難在于：首先，數(shù)字柜員的擬人化程度要很高、交互體驗要好；第二點，要與銀行的業(yè)務(wù)系統(tǒng)深度耦合，確保交易的準(zhǔn)確性和安全性。最后，數(shù)字柜員要能“聽得懂、辦得快”，給不同的客戶帶來同樣便捷、流暢的服務(wù)體驗。另外，小江還能精準(zhǔn)識別數(shù)字連讀和地方口音，同時采用多樣化增強算法降低了噪聲對收音的影響，提高了語音識別的魯棒性。

除了小江之外，數(shù)字主播小萌已經(jīng)在今年京東11.11“上崗”，覆蓋3C、家電、母嬰等類型的京東自營店鋪。在AI技術(shù)的驅(qū)動下，數(shù)字人主播能夠結(jié)合商品的不同功能，配合做出豐富多樣的動作。數(shù)字主播小萌剛“上崗”一個半月，助力Beats京東自營旗艦店實現(xiàn)直播時長和GMV翻倍增長，獲得官方的大量扶持資源，甚至登上了京東直播商家超級排位賽的冠軍寶座。

據(jù)悉，在數(shù)字人應(yīng)用落地方面，言犀除了應(yīng)用于江南銀行數(shù)字柜員、虛擬數(shù)字人直播之外，還在政務(wù)、金融、交通、物流、零售、制造業(yè)等多個行業(yè)落地，助力不同行業(yè)實現(xiàn)服務(wù)和營銷的數(shù)智化轉(zhuǎn)型。

未來可期，未來虛擬人將深入服務(wù)社會

基于多模態(tài)人機交互的虛擬數(shù)字人未來在哪里？

車?yán)锏奶摂M駕駛員、手機里的虛擬助手、家里的虛擬管家，商場里的虛擬導(dǎo)購、機場、地鐵里的虛擬引導(dǎo)員、餐廳的虛擬服務(wù)員。數(shù)字人已經(jīng)出現(xiàn)、或者正在實現(xiàn)不同領(lǐng)域的應(yīng)用落地。虛擬數(shù)字人需要與行業(yè)進(jìn)行深度融合，真正要對社會產(chǎn)生價值。只有真正幫助行業(yè)降本增效，虛擬數(shù)字人技術(shù)才會有持續(xù)發(fā)展的動力，社會各界才能享受數(shù)字化帶來的紅利。

隨著虛擬數(shù)字人的不斷應(yīng)用和經(jīng)驗積累，相信虛擬數(shù)字人將在日常生活中扮演著不可或缺的角色。伴隨元宇宙不斷成熟和完善，我們不僅將擁有元宇宙里的數(shù)字化化身，虛擬數(shù)字人虛實結(jié)合也將徹底顛覆我們對于生活、工作、娛樂的體驗方式，成為人和人、人和物的交互載體。

京東云將不斷深入探索虛擬數(shù)字人、多模態(tài)人機交互技術(shù)，以人工智能、大數(shù)據(jù)、云計算等技術(shù)為基礎(chǔ)，通過數(shù)智能力不斷為社會、為政企客戶提供解決行業(yè)痛點的虛擬數(shù)字人，樹立人機交互發(fā)展、應(yīng)用的新標(biāo)桿，助力實體經(jīng)濟(jì)高質(zhì)量發(fā)展。