人人都能做的AI換臉視頻，為什么能騙到科技從業(yè)者？

每經(jīng)記者 宋美璐    每經(jīng)編輯 張海妮    

福州某科技公司法定代表人9分鐘被AI換臉騙430萬元的風(fēng)波剛過，又有安徽何先生9秒被換臉騙走245萬元。

另一邊，直播間中，換上楊冪、迪麗熱巴等明星臉的主播出現(xiàn)在直播間帶貨，讓觀眾真假難辨。

疑似換臉楊冪的帶貨主播 圖片來源：視頻截圖

社交網(wǎng)站的演示視頻中，手一揮一秒換臉的視頻比比皆是，每個(gè)人都能用AI制作一段視頻，騙子也不例外。

AI音樂、AI繪畫、AI換臉、AI換聲……不知不覺中，我們每個(gè)人都已經(jīng)走進(jìn)了賽博世界，不管是抖音中的#一鍵解鎖瞬息全宇宙##一鍵變妝#等特效的應(yīng)用還是AI孫燕姿的“消費(fèi)”，都是AI日?；囊娮C。

在所有人都在享受技術(shù)狂歡的時(shí)候，技術(shù)的另一面也逐漸顯露：偽造技術(shù)和鑒別技術(shù)好似在玩一場“貓鼠游戲”，最終誰能把握主動權(quán)？

可以批量生產(chǎn)的AI換臉，技術(shù)門檻有多低？

AI換臉技術(shù)并非新事物，早在2019年，一個(gè)換臉軟件“ZAO”的出現(xiàn)，就曾讓AI換臉風(fēng)靡網(wǎng)絡(luò)，網(wǎng)絡(luò)視頻平臺上出現(xiàn)大量的AI換臉惡搞視頻，許多明星因此被惡搞、造謠。

盡管，當(dāng)時(shí)“ZAO”上線不久便因侵犯隱私等問題被下架，但這個(gè)由技術(shù)帶來的負(fù)面影響卻一直存在，直到今年AI技術(shù)的普及使得換臉再次爆發(fā)。

瑞萊智慧RealAI聯(lián)合創(chuàng)始人、算法科學(xué)家蕭子豪表示，AI換臉、AI換聲主要使用的是深度合成技術(shù)，隨著深度合成技術(shù)的開源開放、深度合成產(chǎn)品和服務(wù)的增多，深度合成內(nèi)容制作的技術(shù)門檻越來越低，實(shí)現(xiàn)了技術(shù)的“平民化”，普通人也能用少量圖像、音頻等樣本數(shù)據(jù)，利用簡便易用的合成工具，制作深度合成內(nèi)容。

蕭子豪介紹，目前視頻聊天或直播的AI換臉有兩種方式：一種是事先做好的換臉視頻直接播放，一種是接入實(shí)時(shí)換臉的視頻。第一種方式，目前的制作成本已經(jīng)非常低，有公開成熟的應(yīng)用可以支持該項(xiàng)工作；第二種雖然沒有發(fā)現(xiàn)有公開的應(yīng)用，但也有非常成熟的技術(shù)手段可以支撐。做成一段視頻的時(shí)間和設(shè)備、算力等因素相關(guān)，當(dāng)前技術(shù)可以做到和生成視頻相等的時(shí)間即產(chǎn)出結(jié)果。制作這樣的視頻需要被替換前的原始視頻圖像和被替換后的人臉圖像，基于目前的技術(shù)能力，替換前的原始視頻圖像在面部清晰、正臉無遮擋、無夸張動作等條件下，會展示出比較好的效果。

AI從業(yè)人員湯輝也表示，現(xiàn)在的AI換臉對技術(shù)的要求非常低，“如果是專門的技術(shù)人員，在網(wǎng)上找一個(gè)開源的模型，然后先自己搞懂。如果只是采集一段這個(gè)人的圖像生成視頻，很快就能訓(xùn)練出來。20分鐘就可以做一個(gè)。”

在手機(jī)應(yīng)用商店搜索“AI換臉”可以發(fā)現(xiàn)，有不少相關(guān)軟件，其中faceplay在ios系統(tǒng)的下載量已達(dá)24萬，該軟件有影視角色、寫真、漫畫等模板。軟件采取收費(fèi)獲取模版的形式盈利，周會員17元，年會員398元。也有的軟件只需看廣告就可以制作。

換臉軟件faceplay下載和收費(fèi)界面 圖片來源：截圖

電商平臺上雖已屏蔽“換臉”等關(guān)鍵詞，但通過搜索其他相關(guān)詞條仍能找到相關(guān)內(nèi)容，售價(jià)多在幾十元。

某電商平臺售賣AI換臉產(chǎn)品的詳情介紹  圖片來源：網(wǎng)頁截圖

抖音等短視頻也推出簡易AI換臉模板，比如換臉跳舞、變臉換裝、男女換臉等。記者嘗試導(dǎo)入照片后幾秒鐘便可生成一個(gè)視頻，但這類視頻精度相對較低，偶爾轉(zhuǎn)頭還可以看到一些不貼合等漏洞。

此外，許多大型科技公司也在著力布局相關(guān)業(yè)務(wù)，AI概念股萬興科技（SZ300624，股價(jià)136.60元，市值188.09億元）落地了AI換臉、AI摳像、AI降噪、AI音頻重組等多項(xiàng)AI能力。據(jù)媒體報(bào)道，5月25日萬興科技旗下的萬興播爆已全面上線AI數(shù)字人定制服務(wù)，支持?jǐn)?shù)字人形象定制、聲音復(fù)刻和視頻模板定制。用戶只需錄制一段6分鐘左右的視頻和20句有效音頻語料素材，便可生成“真人”“真聲”專屬數(shù)字人。

“目前AI已經(jīng)可以批量制作大量的視頻，制作多段替換成同一人物的視頻，也可制作同時(shí)替換為多位人物的視頻。”蕭子豪說。

為AI打標(biāo)記，一場“貓鼠游戲”

“技術(shù)只會發(fā)展得越來越快，也許你現(xiàn)在能看出來是AI，還是真人，但是半年后，一年后呢？”湯輝認(rèn)為AI技術(shù)發(fā)展太快，但是現(xiàn)實(shí)生活中了解AI的人又太少，進(jìn)而導(dǎo)致詐騙頻繁發(fā)生。

蕭子豪也表示，目前深度合成技術(shù)在不斷進(jìn)化，生成的聲音和視頻越來越逼真，普通人肉眼鑒別的難度也越來越高。

據(jù)媒體報(bào)道，微軟首席技術(shù)官（CTO）凱文·斯科特在當(dāng)?shù)貢r(shí)間5月23日開幕的Build開發(fā)者大會前夕接受采訪時(shí)曾表示，微軟3年來一直在研究“媒體來源系統(tǒng)”——在AI生成的內(nèi)容里放置加密水印，可以使用軟件解密水印以獲取來源信息，以檢測虛假信息。

從技術(shù)上來看，蕭子豪介紹，他們一直在研究深度合成技術(shù)的自動化檢測，常用的方法包括基于偽造內(nèi)容數(shù)據(jù)集完成對模型檢測器的訓(xùn)練、基于幀間不一致性實(shí)現(xiàn)對偽造內(nèi)容的判別等，這些方法在開源數(shù)據(jù)集中均能達(dá)到99.9%的準(zhǔn)確率。

“防范的難度在于新型偽造方法層出不窮、網(wǎng)絡(luò)傳播環(huán)境日趨復(fù)雜，加上基于深度神經(jīng)網(wǎng)絡(luò)的檢測算法存在結(jié)構(gòu)性缺陷等，反深偽檢測技術(shù)也面臨‘強(qiáng)對抗性’，需要持續(xù)更新與迭代優(yōu)化。”

類似于“貓鼠游戲”，蕭子豪說，深度合成和檢測在不斷學(xué)習(xí)攻防過程中會自我進(jìn)化，規(guī)避上一代的對抗技術(shù)。為了能在對抗攻防中掌握主動權(quán)，未來反深偽檢測技術(shù)的發(fā)展需融合多模態(tài)內(nèi)容的取證分析、基于數(shù)字水印的溯源技術(shù)等多方面能力，實(shí)現(xiàn)偽造內(nèi)容的精準(zhǔn)識別，打造可信內(nèi)容體系。

《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》明確要求深度合成服務(wù)提供者對使用其服務(wù)生成或者編輯的信息內(nèi)容，應(yīng)當(dāng)采取技術(shù)措施添加不影響用戶使用的標(biāo)識，對于具有生成或者顯著改變信息內(nèi)容功能服務(wù)的，應(yīng)當(dāng)在生成或者編輯的信息內(nèi)容的合理位置、區(qū)域進(jìn)行顯著標(biāo)識，向公眾提示信息內(nèi)容的合成情況，避免公眾混淆或者誤認(rèn)。

記者注意到，目前b站已經(jīng)在一些視頻上為AI合成視頻打上明顯標(biāo)記，抖音在5月9日發(fā)布了關(guān)于AI生成內(nèi)容的平臺規(guī)范暨行業(yè)倡議，倡議各生成式人工智能技術(shù)的提供者，均應(yīng)對生成內(nèi)容進(jìn)行顯著標(biāo)識，以便公眾判斷。同時(shí)使用統(tǒng)一的人工智能生成內(nèi)容數(shù)據(jù)標(biāo)準(zhǔn)或元數(shù)據(jù)標(biāo)準(zhǔn)，便于其他內(nèi)容平臺進(jìn)行識別。

B站AI技術(shù)合成標(biāo)識 圖片來源：截圖

蕭子豪建議，普通人如果遇到有疑問的情況，可以在看視頻時(shí)有意識地引導(dǎo)對方做一些動作，如：大幅度的搖頭或張嘴。如果騙子技術(shù)手段較弱，那么就有可能發(fā)現(xiàn)對方面部邊緣或者牙齒的瑕疵，從而識別出AI換臉。但同時(shí)他也表示，這個(gè)方法對于識別出“高水平”的詐騙分子，還存在難度。此外，還可以追問幾個(gè)只有你與借款者之間才知道的私密信息，來核實(shí)對方身份。

AI換臉有風(fēng)險(xiǎn)

根據(jù)著作權(quán)法的有關(guān)規(guī)定，如果AI換臉使用的是表演者的視頻素材，還可能侵犯其著作權(quán)。如果是非法使用，例如本案中的行為人冒用郭先生好友的微信，利用AI換臉詐騙，則不僅構(gòu)成侵權(quán)，還涉嫌犯罪。

如果在直播中使用AI換臉服務(wù)，直播商家、平臺方和技術(shù)提供方都將承擔(dān)一定的責(zé)任。尤其根據(jù)《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》，如果深度合成服務(wù)提供者和技術(shù)支持者違反規(guī)定的，相關(guān)部門會給予處罰；構(gòu)成犯罪的，還要承擔(dān)相應(yīng)的刑事責(zé)任。

此外，北京市京師律師事務(wù)所王榮梅律師團(tuán)隊(duì)提醒，關(guān)于AI生產(chǎn)的內(nèi)容版權(quán)歸屬問題，目前也還存在爭議。

首先，AI生成的內(nèi)容是否構(gòu)成作品就存在爭議；其次，在實(shí)務(wù)中，AI生成物的性質(zhì)認(rèn)定也存在爭議。所以目前法律沒有就AI生成內(nèi)容的版權(quán)作出明確規(guī)定，但是在《生成式人工智能服務(wù)管理辦法（征求意見稿）》第五條中，規(guī)定了此類內(nèi)容侵權(quán)的主體責(zé)任。即利用生成式人工智能產(chǎn)品提供聊天和文本、圖像、聲音生成等服務(wù)的組織和個(gè)人，包括通過提供可編程接口等方式支持他人自行生成文本、圖像、聲音等，承擔(dān)該產(chǎn)品生成內(nèi)容生產(chǎn)者的責(zé)任。

“目前，AI還是一個(gè)新興的領(lǐng)域，發(fā)展日新月異，在為人們的工作和生活帶來便捷的同時(shí)，也有不法分子利用此技術(shù)從事違法犯罪活動，目前，AI領(lǐng)域的規(guī)定散見于民法典、個(gè)人信息保護(hù)法、網(wǎng)絡(luò)安全法，尚未形成系統(tǒng)的法律體系。相信隨著此技術(shù)的廣泛應(yīng)用，法律法規(guī)也會不斷與時(shí)俱進(jìn)，國家會出臺更多的規(guī)范措施，逐漸形成完備的法律體系。”王榮梅律師團(tuán)隊(duì)說。