每日經(jīng)濟新聞 2023-06-19 22:26:40
每經(jīng)記者 宋欽章 實習記者 張宏 每經(jīng)編輯 易啟江
面對屏幕里AI換臉后的自己,《每日經(jīng)濟新聞》記者(以下簡稱每經(jīng)記者)一時感到愕然:寸頭、條紋衫、偏瘦,電腦屏幕里端坐著的,正是記者本人,但這位“每經(jīng)記者”卻是一張明星的面孔。本人試著眨了眨眼睛、左右轉頭,屏幕里的“明星”也跟著眨了眨眼睛、左右轉頭;當本人把手放在臉前晃一晃時,他也重復了同樣的動作。
沒錯,以上正是每經(jīng)記者暗訪調查中,賣家遠程給記者測試的實時換臉效果。賣家還頗顯負責地向每經(jīng)記者表示,可以進一步提升換臉效果:你的臉型跟他不匹配,劉德華更適合你!
近來,“AI換臉”爆火網(wǎng)絡,還被和詐騙連接到了一起。繼此前“10分鐘被AI換臉騙走430萬元”事件后,5月25日,又一起AI換臉詐騙事件被媒體曝光,這次金額達到245萬元,且整個詐騙過程時間更短,只有9秒鐘。
每經(jīng)記者就此展開調查,并發(fā)現(xiàn)了一條圍繞AI換臉的生意鏈:有科技博主打著科普的名義,私下兜售換臉套餐,價格從399元至1.5萬元不等,甚至可以定制人臉模型;還有不少用戶兜售用于訓練人臉素材的src(源視頻)素材包,或售賣已經(jīng)訓練好的人臉模型,有賣家告訴每經(jīng)記者:“有現(xiàn)成的明星,每個價格800~1200元。”
細思極恐,正與你視頻聊天的兒子、女兒,可能不是你所覺得的那個兒子、女兒。普通人有沒有辦法識別?每經(jīng)記者采訪到了在換臉圈子內知名度非同一般的一款實時換臉軟件開發(fā)者,他透露了普通人鑒別對方是否換臉的訣竅。
眼見非實:兜售視頻聊天換臉工具
去年5月,CCTV-12社會與法頻道曝光一起AI換臉詐騙案件:2022年2月,陳先生到浙江溫州市公安局甌海分局仙巖派出所報案稱,自己被“好友”詐騙了近5萬元。經(jīng)警方核實,詐騙分子利用陳先生好友“阿誠”在社交平臺發(fā)布的視頻,截取其面部視頻畫面后再利用“AI換臉”技術合成,制造出陳先生是與“好友”視頻聊天的假象。對方借口國際漫游限制,聯(lián)系不上國內航空公司的經(jīng)理,請求陳先生代其向航空公司轉賬,從而導致陳先生上當。
2020年,上海某公司高管被詐騙150萬元,就是因對方使用AI換臉與人工生成的語音技術冒充其公司領導,并要該高管轉賬,致使其無法分辨而被騙。
記者了解到,去年11月,大量博主反映接到境外視頻通話請求,不少博主懷疑此類視頻電話的目的是盜取人臉及聲音信息。一名博主將報警過程發(fā)布在自己主頁上,警察建議其不要接此類電話,并且拉黑對方、關閉視頻電話功能,同時建議其關閉所有銀行卡和付費軟件的刷臉支付功能,遇到此類情況及時報警。
一名博主向每經(jīng)記者講述了詐騙分子冒充其遠房親戚,通過微信語音通話對其實施詐騙的過程:
“今年4月份,遠房親戚突然通過微信向我借錢,正當我猶豫時,對方打來語音通話。49秒的語音通話中,聲音沒有任何異常。我說,我還以為是騙子。她說不是,她那邊信號不好,她在出差。不料,10分鐘后,真正的遠房親戚打來電話,稱被盜號了。如果我當時不是剛好有事,直接就打錢給她了。”
值得注意的是,在某社交平臺上,不少科技類博主發(fā)布視頻提示AI變臉詐騙風險。而這些視頻,無一例外都在展示AI變臉的逼真效果。
每經(jīng)記者以學習者身份接觸了其中一位科技博主,加上微信后,對方比較謹慎地詢問記者變臉的意圖是什么。記者稱是為了科普,該博主隨即表示,變臉399元包教包會,直播中實時變臉,外加任意短視頻,想換哪個人的臉就換哪個人的臉,并分享軟件和教程。
“咱們這個可以微信視頻聊天中換臉嗎?”每經(jīng)記者追問。“可以。”對方答道。“399元包括微信視頻變臉嗎?”“對,都包括的。如果你不是說科普,微信視頻聊天我都不會教的,我現(xiàn)在都不教外面的人了,像你這種說科普的我才教。”隨后,對方給記者發(fā)來支付寶收款碼,“考慮好了,掃碼立馬給你安排。”
記者翻閱該博主的朋友圈,出現(xiàn)最多的內容是:“想學習的人一言不合上去就是轉款!”“及時把握先機及時上車。”“歡迎大家學習直播變臉。”“想學習的人,關注的從來是我該怎么學,什么時候學,不想學習的人考慮的都是各種理由。”“都是有敏銳嗅覺的,知道錢在哪里,一上來就談合作,立馬轉賬加入拜師傅。”“互聯(lián)網(wǎng)懂的都懂!”如此等。
記者親測:公開賣知名演員換臉素材
AI真的能實現(xiàn)實時換臉嗎?會不會“一眼假”?記者決定親測一下。
除了前述博主的“399元包教包會”換臉套餐之外,記者還發(fā)現(xiàn)了另外一款“包教包會包售后”換臉套餐,售價竟然高達1.5萬元。但如果僅僅遠程測試換臉效果,只需付99元即可。記者花99元下了單后:寸頭、條紋衫、偏瘦……電腦屏幕里端坐著的,正是記者本人,但這位“記者”卻是一張明星的面孔。本人試著眨了眨眼睛、左右轉頭,屏幕里的“明星”也跟著眨了眨眼睛、左右轉頭。當本人把手放在臉前晃一晃時,他也重復了同樣的動作。不過并非天衣無縫,除了有明顯的延遲之外,在手遮擋的地方,他的面部出現(xiàn)了輕微的扭曲,看上去有點怪異。
沒錯,以上正是賣家遠程給記者測試的換臉效果。如賣家所說,測試結果顯示,該AI換臉軟件確實可以做到實時換臉(出于安全等考慮,本報道對該換臉軟件采取匿名化處理,以下用“軟件X”代指)。
面對屏幕里換臉后的自己,記者一時感到愕然,端詳了半天,說不出哪里怪異。無疑,他是記者投射的鏡像,就是記者本人。但是,經(jīng)過了AI的處理,他又很難稱得上是本人。這種錯位感,想必每個初次嘗試AI換臉的人都體驗過,既有高科技帶來的驚喜,又有細思后的極恐——萬一有人換上了自己的臉怎么辦?
恍惚之際,賣家接連發(fā)來消息:“你的臉型跟他不匹配,不過也有解決辦法,需要制作的時候匹配。你的臉型更適合劉德華。”“還有一點,就是燈光一定要亮,你這個太暗了,會影響效果。”“要求電腦配備獨立顯卡,至少6G顯存,越高越好。”“我們可以AI做臉,就是這張臉,誰都不是,變帥變漂亮都行。”“我目前做的效果,沒有說不滿意的,效果你放心就好了。”賣家一五一十地向記者介紹。
針對用手遮擋面部會發(fā)生扭曲的問題,賣家表示這可以解決,“只是沒有錄制你的一段用手遮擋的視頻。”
不過,記者花的99元僅僅是測試費用,若想要永久擁有這款軟件,則需支付全款。在賣家這里,軟件X的全款售價是1萬元,如需定制人臉模型,另付5000元。
上萬元的售價讓人望而卻步。不過,記者發(fā)現(xiàn),軟件X的代碼實際上是開源的,在網(wǎng)上不難找到它的下載鏈接,甚至“從入門到精通”的教程也比比皆是。
經(jīng)過一通操作之后,記者成功變臉成為某喜劇明星,出現(xiàn)在跟同事的視頻通話場景中,電話另一邊被換臉嚇了一跳。
有意思的是,記者發(fā)現(xiàn)在變臉成為該喜劇明星之后,即使用手遮擋面部,也不會明顯影響變臉效果,這與前面的測試結果不大一樣。專業(yè)人士告訴記者,這可能和人臉模型的質量有關。
換臉軟件早已有之,但能實現(xiàn)實時換臉的軟件并不多,具備實時換臉功能的軟件X,在換臉圈子內的知名度非同一般。記者找了兩三家兜售實時換臉軟件的賣家,當打開收到的網(wǎng)盤鏈接時,發(fā)現(xiàn)它們最終都指向了軟件X。
另外,網(wǎng)上已有不少AI換臉圈子,換臉愛好者在圈子內互相分享換臉資源與換臉經(jīng)驗。
在記者打入的圈子里,這些換臉愛好者也有自己的交流方式,如訓練人臉模型的過程被稱為“煉丹”,而電腦的圖形處理器(GPU)則被稱為“爐子”。
根據(jù)一些公開的說法,訓練高質量的人臉模型需要上千張不同的圖像。至于訓練時間的長短,除了跟人臉素材數(shù)量和質量有關,也由“爐子”等因素決定,如果沒有GPU而僅用CPU訓練,速度要慢得多。結合前述賣家的說法和論壇的經(jīng)驗帖,訓練一個人臉模型可能需花費兩天至一周時間。
也有不少用戶兜售用于訓練人臉素材的src(源視頻)素材包,單個src素材包約含幾千張人臉圖像,有的甚至多達上萬張,這些是訓練人臉模型必需的原料。src素材包大多是知名演員、網(wǎng)紅的人臉圖像,大部分來自于相關影視劇的截圖。
在某電商平臺上搜索“src人臉”,可以發(fā)現(xiàn)這類包含知名演員的src素材已被公開售賣,價格從幾元至幾十元不等。經(jīng)過進一步打探,記者發(fā)現(xiàn)他們也售賣已經(jīng)訓練好的人臉模型,雖然沒有在店鋪上架,但是可以私下轉賬購買。“有現(xiàn)成的知名明星,每個價格800元~1200元,男的很少,女的差不多十多個。”對方說。
對抗偽造:普通人如何鑒別真假臉?
據(jù)了解,AI換臉主要依賴于一種基于深度學習生成內容的深度合成技術。
深度合成技術,也常常被稱為深度偽造技術,是指利用深度學習、虛擬現(xiàn)實等生成合成類算法制作文本、圖像、音頻、視頻、虛擬場景等網(wǎng)絡信息的技術。除了人臉替換,目前該技術還應用于表情操縱、語音合成、文章生成、智能對話等不同細分領域。
梁瑞剛等人2020年于《信息安全學報》發(fā)表的論文《視聽覺深度偽造檢測技術研究綜述》中提到,以換臉技術為代表的視覺深度偽造生成技術的實現(xiàn),總體可以分為數(shù)據(jù)收集、模型訓練和偽造內容生成三個核心步驟。在模型訓練階段,目前深度偽造模型的構造主要基于GAN(生成對抗網(wǎng)絡)實現(xiàn),由編碼器(encoder)和解碼器(decoder)構成:編碼器用于提取人臉圖像的潛在特征,解碼器則用于重構人臉圖像。
實際上,軟件X的開發(fā)團隊2021年在arXiv平臺上發(fā)表了相關論文,詳述了上述軟件X的功能特點及工作流程。
據(jù)該論文介紹,軟件X的換臉流程依次分為三個階段:提取、訓練和轉換。
其中,提取階段旨在從源圖像和目標圖像中提取人臉,具體分為人臉檢測、人臉對齊和人臉分割三個步驟。值得注意的是,在人臉分割步驟,軟件X提供了一種自動算法,可以有效去除不規(guī)則遮擋,并補充開發(fā)了一種高效人臉分割工具,可以通過少量的鏡頭學習,以滿足某些特定鏡頭中生成細粒度遮罩。這一解釋,證實了前述賣家解決遮擋問題的可能性。
經(jīng)過與網(wǎng)上流傳的其他換臉軟件進行不完全對比,記者發(fā)現(xiàn),軟件X在換臉效果上更加逼真,而且支持大多數(shù)換臉軟件無法提供的實時換臉功能。
幾經(jīng)周折,每經(jīng)記者聯(lián)系上了特看科技的滾石(網(wǎng)名),資料證實,他正是軟件X的開發(fā)者之一。滾石坦言,他參與軟件X開發(fā)的動機比較純粹,“初衷就是好玩,以及提升主播的顏值。”
記者提到近期AI實時換臉工具被用于電信詐騙的新聞,他表示有所耳聞,也提出了自己的看法:“這是新技術發(fā)展的客觀規(guī)律,所有新技術必定會被用于黑白灰各種途徑。就像現(xiàn)在AIGC(人工智能自動生成內容)的發(fā)展,也是會被用于各種正面和負面場景。”
滾石表示,商業(yè)場景中的高質量換臉需要采集目標人物多角度多光影多表情下的人臉圖像,但不追求高質量效果的話,幾張圖也能大致實現(xiàn)實時換臉。“在AI繪畫等技術加持下,換臉對素材要求越來越低,甚至有一些算法可以做到一張圖實時換臉。”
技術的發(fā)展降低了換臉的門檻,當這種“魔法”變得人人唾手可得時,普通人使用也能輕而易舉地變成另一個人。這不禁讓人擔憂:我們日常發(fā)朋友圈是否會泄漏人臉信息?對此,滾石這樣回答:“普通人沒有辦法規(guī)避,你總會有照片暴露在網(wǎng)上。”
針對自己參與開發(fā)的換臉軟件,他向記者透露了普通人鑒別對方是否換臉的訣竅:“讓對方把手大面積遮擋人臉,遮住面部中心80%以上的區(qū)域,緩慢移動手,看是否會出現(xiàn)畫面異常。”
“跟美顏相機的美顏效果丟了一樣,原理是遮擋面積大到一定程度,人臉檢測會失效,導致?lián)Q臉或者美顏等人臉算法就失效了。這招目前是比較有效的,但注意一定要超大面積遮擋,小面積遮擋影響不到人臉檢測。”他如是解釋。
值得一提的是,此前的流行說法稱AI換臉無法眨眼,以及會出現(xiàn)面部不自然等現(xiàn)象。而在滾石看來,這些判斷方法已經(jīng)是過時且無效的。“我們開發(fā)的軟件可以完美實現(xiàn)眨眼,小面積遮擋、說話、光影變化。”
他發(fā)來的測試視頻也證明了這一點,視頻中的一名中國人被換臉成外國人面孔,并能夠自如地用手遮擋面部,甚至可以在臉上捏來捏去。“這是我們?yōu)榭缇持辈ド碳议_發(fā)的工具,可以完美解決常規(guī)遮擋,實現(xiàn)多角度多表情多光影的復雜情況下?lián)Q臉。”
除了滾石提到的通過用手大面積遮擋面部,換臉視頻也可以通過技術手段鑒別。記者注意到,與AI換臉技術同步發(fā)展的偽造人臉檢測技術,近年來取得了長足的進步。
比如,去年上海交通大學電子信息與電氣工程學院人工智能研究院教授楊小康團隊的兩篇關于偽造人臉鑒別的論文,被人工智能國際頂級會議CVPR 2022收錄。據(jù)上海交通大學官網(wǎng)介紹,楊小康團隊提出名為RECCE(中文釋義:偵查)的鑒別方法,利用圖像重建技術放大偽造痕跡,即使是方法未知的偽造人臉圖像,也能十分容易地準確識別偽造區(qū)域。大量實驗結果表明,所提出的新方法在多個大規(guī)模數(shù)據(jù)集上取得當前最好的對抗攻擊效果,為偽造人臉檢測算法提供了最強的對抗攻擊樣本作為測試。
不過,滾石認為,理論上隨著換臉技術發(fā)展,是可以做到無法檢測出來的。“因為這個換臉技術和鑒別技術是會互相學習進步的,最終狀態(tài)就是換臉效果越來越真實,直至和真人一樣。就像AI領域的GAN生成對抗技術一樣,一個生成器和一個鑒別器互相對抗學習,直至生成器生成的圖再也無法被鑒別器識別。”
記者注意到,在上述軟件X論文的開頭部分,開發(fā)團隊表達了這樣一種觀點:“被攻擊后的檢測并不是減少深度偽造惡意影響的唯一方式。檢測傳播的欺騙內容總是為時已晚。從我們的角度來看,對于學術界和公眾來說,幫助網(wǎng)民了解什么是深度偽造,以及如何生成電影質量的交換視頻要好得多。俗話說‘進攻是最好的防守’,讓普通網(wǎng)民意識到深度偽造的存在,加強他們對社交網(wǎng)絡上發(fā)布的惡搞媒體的識別能力,比糾結于惡搞媒體是否真實更為關鍵。”
技術向善:AI換臉有哪些法律風險
北京大成律師事務所高級合伙人肖颯在接受記者采訪時表示,AI換臉技術涉及的法律風險可分為民事侵權與刑事犯罪兩方面來看。
民事侵權方面,主要涉及侵犯肖像權和侵犯名譽權。刑事犯罪方面,一是利用AI換臉技術制作的視頻內容可能具有違法性,二是AI換臉的使用手段可能具有違法性。
“在AI換臉視頻內容被刑法所禁止的情形下,此時刑法的評價對象是利用AI技術創(chuàng)造出的虛假視頻,該行為違法性的核心也來源于此。該類別下,除了可能涉及制作、復制、出版、販賣、傳播淫穢物品牟利罪或傳播淫穢物品罪之外,還可能涉及侮辱罪,誹謗罪,編造、故意傳播虛假信息罪等。另一種刑事犯罪情形是,AI換臉視頻內容并不違法,但將其運用到違法的領域內,即AI換臉技術成為了一種新型犯罪手段。該類別下,除了可能涉及詐騙罪,還可能涉及的罪名包括敲詐勒索罪,非法侵入計算機信息系統(tǒng)罪,非法獲取計算機信息系統(tǒng)數(shù)據(jù)、非法控制計算機信息系統(tǒng)罪,提供侵入、非法控制計算機信息系統(tǒng)程序、工具罪等。”肖颯告訴每經(jīng)記者。
另外,肖颯提醒,在當前的大數(shù)據(jù)時代,隱私問題應當被公眾更加關注和防范。“目前,在我們的生活中,很多公司打著‘安全和為用戶需求考慮’的幌子,擴大了電子監(jiān)控設備的適用范圍。如各大應用商店中仍可以搜索到大量的換臉APP,各類產(chǎn)品中包含的人臉識別步驟使得用戶在不知不覺中就泄露了自己的人臉信息。而部分軟件在與用戶訂立‘隱私條款’時,使用了‘包括但不限于’對用戶人臉信息的無限制使用。在大數(shù)據(jù)時代下,利用收集數(shù)據(jù)的便利性和廣泛性,企業(yè)可以憑借一張簡單的照片就關聯(lián)出用戶的其他信息,進而對用戶信息進行買賣謀取非法利益,給用戶帶來了巨大的信息泄露風險。”
值得一提的是,記者注意到,在實際的換臉詐騙場景中,由于人臉模型的制作過程相對復雜,犯罪團伙自身或無力承擔這一“技術活”。在換臉圈子里,就有人拋出這樣的問題:別人用AI換臉去詐騙的話,幫這個人制作人臉模型的人會不會也有法律責任?
對此,肖颯認為,如果這個制作人臉模型的人知道該模型將用于詐騙,符合相關法律規(guī)定的“明知”情形,或將構成幫助信息網(wǎng)絡犯罪活動罪,如果該制作人臉模型的人與詐騙者有事先共謀,則可能直接與詐騙人一起構成詐騙罪的共同犯罪。
此外,針對網(wǎng)上大量售賣的AI換臉軟件及教程,肖颯表示,依照著作權法,換臉軟件若能符合“計算機軟件”或其他符合作品特征的智力成果,其開發(fā)者依法享有著作權。開發(fā)者作為著作權人有權許可、轉讓該權利。故而,只有著作權人或受著作權人許可的人可以售賣該換臉軟件/換臉教程。
若不符合相關法律規(guī)定的“明知”情形,該開發(fā)者或被許可人無需擔負任何法律責任。另外,軟件開發(fā)者或被許可人即使聲明“不得用于違法用途”,若私下幫助信息網(wǎng)絡犯罪,仍需擔負法律責任。
據(jù)記者了解,近年來,以AI換臉為代表的深度合成技術風靡國內外,為規(guī)范深度合成技術的應用,世界多國出臺了相關規(guī)定。
去年12月,中國國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部聯(lián)合發(fā)布了《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》(以下簡稱《規(guī)定》),自2023年1月10日起施行。
《規(guī)定》第十四條提到,深度合成服務提供者和技術支持者提供人臉、人聲等生物識別信息編輯功能的,應當提示深度合成服務使用者依法告知被編輯的個人,并取得其單獨同意。
第十七條規(guī)定,深度合成服務提供者提供以下深度合成服務,可能導致公眾混淆或者誤認的,應當在生成或者編輯的信息內容的合理位置、區(qū)域進行顯著標識,向公眾提示深度合成情況:(一)智能對話、智能寫作等模擬自然人進行文本的生成或者編輯服務;(二)合成人聲、仿聲等語音生成或者顯著改變個人身份特征的編輯服務;(三)人臉生成、人臉替換、人臉操控、姿態(tài)操控等人物圖像、視頻生成或者顯著改變個人身份特征的編輯服務;(四)沉浸式擬真場景等生成或者編輯服務;(五)其他具有生成或者顯著改變信息內容功能的服務。
肖颯告訴記者,美國有幾個州已經(jīng)通過立法禁止深度合成,但只針對傳播有關政治選舉或色情制品的深度合成。有關其他領域深度合成的法規(guī)并不包括在內,例如,用于社會工程的深度合成目前沒有被禁止。“美國通過的立法也只適用于某些州,而不是全國范圍的。”
肖颯表示,歐盟委員會提出了《人工智能法》(Artificial Intelligence Act),該法將深度合成納入其范圍,是對其進行監(jiān)管的初步嘗試。
記者手記
如果掌握了魔法,你會用它來干什么?
“AI換臉真的這么神奇嗎?”當AI換臉詐騙頻上熱搜的時候,我不禁這樣問。彼時,我對AI換臉的印象還停留在當年“螞蟻呀嘿”魔性視頻爆火的階段。直到看到自己的臉被換成一款栩栩如生的明星臉時,我才意識到,原來這門技術已經(jīng)如此厲害了。然而,它可能被用于非法目的,讓人細思極恐。
無疑,AI換臉技術是一把雙刃劍,當掌握這種“魔法”的門檻越來越低時,我們不禁要問:“自己會拿它來干什么?”這讓我想起小時候看的一部電視劇,叫《魔幻手機》,手持“傻妞”的人可以掌握超能力,有人用它來行俠仗義,有人則用它來滿足貪欲。
那我們該禁止這種技術嗎?現(xiàn)在沒有誰敢輕易下結論,不過相關技術開發(fā)者在論文中提到的一句諺語,讓我很有感觸,這句諺語原文是:The best defense is a good offense。翻譯成中文,意思大致就是:進攻是最好的防守。
如需轉載請與《每日經(jīng)濟新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關注每日經(jīng)濟新聞APP