熱搜！“只要能看到臉的都能換”，涉黃AI換臉案有人用暗戀女生換臉，不少女明星“中招”，法官提醒

每經(jīng)編輯 畢陸名

日前，話題詞#涉黃AI換臉案有人用暗戀女生換臉#沖上熱搜。

據(jù)央視新聞報道，“AI換臉”相信大家都不陌生。只需要一張照片，通過人工智能深度合成技術(shù)，任何人都能成為視頻中的主人公，甚至連表情和動作都能以假亂真。然而，這項新技術(shù)，卻讓一些人產(chǎn)生了不良想法，杭州的虞某就利用“AI換臉”軟件生成大量淫穢視頻進(jìn)行傳播，被換臉的有不少女明星等公眾人物，虞某甚至還提供換臉定制服務(wù)。最終，虞某犯制作、傳播淫穢物品牟利罪，被判有期徒刑七年三個月，并處罰金6萬元。

法官提醒：“AI換臉”技術(shù)即便只是用來搞笑或者制作惡搞照片，也有可能涉及侵犯肖像權(quán)、名譽(yù)權(quán)，造成嚴(yán)重后果的，還可能構(gòu)成侮辱罪或者誹謗罪。

有人用暗戀女生換臉

2022年8月，杭州市蕭山警方在網(wǎng)上巡查中獲取一條線索，轄區(qū)內(nèi)有人利用AI技術(shù)制作淫穢視頻在網(wǎng)上進(jìn)行大量傳播，警方依法對此立案偵查，并迅速抓獲了犯罪嫌疑人虞某，隨后該案被移送至杭州市蕭山區(qū)人民檢察院審查起訴。

圖片來源：視頻截圖

檢察機(jī)關(guān)調(diào)查發(fā)現(xiàn)，虞某從2020年開始接觸“AI換臉”軟件，起初，他想通過在網(wǎng)上推廣該項技術(shù)以及相關(guān)的軟件來獲利，但是，一段時間過后關(guān)注他的人卻很少，一次偶然的機(jī)會，虞某看到有人在社交群組中發(fā)布淫穢信息來吸引他人關(guān)注，于是他也動起了類似念頭。

據(jù)虞某供述，為了吸引更多的關(guān)注和流量，他在社交軟件上創(chuàng)建了“瀏覽群”和“私人定制群”，“瀏覽群”主要用來傳播“AI換臉”的淫穢視頻吸引、招攬觀看者，其中包括一些經(jīng)過虞某換臉的視頻，當(dāng)有人提出“定制換臉”的需求，虞某會將這些人引入所謂“私人定制群”。

圖片來源：視頻截圖

杭州市蕭山區(qū)人民檢察院第七檢察部檢察官助理陳禹堯：通過收取入（瀏覽）群費用的方式，一個198元、298元或者398元。另外一個就是虞某還提供人臉視頻定制服務(wù)，相當(dāng)于客戶如果需要定制一個換臉的視頻，他可以根據(jù)時長，根據(jù)視頻的難度大小收取相應(yīng)的費用。

據(jù)檢察機(jī)關(guān)調(diào)查，虞某一邊通過傳播換臉的淫穢視頻來“吸粉引流”，同時又通過出售“AI換臉”軟件和提供所謂“AI換臉”的私人定制服務(wù)，在不到半年的時間里就獲利數(shù)萬元。而被“AI換臉”侵害人臉敏感信息的受害者，不僅包括多位知名公眾人物，還有很多不特定的普通人。

據(jù)檢察機(jī)關(guān)調(diào)查，虞某根據(jù)“AI換臉”視頻的長度、清晰度等難易條件，按照5分鐘300元、10分鐘500元等標(biāo)準(zhǔn)來收取定制的費用。虞某聲稱，“只要能看到臉的都能換”。

據(jù)檢察機(jī)關(guān)了解，虞某的客戶要求“定制”換臉的對象不僅包括一些知名的公眾人物，也有生活中的普通人，其中就有人提出想要定制自己暗戀女生的換臉視頻，而對于這些未經(jīng)同意就擅自侵犯他人敏感信息的違法行為，虞某也是來者不拒。

另外，虞某除了進(jìn)行定制化的換臉服務(wù)，還將“AI換臉”軟件分為初級、中級和高級三個等級進(jìn)行銷售并傳授使用教程，同時還提供網(wǎng)上非法收集的他人人臉?biāo)夭摹?/p>

2023年4月14日，杭州蕭山區(qū)人民檢察院決定對虞某“AI換臉”侵犯公民個人信息公益訴訟案立案，當(dāng)日履行公告程序，公告期滿，無適格主體提起訴訟。6月9日，檢察機(jī)關(guān)依法對虞某提起民事公益訴訟。7月28日，該案在杭州互聯(lián)網(wǎng)法院一審公開審理。

2023年11月，杭州市蕭山區(qū)人民法院判決被告人虞某犯制作、傳播淫穢物品牟利罪，判處有期徒刑七年三個月，并處罰金6萬元。

圖片來源：視頻截圖

AI技術(shù)的迭代升級讓不法分子借助智能AI換臉和擬聲技術(shù)，就可輕松實現(xiàn)遠(yuǎn)程視頻詐騙。記者調(diào)查發(fā)現(xiàn)，最近多地出現(xiàn)的AI換臉詐騙案件，均具備定制性、迷惑性等特征。

“AI換臉”詐騙，眼見不一定為實

據(jù)新華每日電訊，AI技術(shù)的迭代升級讓不法分子借助智能AI換臉和擬聲技術(shù)，就可輕松實現(xiàn)遠(yuǎn)程視頻詐騙。記者調(diào)查發(fā)現(xiàn)，最近多地出現(xiàn)的AI換臉詐騙案件，均具備定制性、迷惑性等特征。

其中，香港警方近期披露一起涉案金額高達(dá)2億港元的多人AI換臉詐騙案尤為典型。據(jù)媒體報道，某公司職員受邀參加公司“多人視頻會議”時，先后將2億港元分別轉(zhuǎn)賬到5個本地銀行賬戶內(nèi)。據(jù)警方調(diào)查，這場視頻會議中除了受害者外，其余均為AI換臉后的詐騙人員。

不少業(yè)內(nèi)專家表示，隨著文生視頻大模型Sora等多模態(tài)人工智能的探索和出現(xiàn)，人們可能陷入“眼見也不一定為實”的困局。“一直以來，銀行等部門將實時視頻用作檢驗身份的手段之一，如今其可靠性將面臨巨大挑戰(zhàn)。”沈?？≌f，“隨著人工智能技術(shù)的迭代升級，這類違法行為還可能演變出更多形態(tài)。”

中國行政法學(xué)研究會常務(wù)理事、華東政法大學(xué)教授沈?？√寡?，對此類AI換臉和AI擬聲的惡性詐騙案件，若只依靠傳統(tǒng)監(jiān)管手段已不能防堵，監(jiān)管部門在提升自我科技能力儲備的同時，有必要引入新興技術(shù)，探索用AI技術(shù)監(jiān)管AI的可能。

從消費者角度出發(fā)，沈福俊建議提升全民個人信息保護(hù)意識，謹(jǐn)防隱私泄露。“不管是在互聯(lián)網(wǎng)上還是社交軟件上，盡量避免過多地暴露自己的信息，在涉及轉(zhuǎn)賬交易等行為時，可以多角度詢問身份信息，反復(fù)驗證對方是否為本人。”

據(jù)北京商報報道，當(dāng)前AI換臉的一些技術(shù)弱點仍然存在。中國信通院人工智能中心安全與元宇宙部主任石霖指出，一些換臉的視頻會存在光照、表情等不夠自然、幀與幀之間不夠連貫的問題，盡管隨著模型能力的提升，這些換臉的痕跡已經(jīng)做到幾乎肉眼難以辨別的程度，但我們?nèi)匀豢梢酝ㄟ^一些專用的檢測算法進(jìn)行辨別。這些檢測算法在訓(xùn)練過程中大量學(xué)習(xí)了換臉視頻中偽造特征的方式，在使用的過程中逐幀提取特征，從而判斷一段視頻是否經(jīng)過了換臉。當(dāng)前，這些技術(shù)已經(jīng)開始用在金融場景中，實現(xiàn)對詐騙等行為的識別。

那么，這些鑒別技術(shù)應(yīng)用于反詐領(lǐng)域，前景如何？不得不承認(rèn)，網(wǎng)絡(luò)信號與算力仍是待解決的難題。“由于這些技術(shù)仍然需要大量的計算資源特別是GPU的支持，因此，通常在使用過程中，需要將相關(guān)的檢測模型部署在服務(wù)器中。但如果想要將這些檢測模型部署在手機(jī)、個人電腦中，或嵌入到社交、會議軟件里，可能會對軟硬件的使用體驗造成較大的影響。近年來，很多技術(shù)企業(yè)已經(jīng)開始嘗試不斷優(yōu)化檢測模型，探索將模型部署在端側(cè)。”石霖說道。

每日經(jīng)濟(jì)新聞綜合央視新聞、新華每日電訊、北京商報

封面圖片來源：視頻截圖