中國(guó)科學(xué)院信工所研究員虎嵩林：大模型的安全風(fēng)險(xiǎn)主要體現(xiàn)在無(wú)害性和誠(chéng)實(shí)性?xún)纱蠓矫?

每經(jīng)記者 袁園    每經(jīng)編輯 張益銘

4月25日，2024中關(guān)村論壇在京開(kāi)幕。本屆論壇以“創(chuàng)新：建設(shè)更加美好的世界”為主題，邀請(qǐng)全球知名專(zhuān)家學(xué)者和企業(yè)家，共商創(chuàng)新大計(jì)。

在數(shù)據(jù)安全治理與發(fā)展論壇上，中國(guó)科學(xué)院信工所研究員虎嵩林接受了包括《每日經(jīng)濟(jì)新聞》記者在內(nèi)的媒體采訪，并針對(duì)當(dāng)前AI大模型引發(fā)的全新安全問(wèn)題以及企業(yè)和行業(yè)的應(yīng)對(duì)措施等給出了回應(yīng)。

促使大模型遵循人類(lèi)價(jià)值觀等難題亟待解決

當(dāng)前生成式人工智能技術(shù)作為人工智能演化過(guò)程中的重要突破，為引領(lǐng)產(chǎn)業(yè)革新和數(shù)字化變革奠定了堅(jiān)實(shí)的基礎(chǔ)。根據(jù)麥肯錫報(bào)告，生成式AI每年或?qū)槿騁DP增加2.6萬(wàn)億美元~4.4萬(wàn)億美元。

但是生成式人工智能技術(shù)在迭代升級(jí)的同時(shí)也放大了技術(shù)安全風(fēng)險(xiǎn)。比如，數(shù)據(jù)方面，數(shù)據(jù)會(huì)帶來(lái)價(jià)值偏見(jiàn)、隱私泄露、數(shù)據(jù)污染等問(wèn)題：訓(xùn)練數(shù)據(jù)固有偏見(jiàn)導(dǎo)致模型產(chǎn)生偏見(jiàn)內(nèi)容；海量訓(xùn)練數(shù)據(jù)擴(kuò)大了數(shù)據(jù)安全和隱私保護(hù)風(fēng)險(xiǎn)。算法方面，算法模型生成特性及安全漏洞會(huì)引發(fā)“幻覺(jué)”或虛假信息、模型遭受攻擊等風(fēng)險(xiǎn)。

對(duì)此，虎嵩林認(rèn)為，生成式人工智能大模型的安全重要性不言而喻。當(dāng)前，大模型正在成為驅(qū)動(dòng)新質(zhì)生產(chǎn)力發(fā)展的新動(dòng)能、人類(lèi)探索未知的新工具。在賦能新時(shí)代發(fā)展的同時(shí)，生成式人工智能也給全球帶來(lái)了前所未有的安全風(fēng)險(xiǎn)。

大模型不僅可以對(duì)話和生成視頻、還可以調(diào)用工具、鏈接物理設(shè)備、并通過(guò)與機(jī)器人結(jié)合實(shí)現(xiàn)具身智能。大模型本身也正在從人類(lèi)可利用的工具客體向認(rèn)識(shí)、改造自然社會(huì)的主體轉(zhuǎn)變。成為數(shù)學(xué)定理證明、科學(xué)研究的合作者，成為獨(dú)立運(yùn)營(yíng)企業(yè)的法律主體。

虎嵩林表示，大模型能力的通用性、潛在的主體地位以及應(yīng)用的深度與廣度，也都將進(jìn)一步放大其危害程度。包括兩位圖靈獎(jiǎng)得主Hinton、Bengio和谷歌DeepMind和OpenAI的CEO在內(nèi)的產(chǎn)學(xué)兩界領(lǐng)軍人物聯(lián)名發(fā)出的AI風(fēng)險(xiǎn)聲明中，更將AI可能帶來(lái)的“毀滅性”的風(fēng)險(xiǎn)，上升到了與流行病以及核戰(zhàn)爭(zhēng)相提并論的高度。

2023年底《自然》雜志預(yù)測(cè)的2024年的重大科學(xué)事件中，GPT5的發(fā)布以及聯(lián)合國(guó)人工智能高級(jí)別咨詢(xún)機(jī)構(gòu)將發(fā)布的AI監(jiān)管相關(guān)報(bào)告位列其中，反映了全球?qū)f(xié)調(diào)人工智能發(fā)展與安全的重大關(guān)切。毫無(wú)疑問(wèn)，促使大模型遵循人類(lèi)價(jià)值觀、服從人類(lèi)意圖，規(guī)避各類(lèi)風(fēng)險(xiǎn)，并保障數(shù)字和物理空間的應(yīng)用安全，實(shí)現(xiàn)有用性（Helpful）、無(wú)害性（Harmless）和誠(chéng)實(shí)性（Honest）3H多目標(biāo)的平衡，已經(jīng)成為亟待解決的世界難題。

大模型的安全風(fēng)險(xiǎn)主要體現(xiàn)在兩大方面

“大模型的安全風(fēng)險(xiǎn)主要體現(xiàn)在無(wú)害性（Harmless）和誠(chéng)實(shí)性（Honest）兩個(gè)方面。”虎嵩林表示，其中，有害信息對(duì)應(yīng)前者，包括價(jià)值偏見(jiàn)，隱私泄露，還有黃賭毒、涉恐涉暴、仇恨、反諷、歧視、刻板印象等等各種信息污染；不實(shí)信息對(duì)應(yīng)后者，包括虛假信息、偽造、欺詐內(nèi)容等。

更廣義地講，也包括由輸出信息所直接導(dǎo)致的各類(lèi)不安全的指令調(diào)用、智能體或者具身智能機(jī)器人的惡意行為等等。而所謂“幻覺(jué)”，則是一把“雙刃劍”，既有可能是導(dǎo)致有害、不實(shí)信息的“元兇”，也有可能是科學(xué)創(chuàng)新、藝術(shù)創(chuàng)意的能力來(lái)源。我們談的幻覺(jué)緩解，主要還是針對(duì)前者。

虎嵩林進(jìn)一步指出，生成式大模型特有的預(yù)訓(xùn)練、微調(diào)、上下文、提示、思維鏈COT等新的學(xué)習(xí)范式，使其安全具有了與傳統(tǒng)AI安全不同的許多新特點(diǎn)，面臨諸多新挑戰(zhàn)，確實(shí)制約了傳統(tǒng)安全方法、經(jīng)驗(yàn)、工具在大模型安全領(lǐng)域發(fā)揮效能。

大模型安全風(fēng)險(xiǎn)的成因既可以是來(lái)自各類(lèi)訓(xùn)練數(shù)據(jù)的缺陷或算法的局限性等模型內(nèi)因，也可以是利用這些新型學(xué)習(xí)范式的惡意使用或蓄意攻擊等外因。這使得大模型在數(shù)據(jù)準(zhǔn)備、預(yù)訓(xùn)練、微調(diào)對(duì)齊、推理以及應(yīng)用階段都會(huì)存在各種潛在的風(fēng)險(xiǎn)。盡管目前我們?cè)诎踩碚?、大模型安全評(píng)測(cè)、自動(dòng)化測(cè)試、價(jià)值觀對(duì)齊、幻覺(jué)緩解等方面都開(kāi)展了一系列的研究和應(yīng)用工作，這些領(lǐng)域依然充滿了挑戰(zhàn)。

至于企業(yè)、行業(yè)應(yīng)該從哪些方面進(jìn)行安全維護(hù)這個(gè)問(wèn)題?；⑨粤终J(rèn)為，這個(gè)回答的難度比較大。“坦白地說(shuō)，從理論上，或者說(shuō)技術(shù)上，大模型安全仍然還有很多亟待解決的難題。”

虎嵩林認(rèn)為，一方面，我們對(duì)大模型“智能涌現(xiàn)”的原理還所知甚少，對(duì)上下文學(xué)習(xí)、提示學(xué)習(xí)、思維鏈等能力的內(nèi)在機(jī)理仍嚴(yán)重缺乏認(rèn)知。一些研究工作也證明AI的安全性無(wú)法完全保障，對(duì)任意一個(gè)對(duì)齊模型總存在一定長(zhǎng)度的提示可以將之攻破等，這都極大地制約我們從原理上認(rèn)識(shí)和防御大模型的安全風(fēng)險(xiǎn)；

“另一方面，我們又需要在現(xiàn)有的技術(shù)條件下持續(xù)探索，這也是我們?cè)O(shè)計(jì)‘以攻促防、攻防相長(zhǎng)’思路，研制Galexy（星河）大模型安全測(cè)評(píng)平臺(tái)的原因，也是舉辦這次大賽（首屆生成式人工智能安全大賽）的初衷。”虎嵩林介紹道，我們希望通過(guò)“攻、檢、防”，不斷發(fā)現(xiàn)漏洞、自動(dòng)識(shí)別并進(jìn)行持續(xù)化的安全加固，形成一個(gè)循環(huán)發(fā)展的飛輪。

封面圖片來(lái)源：視覺(jué)中國(guó)-VCG31N2008743681