中國科學(xué)院信工所研究員虎嵩林：大模型的安全風(fēng)險主要體現(xiàn)在無害性和誠實性兩大方面

每經(jīng)記者 袁園    每經(jīng)編輯 張益銘

4月25日，2024中關(guān)村論壇在京開幕。本屆論壇以“創(chuàng)新：建設(shè)更加美好的世界”為主題，邀請全球知名專家學(xué)者和企業(yè)家，共商創(chuàng)新大計。

在數(shù)據(jù)安全治理與發(fā)展論壇上，中國科學(xué)院信工所研究員虎嵩林接受了包括《每日經(jīng)濟(jì)新聞》記者在內(nèi)的媒體采訪，并針對當(dāng)前AI大模型引發(fā)的全新安全問題以及企業(yè)和行業(yè)的應(yīng)對措施等給出了回應(yīng)。

促使大模型遵循人類價值觀等難題亟待解決

當(dāng)前生成式人工智能技術(shù)作為人工智能演化過程中的重要突破，為引領(lǐng)產(chǎn)業(yè)革新和數(shù)字化變革奠定了堅實的基礎(chǔ)。根據(jù)麥肯錫報告，生成式AI每年或?qū)槿騁DP增加2.6萬億美元~4.4萬億美元。

但是生成式人工智能技術(shù)在迭代升級的同時也放大了技術(shù)安全風(fēng)險。比如，數(shù)據(jù)方面，數(shù)據(jù)會帶來價值偏見、隱私泄露、數(shù)據(jù)污染等問題：訓(xùn)練數(shù)據(jù)固有偏見導(dǎo)致模型產(chǎn)生偏見內(nèi)容；海量訓(xùn)練數(shù)據(jù)擴(kuò)大了數(shù)據(jù)安全和隱私保護(hù)風(fēng)險。算法方面，算法模型生成特性及安全漏洞會引發(fā)“幻覺”或虛假信息、模型遭受攻擊等風(fēng)險。

對此，虎嵩林認(rèn)為，生成式人工智能大模型的安全重要性不言而喻。當(dāng)前，大模型正在成為驅(qū)動新質(zhì)生產(chǎn)力發(fā)展的新動能、人類探索未知的新工具。在賦能新時代發(fā)展的同時，生成式人工智能也給全球帶來了前所未有的安全風(fēng)險。

大模型不僅可以對話和生成視頻、還可以調(diào)用工具、鏈接物理設(shè)備、并通過與機(jī)器人結(jié)合實現(xiàn)具身智能。大模型本身也正在從人類可利用的工具客體向認(rèn)識、改造自然社會的主體轉(zhuǎn)變。成為數(shù)學(xué)定理證明、科學(xué)研究的合作者，成為獨立運營企業(yè)的法律主體。

虎嵩林表示，大模型能力的通用性、潛在的主體地位以及應(yīng)用的深度與廣度，也都將進(jìn)一步放大其危害程度。包括兩位圖靈獎得主Hinton、Bengio和谷歌DeepMind和OpenAI的CEO在內(nèi)的產(chǎn)學(xué)兩界領(lǐng)軍人物聯(lián)名發(fā)出的AI風(fēng)險聲明中，更將AI可能帶來的“毀滅性”的風(fēng)險，上升到了與流行病以及核戰(zhàn)爭相提并論的高度。

2023年底《自然》雜志預(yù)測的2024年的重大科學(xué)事件中，GPT5的發(fā)布以及聯(lián)合國人工智能高級別咨詢機(jī)構(gòu)將發(fā)布的AI監(jiān)管相關(guān)報告位列其中，反映了全球?qū)f(xié)調(diào)人工智能發(fā)展與安全的重大關(guān)切。毫無疑問，促使大模型遵循人類價值觀、服從人類意圖，規(guī)避各類風(fēng)險，并保障數(shù)字和物理空間的應(yīng)用安全，實現(xiàn)有用性（Helpful）、無害性（Harmless）和誠實性（Honest）3H多目標(biāo)的平衡，已經(jīng)成為亟待解決的世界難題。

大模型的安全風(fēng)險主要體現(xiàn)在兩大方面

“大模型的安全風(fēng)險主要體現(xiàn)在無害性（Harmless）和誠實性（Honest）兩個方面。”虎嵩林表示，其中，有害信息對應(yīng)前者，包括價值偏見，隱私泄露，還有黃賭毒、涉恐涉暴、仇恨、反諷、歧視、刻板印象等等各種信息污染；不實信息對應(yīng)后者，包括虛假信息、偽造、欺詐內(nèi)容等。

更廣義地講，也包括由輸出信息所直接導(dǎo)致的各類不安全的指令調(diào)用、智能體或者具身智能機(jī)器人的惡意行為等等。而所謂“幻覺”，則是一把“雙刃劍”，既有可能是導(dǎo)致有害、不實信息的“元兇”，也有可能是科學(xué)創(chuàng)新、藝術(shù)創(chuàng)意的能力來源。我們談的幻覺緩解，主要還是針對前者。

虎嵩林進(jìn)一步指出，生成式大模型特有的預(yù)訓(xùn)練、微調(diào)、上下文、提示、思維鏈COT等新的學(xué)習(xí)范式，使其安全具有了與傳統(tǒng)AI安全不同的許多新特點，面臨諸多新挑戰(zhàn)，確實制約了傳統(tǒng)安全方法、經(jīng)驗、工具在大模型安全領(lǐng)域發(fā)揮效能。

大模型安全風(fēng)險的成因既可以是來自各類訓(xùn)練數(shù)據(jù)的缺陷或算法的局限性等模型內(nèi)因，也可以是利用這些新型學(xué)習(xí)范式的惡意使用或蓄意攻擊等外因。這使得大模型在數(shù)據(jù)準(zhǔn)備、預(yù)訓(xùn)練、微調(diào)對齊、推理以及應(yīng)用階段都會存在各種潛在的風(fēng)險。盡管目前我們在安全理論、大模型安全評測、自動化測試、價值觀對齊、幻覺緩解等方面都開展了一系列的研究和應(yīng)用工作，這些領(lǐng)域依然充滿了挑戰(zhàn)。

至于企業(yè)、行業(yè)應(yīng)該從哪些方面進(jìn)行安全維護(hù)這個問題?；⑨粤终J(rèn)為，這個回答的難度比較大。“坦白地說，從理論上，或者說技術(shù)上，大模型安全仍然還有很多亟待解決的難題。”

虎嵩林認(rèn)為，一方面，我們對大模型“智能涌現(xiàn)”的原理還所知甚少，對上下文學(xué)習(xí)、提示學(xué)習(xí)、思維鏈等能力的內(nèi)在機(jī)理仍嚴(yán)重缺乏認(rèn)知。一些研究工作也證明AI的安全性無法完全保障，對任意一個對齊模型總存在一定長度的提示可以將之攻破等，這都極大地制約我們從原理上認(rèn)識和防御大模型的安全風(fēng)險；

“另一方面，我們又需要在現(xiàn)有的技術(shù)條件下持續(xù)探索，這也是我們設(shè)計‘以攻促防、攻防相長’思路，研制Galexy（星河）大模型安全測評平臺的原因，也是舉辦這次大賽（首屆生成式人工智能安全大賽）的初衷。”虎嵩林介紹道，我們希望通過“攻、檢、防”，不斷發(fā)現(xiàn)漏洞、自動識別并進(jìn)行持續(xù)化的安全加固，形成一個循環(huán)發(fā)展的飛輪。

封面圖片來源：視覺中國-VCG31N2008743681