中國工程院院士沈昌祥：完全消除大模型“幻覺”等安全風險較難實現(xiàn) 需強化構建數(shù)字經(jīng)濟主動免疫保障體系

每經(jīng)記者 石雨昕    每經(jīng)編輯 陳旭    

中國工程院院士沈昌祥長期從事計算機信息系統(tǒng)、信息安全體系結構、系統(tǒng)軟件安全、網(wǎng)絡安全等方面的研究工作，有豐富經(jīng)驗和成果。目前擔任中央網(wǎng)信辦專家咨詢委顧問、國家集成電路產(chǎn)業(yè)發(fā)展專家組成員等職。

近年來，全球重大網(wǎng)絡安全事件頻發(fā)，勒索軟件、數(shù)據(jù)泄露、黑客攻擊等層出不窮，且變得更具危害性。與此同時，大數(shù)據(jù)、云計算、人工智能等信息技術廣泛應用在隱私保護、數(shù)據(jù)安全等方面，也帶來了新的風險和挑戰(zhàn)。

2024年8月21日，中共中央辦公廳、國務院辦公廳印發(fā)《關于完善市場準入制度的意見》，其中明確提出要優(yōu)化新業(yè)態(tài)新領域市場準入環(huán)境，聚焦人工智能、自主可信計算、信息安全等新業(yè)態(tài)新領域，推動生產(chǎn)要素創(chuàng)新性配置，提高準入效率。要實施前沿技術領域創(chuàng)新成果應用轉化市場準入環(huán)境建設行動，率先推動海陸空全空間智能無人體系應用和標準建設，加快構建綠色能源等領域準入政策體系，積極擴大數(shù)字產(chǎn)品市場準入。

隨著數(shù)字化轉型深入推進，如何讓更多人共享數(shù)字時代的便捷和紅利，同時解決好數(shù)據(jù)安全和隱私保護問題？在《每日經(jīng)濟新聞》創(chuàng)刊20周年之際，圍繞相關問題，沈昌祥院士接受了《每日經(jīng)濟新聞》記者（以下簡稱NBD）的專訪。

人工智能應用引發(fā)的安全風險已引起全球關注

NBD：大數(shù)據(jù)時代下，大模型應用越來越廣泛，在提高生產(chǎn)力的同時，在安全方面帶來了哪些挑戰(zhàn)？您認為隨著技術發(fā)展，這些問題能徹底解決嗎？對此應該持有什么樣的態(tài)度？

沈昌祥：首先需要明確一點，當前很多人對大數(shù)據(jù)的理解可能存在誤區(qū)，認為大數(shù)據(jù)就是海量數(shù)據(jù)，這并不準確。

實際上，大數(shù)據(jù)不僅是指數(shù)據(jù)的海量性，而且是指那些無法用現(xiàn)有軟件工具處理的復雜數(shù)據(jù)集。如果數(shù)據(jù)能夠被現(xiàn)有的數(shù)據(jù)庫處理，或者能夠通過軟件工具進行挖掘、開發(fā)和模型構建，那么這些數(shù)據(jù)并不屬于大數(shù)據(jù)的范疇。

我們可以將大數(shù)據(jù)類比為鉆石礦，本質(zhì)是礦源，礦源必須經(jīng)過開采和冶煉，才能轉變?yōu)榇竽Ｐ蛥?shù)。大模型是基于大數(shù)據(jù)的半成品，為了得到大模型，需要進行學習模型的訓練，最終目的是產(chǎn)生人工智能（AI）產(chǎn)品，從而促進社會的數(shù)智化。

但是，大模型應用帶來的風險也不可忽略。大模型本質(zhì)上屬于深度學習，但在參數(shù)的數(shù)量上要比深度學習高幾個數(shù)量級，比如GPT-4（OpenAI為聊天機器人ChatGPT發(fā)布的語言模型）的參數(shù)規(guī)模已經(jīng)高達1.8萬億。因此，大模型在全面拓展深度學習算法模型能力的同時，也放大了已有的AI安全問題。

最為關鍵的是，大模型繼承了深度學習模型的“黑盒子”特性，再加上高達百億或千億的復雜參數(shù)與神經(jīng)網(wǎng)絡結構，其內(nèi)部決策與推理過程常常難以解釋，因此埋下了極大的風險隱患。

目前，常見的大模型可能引發(fā)的安全風險問題包括隱私信息泄露、侵權問題、可信與倫理問題、被用于惡意目的或攻擊等，其中，“幻覺”、偏見和違反當?shù)胤煞ㄒ?guī)及違背風俗習慣、價值觀等問題最難以察覺。

我們可以看到，當前，人工智能的應用所引發(fā)的安全風險，已經(jīng)引起全球?qū)ι墒紸I倫理和安全問題的高度關注。比如與中國《生成式人工智能服務管理辦法（征求意見稿）》征求意見幾乎同一時期，美國商務部也就相關問責措施正式公開征求意見，包括新人工智能模型在發(fā)布前是否應經(jīng)過認證程序、建立人工智能模型可信度、建立合法性和道德準則相關審查制度等。

隨著技術的發(fā)展，我們期望能夠減少大模型出現(xiàn)“幻覺”、偏見等問題的頻次，提高可信度，但是完全消除這些風險是不太可能的，因為安全可信始終是相對的，而不是絕對的。即便實現(xiàn)產(chǎn)品本身安全可信也還是不夠的，人在使用新技術新產(chǎn)品過程中的倫理道德也需要強化，因此，加強網(wǎng)絡社會治理極為關鍵，要制定并完善相關法律法規(guī)，做好社會層面的保障和服務，確保網(wǎng)絡空間的安全和秩序。

NBD：最新數(shù)據(jù)顯示，我國網(wǎng)民規(guī)模近11億人，互聯(lián)網(wǎng)普及率達78.0%，在數(shù)字經(jīng)濟時代，數(shù)據(jù)作為核心生產(chǎn)要素，數(shù)據(jù)泄露風險和隱私保護問題成為不容忽視的問題。您認為如何應對個人隱私泄露等安全問題？

沈昌祥：從技術層面來看，可信計算技術廣泛應用于國家重要信息系統(tǒng)，例如增值稅防偽、彩票防偽、二代居民身份證安全系統(tǒng)等領域，在數(shù)據(jù)安全與隱私保護層面，可信計算技術可以通過實施端到端的加密策略、嚴格的完整性驗證機制以及精細化的訪問控制體系，構建一個全方位動態(tài)免疫的數(shù)據(jù)防護網(wǎng)。

此外，可信計算技術通過構建可信云環(huán)境和實施邊緣設備的安全管理，提升云計算服務的可信性，以保障用戶數(shù)據(jù)與業(yè)務的安全。

但是，隱私保護是系統(tǒng)工程，除了技術，更要從法律層面、治理層面、經(jīng)營層面來加以解決。

首先，國家要有法律保障，科學合理制定個人隱私保護原則，從國家層面建立這樣的保護體系來解決好個人隱私泄露及個人隱私安全保護的問題。其實技術本身是沒有好壞之分的，但是使用者道德意識是有區(qū)別的，需要從法律層面來約束違法行為。

其次，現(xiàn)在很多重要的個人隱私泄露，主要是企業(yè)運行者記錄個人身份信息所形成的，有大量個人信息存儲在企業(yè)端，尤其是在數(shù)據(jù)收集和使用方面，企業(yè)需要找到個人權益保護的方法。但是目前這方面我們還需要不斷探索完善，要先解決好諸如數(shù)據(jù)權利歸屬難以認定和劃分等關鍵問題。

要構建數(shù)字經(jīng)濟主動免疫保障體系

NBD：近年來，我們面臨來自網(wǎng)絡空間的風險更加復雜，二維碼網(wǎng)絡釣魚攻擊、勒索軟件攻擊等持續(xù)成為威脅，在您看來，應對網(wǎng)絡安全問題的關鍵是什么？

沈昌祥：計算機網(wǎng)絡所面臨的威脅大體可分為對網(wǎng)絡中信息受到的威脅和對網(wǎng)絡中設備受到的威脅。

舉例來說，操作員安全配置不當造成的安全可靠缺陷等會對網(wǎng)絡設備安全帶來威脅，但更為嚴峻的人為惡意攻擊，即蓄意破壞以謀取利益的行為，這種有針對性的攻擊遍布網(wǎng)絡每個角落，對安全構成極大挑戰(zhàn)。此類攻擊又可以分為被動攻擊和主動攻擊，在討論網(wǎng)絡安全時，人們通常關注故障性安全，但往往忽略了系統(tǒng)人為攻擊的嚴重性。

事實上，真正的挑戰(zhàn)不僅僅在于黑客攻擊、病毒入侵或系統(tǒng)漏洞這些表面現(xiàn)象，根本問題在于計算科學缺少攻防理念、體系結構缺防護部件、重大工程應用缺乏安全服務這三大問題，本質(zhì)還是計算原理的基礎科學技術問題。

具體而言，圖靈計算原理在奠定現(xiàn)代計算基礎的同時，其設計之初并未融入攻防理念，導致后續(xù)構建體系結構的過程中，在追求計算效率與功能集成的同時，缺乏內(nèi)置的安全防護機體。

由此可以看到，一方面，傳統(tǒng)網(wǎng)絡安全系統(tǒng)主要是由防火墻、入侵監(jiān)測和病毒查殺打補丁等組成，這種“封堵查殺”的模式難以應對人為攻擊，且容易被攻擊者利用。

另一方面，隨著科技的進步，尤其是機器人技術、仿生學以及人工智能的迅猛發(fā)展，這種技術進步的加速并未自然伴隨安全性的同步提升，反而因技術的廣泛應用與深入滲透，使得潛在的安全風險成為滅絕風險。

基于這一背景，我認為關鍵是要構建數(shù)字經(jīng)濟主動免疫保障體系，打造安全可信的產(chǎn)業(yè)生態(tài)。

一方面，信息系統(tǒng)和人體一樣，比如人患了癌癥，可能手術后沒有病癥了，但免疫系統(tǒng)仍有排異反應，因此需要從被動防御轉為“主動免疫”，從而實現(xiàn)安全可控。主動免疫的原理是在計算的同時進行安全防護，并增加可信密碼模塊、可信控制平臺等形成免疫系統(tǒng)。

另一方面，安全可信就相當于建立起人體免疫系統(tǒng)，能動態(tài)實時全方位地進行可信驗證，使得存在的缺陷以及漏洞不至于被攻擊者所利用。因此需要按照國家網(wǎng)絡安全法規(guī)、戰(zhàn)略和等級保護制度要求，推廣安全可信產(chǎn)品和服務，要全面采用自主可信計算的網(wǎng)絡產(chǎn)品和服務。

此外，即便產(chǎn)品和服務都具備基本的免疫能力，安全可信，但充分的社會保障和服務體系對提升整體免疫力同樣不可或缺。其中，要加快健全完善適應新形勢的法律法規(guī)體系，制定一批社會急需的條例及規(guī)章制度，例如修訂和完善網(wǎng)絡隱私保護、信息內(nèi)容安全、打擊網(wǎng)絡犯罪等法律制度。

NBD：當前我國可信計算體系發(fā)展如何？未來要達到哪些目標？

沈昌祥：世界可信計算演進可以分為三個階段。

在可信1.0階段，該技術聚焦于提升主機的可靠性，主要面向計算機部件，通過冗余備份的結構設計和容錯算法的形態(tài)應用，有效增強了系統(tǒng)的故障診查與容錯能力。

隨后，可信計算邁入2.0時代，其關注點轉向PC單機節(jié)點的安全性，采用功能模塊化的結構設計，以被動度量的機理為核心，通過可信平臺模塊（TPM）與可信軟件棧（TSS）的結合，實現(xiàn)安全性的初步提升，但串行掛接TPM仍面臨側信道攻擊的威脅，曾發(fā)生的事件影響了全球數(shù)十億節(jié)點的安全。

而目前是以中國為代表的自主可信計算即可信計算3.0時代。相較于國外可信計算被動調(diào)用的外掛式體系結構，我國可信計算革命性地開創(chuàng)了自主密碼為基礎、控制芯片為支柱、雙融主板為平臺、可信軟件為核心、可信連接為紐帶、策略管控成體系、安全可信保應用的全新的可信計算體系結構框架。

可信計算3.0經(jīng)過長期攻關、滾動發(fā)展，已經(jīng)形成了安全可信的系列產(chǎn)品和服務，比如具備可信計算功能的國產(chǎn)CPU（中央處理器）、可信BMC（基板管理控制器,）和智能安全卡，具備可信計算3.0技術的設備等，為構建高等級防護的關鍵信息基礎設施防護打下了物質(zhì)基礎。

需要注意的是，在整個過程中，一定要對最終的系統(tǒng)擁有自主知識產(chǎn)權，保護好自主創(chuàng)新的知識產(chǎn)權及其安全。

我認為未來構建安全可信保障體系要達到“六不”效果的生態(tài)：第一是攻擊者進不去；第二是即使混入了，也無法獲取信息；第三是拿到了信息也看不懂，因為信息是加密的，無法理解其內(nèi)容；第四是無法進行篡改，勒索無效；第五是即使出現(xiàn)了故障問題，也能及時發(fā)現(xiàn)并處理，防止系統(tǒng)崩潰；第六是行為都審計記錄在案，即具有不可抵賴性。