對(duì)話圖靈獎(jiǎng)得主、“AI教父”Yoshua Bengio：AI安全不能靠企業(yè)“自覺(jué)”，防范AI失控需要類(lèi)似核武器監(jiān)管的國(guó)際條約

每經(jīng)記者 鄭雨航    每經(jīng)編輯 段煉 蘭素英    

如今，人工智能（AI）浪潮正以前所未有的速度重塑世界，隨之而來(lái)的安全和倫理問(wèn)題也日益受到關(guān)注，如何平衡創(chuàng)新與風(fēng)險(xiǎn)成為了業(yè)內(nèi)關(guān)注的焦點(diǎn)。

8月底，AI巨頭OpenAI和Anthropic與美國(guó)AI安全研究所（AI Safety Institute）達(dá)成了一項(xiàng)歷史性協(xié)議，允許美國(guó)政府在其發(fā)布全新的重要AI模型之前先進(jìn)行嚴(yán)格的安全測(cè)試。美國(guó)AI安全研究所是在拜登政府去年10月發(fā)布的首個(gè)AI行政命令下成立的，旨在通過(guò)新的安全評(píng)估、制定公平和公民權(quán)利指導(dǎo)方針，以及研究AI對(duì)勞動(dòng)力市場(chǎng)的影響，來(lái)管理AI的未來(lái)發(fā)展。

OpenAI首席執(zhí)行官薩姆·奧特曼（Sam Altman）稱，這一協(xié)議的達(dá)成是“歷史性的重要一步”，體現(xiàn)了行業(yè)對(duì)安全性和負(fù)責(zé)任創(chuàng)新的承諾。美國(guó)AI安全研究所所長(zhǎng)伊麗莎白·凱利（Elizabeth Kelly）表示，這只是一個(gè)起點(diǎn)，但卻是負(fù)責(zé)任地管理AI未來(lái)的重要里程碑。

針對(duì)這兩家領(lǐng)先的AI初創(chuàng)公司所達(dá)成的協(xié)議以及AI領(lǐng)域的安全和未來(lái)發(fā)展問(wèn)題，《每日經(jīng)濟(jì)新聞》記者專(zhuān)訪了圖靈獎(jiǎng)獲得者、被稱為“AI教父”的加拿大計(jì)算機(jī)科學(xué)家Yoshua Bengio，進(jìn)行深入解讀。

Yoshua Bengio是深度學(xué)習(xí)領(lǐng)域的先驅(qū)之一，與Geoffrey Hinton和Yann LeCun共同獲得了2018年的圖靈獎(jiǎng)，被業(yè)界譽(yù)為“深度學(xué)習(xí)三巨頭”。Bengio不僅對(duì)前沿技術(shù)有著深刻的理解，更對(duì)AI的發(fā)展方向、潛在風(fēng)險(xiǎn)以及社會(huì)影響有著獨(dú)到的見(jiàn)解。2023年8月，Bengio被任命為聯(lián)合國(guó)技術(shù)進(jìn)步科學(xué)顧問(wèn)委員會(huì)成員并擔(dān)任加拿大高級(jí)研究院（CIFAR）AI主席。2024年，Bengio入選《時(shí)代》雜志全球100位最具影響力人物年度榜單。?

圖片來(lái)源：Yoshua Bengio個(gè)人網(wǎng)站

確保AI安全須解決兩大挑戰(zhàn)

NBD：您如何看待最近OpenAI和Anthropic與美國(guó)AI安全研究所的合作？這是否會(huì)成為AI治理方面的一種更廣泛趨勢(shì)？

Bengio：除OpenAI和Anthropic外，還有其他公司已經(jīng)承諾與英國(guó)政府的AI安全研究所私下分享他們的最新模型。考慮到OpenAI和Anthropic都是美國(guó)公司，他們對(duì)美國(guó)政府采取同樣的做法也是理所應(yīng)當(dāng)?shù)摹?/span>

NBD：要確保AI系統(tǒng)的安全開(kāi)發(fā)和部署，尤其是在企業(yè)和政府合作的情況下，您認(rèn)為需要解決哪些最關(guān)鍵的挑戰(zhàn)？

Bengio：站在更高的角度看，我們需要解決兩個(gè)挑戰(zhàn)。

首先是技術(shù)層面，我們需要開(kāi)發(fā)能夠在AGI（通用人工智能，相當(dāng)于普通人類(lèi)水平）或ASI（超級(jí)人工智能，即超越人類(lèi)水平）階段仍然有效的安全技術(shù)，包括對(duì)危險(xiǎn)能力的評(píng)估、檢測(cè)和緩解，以及設(shè)計(jì)可控且保證安全的AI系統(tǒng)。

其次是政治層面，我們需要全球范圍內(nèi)的協(xié)調(diào)，以確保所有國(guó)家和公司在開(kāi)發(fā)最強(qiáng)大的AI系統(tǒng)時(shí)，遵循最佳的安全實(shí)踐，避免人類(lèi)失去控制的災(zāi)難性后果。并且，要達(dá)成最佳的安全和治理協(xié)議，以確保某些人不會(huì)濫用AGI的力量為自己謀利，而犧牲其他許多人的利益。

NBD：不同地區(qū)在監(jiān)管方式上也會(huì)有所不同，在您看來(lái)，促進(jìn)AI治理國(guó)際合作的最有效方法是什么？

Bengio：國(guó)際協(xié)調(diào)對(duì)于避免未來(lái)幾年或幾十年人類(lèi)可能面臨的兩種最危險(xiǎn)情況至關(guān)重要：一是權(quán)力集中于少數(shù)人手中，他們將通過(guò)控制ASI來(lái)控制全人類(lèi)；二是人類(lèi)失去對(duì)ASI的控制，而ASI的目標(biāo)是自我保護(hù)（這可能與人類(lèi)目標(biāo)相沖突并導(dǎo)致人類(lèi)滅絕），從而危及人類(lèi)的生存。

為了避免這些情況，必須讓世界各地的更多人和政府了解這些風(fēng)險(xiǎn)。我們需要類(lèi)似于核武器（監(jiān)管）條約的國(guó)際條約。而考慮到各國(guó)/地區(qū)之間的軍事和地緣政治競(jìng)爭(zhēng)，必須要有足夠的驗(yàn)證技術(shù)（來(lái)證明其危險(xiǎn)），促進(jìn)條約的有效實(shí)施，我認(rèn)為只要專(zhuān)注這方面的發(fā)展，這是幾年內(nèi)是可以實(shí)現(xiàn)的。

AI安全不能靠企業(yè)“自覺(jué)”

“AI教父”提出三大關(guān)鍵舉措

NBD：您如何看待學(xué)術(shù)研究對(duì)AI治理行業(yè)的影響或指導(dǎo)作用？可以采取哪些措施來(lái)加強(qiáng)研究與實(shí)際實(shí)施之間的聯(lián)系？

Bengio：在AI安全方面，企業(yè)之間存在著內(nèi)在的利益沖突。它們之間競(jìng)爭(zhēng)激烈，為了生存，它們不得不在安全方面偷工減料，以犧牲公共安全為代價(jià)，在商業(yè)上取得領(lǐng)先地位。它們有動(dòng)機(jī)隱瞞風(fēng)險(xiǎn)和事故，并拒絕監(jiān)管。因此，必須有一大批獨(dú)立學(xué)者參與AI安全研究以及前沿AI系統(tǒng)的評(píng)估和審計(jì)。

NBD：展望未來(lái)，在技術(shù)快速進(jìn)步的背景下，您認(rèn)為有哪些額外的研究或舉措可以進(jìn)一步推進(jìn)AI的安全和治理？

Bengio：在科學(xué)技術(shù)層面上，我們需要更好的風(fēng)險(xiǎn)評(píng)估方法。例如，能力評(píng)估，可以檢測(cè)前沿人工智能的潛在危險(xiǎn)；更好的AI設(shè)計(jì)方法可以為我們提供一些定量的安全保證（目前我們還沒(méi)有）；建立硬件化的AI芯片使用跟蹤、許可和驗(yàn)證機(jī)制，支持國(guó)際條約驗(yàn)證。

在治理和政治層面上，全球需要提高對(duì)AI風(fēng)險(xiǎn)的認(rèn)識(shí)，尤其是對(duì)災(zāi)難性風(fēng)險(xiǎn)的認(rèn)識(shí)。應(yīng)對(duì)這些風(fēng)險(xiǎn)的措施應(yīng)讓每個(gè)國(guó)家的每個(gè)人都團(tuán)結(jié)起來(lái)，因?yàn)槲覀兌际侨祟?lèi)，大多數(shù)人都希望看到自己的孩子過(guò)上好日子，人類(lèi)繼續(xù)繁榮昌盛。

另外，全球需要對(duì)開(kāi)發(fā)最強(qiáng)大AI系統(tǒng)的AI實(shí)驗(yàn)室進(jìn)行國(guó)家監(jiān)管，引入有關(guān)其AI安全計(jì)劃、工作和事故報(bào)告（包括舉報(bào)人保護(hù)）透明度，以及遵守國(guó)家和國(guó)際AI安全標(biāo)準(zhǔn)的激勵(lì)措施。

加利福尼亞州提出的SB-1047法案就是一個(gè)很好的例子。（注：該法案要求訓(xùn)練模型的公司在部署超過(guò)一億美元成本的大型模型前，進(jìn)行風(fēng)險(xiǎn)評(píng)估。Bengio等一群在計(jì)算機(jī)領(lǐng)域聲名顯赫的功勛學(xué)者教授們?cè)?月時(shí)曾聯(lián)名簽署公開(kāi)信，對(duì)此表示支持。他們聲稱這項(xiàng)立法是“有效監(jiān)管這項(xiàng)技術(shù)的最低標(biāo)準(zhǔn)”。）

NBD：您剛才提到國(guó)際條約，能再具體介紹一下嗎？

Bengio：關(guān)于AGI發(fā)展的國(guó)際條約，應(yīng)該包括幾個(gè)關(guān)鍵方面。

首先，各國(guó)需要強(qiáng)制執(zhí)行國(guó)家層面的監(jiān)管，盡管各國(guó)的具體監(jiān)管方式可能有所不同，但所有措施都必須以保護(hù)公眾和全人類(lèi)免受災(zāi)難性風(fēng)險(xiǎn)為基礎(chǔ)。

其次，這些條約還應(yīng)促進(jìn)全球范圍內(nèi)的財(cái)富重新分配，以確保AGI所創(chuàng)造的財(cái)富能夠惠及各國(guó)，特別是低收入和中等收入國(guó)家，從而激勵(lì)它們加入并遵守條約。

與此同時(shí)，各國(guó)應(yīng)在AI安全標(biāo)準(zhǔn)和研發(fā)方面加強(qiáng)國(guó)際合作，以統(tǒng)一和提升全球AI安全水平。

最后，這些條約還應(yīng)允許像聯(lián)合國(guó)這樣的中立全球機(jī)構(gòu)通過(guò)遠(yuǎn)程跟蹤和驗(yàn)證技術(shù)，對(duì)與全球?yàn)?zāi)難性風(fēng)險(xiǎn)相關(guān)的條約執(zhí)行情況進(jìn)行監(jiān)督和核實(shí)，以確保全球合作的有效性和公正性。

記者|鄭雨航 岳楚鵬（實(shí)習(xí)）

編輯|段煉 蘭素英 杜恒峰

校對(duì)|王月龍

｜每日經(jīng)濟(jì)新聞 ?nbdnews??原創(chuàng)文章｜

未經(jīng)許可禁止轉(zhuǎn)載、摘編、復(fù)制及鏡像等使用