對話圖靈獎得主、“AI教父”Yoshua Bengio：AI安全不能靠企業(yè)“自覺”，防范AI失控需要類似核武器監(jiān)管的國際條約

NBD：要確保AI系統(tǒng)的安全開發(fā)和部署，尤其是在企業(yè)和政府合作的情況下，您認為需要解決哪些最關(guān)鍵的挑戰(zhàn)？

Bengio：站在更高的角度看，我們需要解決兩個挑戰(zhàn)。

首先是技術(shù)層面，我們需要開發(fā)能夠在AGI（通用人工智能，相當(dāng)于普通人類水平）或ASI（超級人工智能，即超越人類水平）階段仍然有效的安全技術(shù)，包括對危險能力的評估、檢測和緩解，以及設(shè)計可控且保證安全的AI系統(tǒng)。

其次是政治層面，我們需要全球范圍內(nèi)的協(xié)調(diào)，以確保所有國家和公司在開發(fā)最強大的AI系統(tǒng)時，遵循最佳的安全實踐，避免人類失去控制的災(zāi)難性后果。并且，要達成最佳的安全和治理協(xié)議，以確保某些人不會濫用AGI的力量為自己謀利，而犧牲其他許多人的利益。

NBD：不同地區(qū)在監(jiān)管方式上也會有所不同，在您看來，促進AI治理國際合作的最有效方法是什么？

Bengio：國際協(xié)調(diào)對于避免未來幾年或幾十年人類可能面臨的兩種最危險情況至關(guān)重要：一是權(quán)力集中于少數(shù)人手中，他們將通過控制ASI來控制全人類；二是人類失去對ASI的控制，而ASI的目標(biāo)是自我保護（這可能與人類目標(biāo)相沖突并導(dǎo)致人類滅絕），從而危及人類的生存。

為了避免這些情況，必須讓世界各地的更多人和政府了解這些風(fēng)險。我們需要類似于核武器（監(jiān)管）條約的國際條約。而考慮到各國/地區(qū)之間的軍事和地緣政治競爭，必須要有足夠的驗證技術(shù)（來證明其危險），促進條約的有效實施，我認為只要專注這方面的發(fā)展，這是幾年內(nèi)是可以實現(xiàn)的。

AI安全不能靠企業(yè)“自覺”，“AI教父”提出三大關(guān)鍵舉措

NBD：您如何看待學(xué)術(shù)研究對AI治理行業(yè)的影響或指導(dǎo)作用？可以采取哪些措施來加強研究與實際實施之間的聯(lián)系？

Bengio：在AI安全方面，企業(yè)之間存在著內(nèi)在的利益沖突。它們之間競爭激烈，為了生存，它們不得不在安全方面偷工減料，以犧牲公共安全為代價，在商業(yè)上取得領(lǐng)先地位。它們有動機隱瞞風(fēng)險和事故，并拒絕監(jiān)管。因此，必須有一大批獨立學(xué)者參與AI安全研究以及前沿AI系統(tǒng)的評估和審計。

NBD：展望未來，在技術(shù)快速進步的背景下，您認為有哪些額外的研究或舉措可以進一步推進AI的安全和治理？

Bengio：在科學(xué)技術(shù)層面上，我們需要更好的風(fēng)險評估方法。例如，能力評估，可以檢測前沿人工智能的潛在危險；更好的AI設(shè)計方法可以為我們提供一些定量的安全保證（目前我們還沒有）；建立硬件化的AI芯片使用跟蹤、許可和驗證機制，支持國際條約驗證。

在治理和政治層面上，全球需要提高對AI風(fēng)險的認識，尤其是對災(zāi)難性風(fēng)險的認識。應(yīng)對這些風(fēng)險的措施應(yīng)讓每個國家的每個人都團結(jié)起來，因為我們都是人類，大多數(shù)人都希望看到自己的孩子過上好日子，人類繼續(xù)繁榮昌盛。

另外，全球需要對開發(fā)最強大AI系統(tǒng)的AI實驗室進行國家監(jiān)管，引入有關(guān)其AI安全計劃、工作和事故報告（包括舉報人保護）透明度，以及遵守國家和國際AI安全標(biāo)準(zhǔn)的激勵措施。

加利福尼亞州提出的SB-1047法案就是一個很好的例子。（注：該法案要求訓(xùn)練模型的公司在部署超過一億美元成本的大型模型前，進行風(fēng)險評估。Bengio等一群在計算機領(lǐng)域聲名顯赫的功勛學(xué)者教授們在8月時曾聯(lián)名簽署公開信，對此表示支持。他們聲稱這項立法是“有效監(jiān)管這項技術(shù)的最低標(biāo)準(zhǔn)”。）

NBD：您剛才提到國際條約，能再具體介紹一下嗎？

Bengio：關(guān)于AGI發(fā)展的國際條約，應(yīng)該包括幾個關(guān)鍵方面。

首先，各國需要強制執(zhí)行國家層面的監(jiān)管，盡管各國的具體監(jiān)管方式可能有所不同，但所有措施都必須以保護公眾和全人類免受災(zāi)難性風(fēng)險為基礎(chǔ)。

其次，這些條約還應(yīng)促進全球范圍內(nèi)的財富重新分配，以確保AGI所創(chuàng)造的財富能夠惠及各國，特別是低收入和中等收入國家，從而激勵它們加入并遵守條約。

與此同時，各國應(yīng)在AI安全標(biāo)準(zhǔn)和研發(fā)方面加強國際合作，以統(tǒng)一和提升全球AI安全水平。

最后，這些條約還應(yīng)允許像聯(lián)合國這樣的中立全球機構(gòu)通過遠程跟蹤和驗證技術(shù)，對與全球災(zāi)難性風(fēng)險相關(guān)的條約執(zhí)行情況進行監(jiān)督和核實，以確保全球合作的有效性和公正性。