對話圖靈獎得主、“AI教父”約書亞·本吉奧：防范AI失控，需要類似核武器監(jiān)管的國際條約

每經(jīng)記者 鄭雨航 實習記者 岳楚鵬    每經(jīng)編輯 蘭素英    

人工智能（AI）浪潮正以前所未有的速度重塑世界，隨之而來的安全和倫理問題也日益受到關注。

8月底，AI巨頭OpenAI和Anthropic與美國AI安全研究所達成了一項歷史性協(xié)議，允許美國政府在其發(fā)布全新的重要AI模型之前先進行嚴格的安全測試。

針對這兩家領先的AI初創(chuàng)公司所達成的協(xié)議以及AI領域的安全和未來發(fā)展問題，《每日經(jīng)濟新聞》記者（以下簡稱NBD）專訪了圖靈獎獲得者、被稱為“AI教父”的加拿大計算機科學家約書亞·本 吉 奧（Yoshua Bengio）。2024年，約書亞·本吉奧入選《時代》雜志全球100位最具影響力人物年度榜單。

確保AI安全須解決兩挑戰(zhàn)

NBD：您如何看待最近OpenAI和Anthropic與美國AI安全研究所的合作？這是否會成為AI治理方面的一種更廣泛趨勢？

Bengio：除OpenAI和Anthropic外，還有其他公司已經(jīng)承諾與英國政府的AI安全研究所私下分享他們的最新模型。考慮到OpenAI和Anthropic都是美國公司，他們對美國政府采取同樣的做法也是理所應當?shù)摹?/p>

NBD：要確保AI系統(tǒng)的安全開發(fā)和部署，尤其是在企業(yè)和政府合作的情況下，您認為需要解決哪些最關鍵的挑戰(zhàn)？

Bengio：站在更高的角度看，我們需要解決兩個挑戰(zhàn)。

首先是技術層面，我們需要開發(fā)能夠在AGI（通用人工智能，相當于普通人類水平）或ASI（超級人工智能，即超越人類水平）階段仍然有效的安全技術，包括對危險能力的評估、檢測和緩解，以及設計可控且保證安全的AI系統(tǒng)。

其次是政治層面，我們需要全球范圍內(nèi)的協(xié)調(diào)，以確保所有國家和公司在開發(fā)最強大的AI系統(tǒng)時，遵循最佳的安全實踐，避免人類失去控制的災難性后果。并且，要達成最佳的安全和治理協(xié)議，以確保某些人不會濫用AGI的力量為自己謀利，而犧牲其他許多人的利益。

NBD：在您看來，促進AI治理國際合作的最有效方法是什么？

Bengio：國際協(xié)調(diào)對于避免未來幾年或幾十年人類可能面臨的兩種最危險情況至關重要：一是少數(shù)人將通過控制ASI來控制全人類；二是人類失去對ASI的控制，而ASI的目標是自我保護（這可能與人類目標相沖突并導致人類滅絕），從而危及人類的生存。

為了避免這些情況，必須讓世界各地的更多人和政府了解這些風險。我們需要類似于核武器（監(jiān)管）條約的國際條約。而考慮到各國/地區(qū)之間的軍事和地緣政治競爭，必須要有足夠的驗證技術（來證明其危險），促進條約的有效實施，我認為只要專注這方面發(fā)展，幾年內(nèi)是可以實現(xiàn)的。

AI安全不能靠企業(yè)“自覺”

NBD：您如何看待學術研究對AI治理行業(yè)的影響或指導作用？可以采取哪些措施來加強研究與實際實施之間的聯(lián)系？

Bengio：在AI安全方面，企業(yè)之間存在著內(nèi)在的利益沖突。它們之間競爭激烈，為了生存，它們不得不在安全方面偷工減料，以犧牲公共安全為代價，在商業(yè)上取得領先地位。它們有動機隱瞞風險和事故，并拒絕監(jiān)管。因此，必須有一大批獨立學者參與AI安全研究以及前沿AI系統(tǒng)的評估和審計。

NBD：展望未來，在技術快速進步的背景下，您認為有哪些額外的研究或舉措可以進一步推進AI的安全和治理？

Bengio：在科學技術層面上，我們需要更好的風險評估方法。在治理和政治層面上，全球需要提高對AI風險的認識，尤其是對災難性風險的認識。另外，全球需要對開發(fā)最強大AI系統(tǒng)的AI實驗室進行國家監(jiān)管，引入有關其AI安全計劃、工作和事故報告透明度等。