實(shí)現(xiàn)自然的人機(jī)交互 微軟將ChatGPT應(yīng)用于機(jī)器人

每經(jīng)記者 鄭雨航    每經(jīng)編輯 蘭素英    

“你有沒(méi)有想過(guò)，你只需告訴你的家庭助理機(jī)器人：‘請(qǐng)加熱我的午餐’，它就會(huì)自己找到微波爐。這是不是很神奇？”

近日，微軟在其官網(wǎng)發(fā)表了一篇名為《機(jī)器人 ChatGPT：設(shè)計(jì)原則和模型能力（ChatGPT for Robotics：Design Principles and Model Abilities）》論文，公布了他們正在把ChatGPT應(yīng)用于機(jī)器人上的研究成果。

文中稱(chēng)，這項(xiàng)研究的目標(biāo)是觀察ChatGPT是否可以超越文本思考，并對(duì)物理世界進(jìn)行推理來(lái)幫助完成機(jī)器人任務(wù)。人類(lèi)目前仍然嚴(yán)重依賴(lài)手寫(xiě)代碼來(lái)控制機(jī)器人。該團(tuán)隊(duì)一直在探索如何改變這一現(xiàn)實(shí)，并使用OpenAI的新人工智能語(yǔ)言模型ChatGPT實(shí)現(xiàn)自然的人機(jī)交互。

研究人員希望ChatGPT能夠幫助人們更輕松地與機(jī)器人互動(dòng)，而無(wú)需學(xué)習(xí)復(fù)雜的編程語(yǔ)言或有關(guān)機(jī)器人系統(tǒng)的詳細(xì)信息。其中的關(guān)鍵難題就是教ChatGPT如何使用物理定律、操作環(huán)境的背景以及了解機(jī)器人的物理行為如何改變世界狀態(tài)，并以此來(lái)解決指定的任務(wù)。

針對(duì)微軟的此項(xiàng)研究，倫敦大學(xué)學(xué)院（UCL）名譽(yù)教授和計(jì)算機(jī)科學(xué)家彼得·本特利博士（Dr。Peter John Bentley）在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)表示，人類(lèi)在未來(lái)用AI工具如ChatGPT來(lái)控制機(jī)器人是完全可行的路徑。

但他同時(shí)強(qiáng)調(diào)，就目前而言，ChatGPT還存在很多漏洞，在功能性、保障性，以及安全性上缺乏基本的能力。

日前，微軟發(fā)布了新版必應(yīng)（Bing）互聯(lián)網(wǎng)搜索引擎和Edge瀏覽器，這些瀏覽器由ChatGPT制造商O(píng)penAI的最新技術(shù)提供支持。圖為一名工作人員在演示基于人工智能的微軟必應(yīng)搜索引擎和Edge瀏覽器 視覺(jué)中國(guó)圖

ChatGPT如何控制機(jī)器人

ChatGPT是一種基于大量文本和人類(lèi)交互語(yǔ)料庫(kù)而訓(xùn)練的語(yǔ)言模型，使其能夠?qū)Ω鞣N提示和問(wèn)題生成連貫且語(yǔ)法正確的響應(yīng)。

研究人員在該文章中表示，當(dāng)前的機(jī)器人運(yùn)轉(zhuǎn)始于工程師或技術(shù)用戶(hù)，他們需要將任務(wù)的要求轉(zhuǎn)換為系統(tǒng)代碼。工程師在機(jī)器人運(yùn)轉(zhuǎn)的循環(huán)中，需要編寫(xiě)新的代碼和規(guī)范來(lái)糾正機(jī)器人的行為?？偟膩?lái)說(shuō)，這個(gè)過(guò)程緩慢、昂貴且低效，因?yàn)椴粌H需要具有深厚機(jī)器人知識(shí)的高技能用戶(hù)，而且需要用戶(hù)參與多次交互才能使機(jī)器人正常工作。

而ChatGPT解鎖了一種新的機(jī)器人范式，并允許潛在的非技術(shù)用戶(hù)在循環(huán)中，在監(jiān)控機(jī)器人性能的同時(shí)向大型語(yǔ)言模型（LLM）提供高級(jí)反饋。

通過(guò)遵循設(shè)計(jì)者的設(shè)計(jì)原則，ChatGPT 可以為機(jī)器人場(chǎng)景生成代碼。在無(wú)需任何微調(diào)的情況下，人們就可以利用LLM的知識(shí)來(lái)控制各種任務(wù)的不同機(jī)器人外形。通過(guò)反復(fù)試驗(yàn)，微軟的研究人員構(gòu)建了一種方法和設(shè)計(jì)原則，專(zhuān)門(mén)為機(jī)器人任務(wù)編寫(xiě)提示：

首先，定義一組高級(jí)機(jī)器人 API 或函數(shù)庫(kù)。該庫(kù)可以針對(duì)特定的機(jī)器人類(lèi)型進(jìn)行設(shè)計(jì)，并且應(yīng)該從機(jī)器人的控制?；蚋兄獛?kù)映射到現(xiàn)有的低層次具體實(shí)現(xiàn)。為高級(jí) API 使用描述性名稱(chēng)非常重要，這樣 ChatGPT 就可以推理它們的行為。

接下來(lái)，為 ChatGPT 編寫(xiě)一個(gè)文本提示，描述任務(wù)目標(biāo)，同時(shí)明確說(shuō)明高級(jí)庫(kù)中的哪些函數(shù)可用。提示還可以包含有關(guān)任務(wù)約束的信息，或者 ChatGPT 應(yīng)該如何組織它的答案，包括使用特定的編程語(yǔ)言，或使用輔助解析組件等。

再次是，用戶(hù)通過(guò)直接檢查或使用模擬器來(lái)評(píng)估 ChatGPT 的代碼輸出。如果需要，用戶(hù)使用自然語(yǔ)言向 ChatGPT 提供有關(guān)答案質(zhì)量和安全性的反饋。

最后，當(dāng)用戶(hù)對(duì)解決方案感到滿(mǎn)意時(shí)，就可以將最終的代碼部署到機(jī)器人上。

ChatGPT+機(jī)器人將帶來(lái)什么

文章中，微軟的研究團(tuán)隊(duì)展示了在人們的工作中，ChatGPT解決機(jī)器人難題的多個(gè)示例，以及在操縱無(wú)人機(jī)和導(dǎo)航領(lǐng)域的復(fù)雜機(jī)器人部署。

研究人員讓 ChatGPT 訪問(wèn)控制一臺(tái)真正的無(wú)人機(jī)的全部功能，事實(shí)證明，非技術(shù)用戶(hù)和機(jī)器人之間可以用非常直觀且基于自然語(yǔ)言的交流。

當(dāng)用戶(hù)的指令模棱兩可時(shí)，ChatGPT會(huì)提出澄清問(wèn)題，并為無(wú)人機(jī)編寫(xiě)復(fù)雜的代碼結(jié)構(gòu)，例如飛行之字（zig-zag）圖案，以便可視化地檢查貨架；甚至還能給用戶(hù)來(lái)一張自拍。

研究人員要求 ChatGPT 編寫(xiě)一個(gè)算法，讓無(wú)人機(jī)在不撞上障礙物的情況下，在空中達(dá)到目標(biāo)。研究人員告訴該模型，這架無(wú)人機(jī)有一個(gè)前向距離傳感器，ChatGPT立即為算法編碼了大部分關(guān)鍵構(gòu)建塊。

研究人員表示，這項(xiàng)任務(wù)需要人類(lèi)進(jìn)行一些對(duì)話，但ChatGPT 僅使用自然語(yǔ)言反饋進(jìn)行本地化代碼改進(jìn)的能力給他們留下了深刻的印象。

微軟的研究人員還在模擬的工業(yè)檢測(cè)場(chǎng)景中使用了ChatGPT，并使用了Microsoft AirSim模擬器，該模型能夠有效地解析用戶(hù)的高級(jí)意圖和幾何線索，以準(zhǔn)確控制無(wú)人機(jī)。

當(dāng)把ChatGPT用于機(jī)械臂的操作場(chǎng)景時(shí)，研究者使用對(duì)話反饋來(lái)教模型如何將最初提供的 API 組合成更復(fù)雜的高級(jí)函數(shù)，即，ChatGPT自己內(nèi)部編碼的函數(shù)。使用基于課程的策略，該模型能夠?qū)⑦@些學(xué)到的技能邏輯地鏈接在一起，以執(zhí)行堆疊塊等操作。

此外，該模型還展示了一個(gè)有趣的示例，即在用木塊構(gòu)建微軟logo時(shí)橋接文本域和物理域。ChatGPT不僅能夠從其內(nèi)部知識(shí)庫(kù)中調(diào)用微軟的logo，還能夠用SVG的代碼“繪制”這個(gè)logo，然后利用上面學(xué)到的技能來(lái)確定現(xiàn)有的機(jī)器人動(dòng)作和可以組成它的物理形式。

談及微軟在論文中的演示示例，本特利博士告訴《每日經(jīng)濟(jì)新聞》記者，“微軟已經(jīng)展示了一些簡(jiǎn)單的操作，ChatGPT可以用來(lái)生成計(jì)算機(jī)代碼，這些代碼可以控制機(jī)器人，所以用ChatGPT來(lái)控制機(jī)器人是完全可行的方案。”。

但本特利博士認(rèn)為，在現(xiàn)階段來(lái)說(shuō)，ChatGPT雖然能夠生成計(jì)算機(jī)代碼，但機(jī)器人控制的問(wèn)題在于，計(jì)算機(jī)代碼可能需要為特定的硬件量身定制才能正常工作。ChatGPT目前使用的是它已經(jīng)學(xué)習(xí)到的代碼示例，它（ChatGPT）或許并不兼容最新的硬件。

“所以，ChatGPT不太可能與人類(lèi)開(kāi)發(fā)人員相提并論。它只是提供了一個(gè)簡(jiǎn)單的捷徑，可以幫助人們學(xué)習(xí)基礎(chǔ)知識(shí)，但它缺乏作為開(kāi)發(fā)人員的基本能力。”

ChatGPT輸出內(nèi)容仍需評(píng)估

研究人員在該文中表示，在做某事（行動(dòng)）之前能夠感知世界是打造機(jī)器人系統(tǒng)的基礎(chǔ)。因此，他們決定測(cè)試 ChatGPT 對(duì)這個(gè)概念的理解，并要求它探索一個(gè)環(huán)境，直到找到用戶(hù)指定的對(duì)象。研究者允許模型訪問(wèn)對(duì)象檢測(cè)和對(duì)象距離 API 等功能，并驗(yàn)證它生成的代碼是否成功實(shí)現(xiàn)了感知-操作循環(huán)（Perception- action loops）。

在實(shí)驗(yàn)角色中，研究者進(jìn)行了額外的實(shí)驗(yàn)，以評(píng)估ChatGPT是否能夠根據(jù)傳感器實(shí)時(shí)反饋決定機(jī)器人應(yīng)該去哪里，而不是讓ChatGPT生成一個(gè)代碼循環(huán)來(lái)做出這些決定。有趣的是，結(jié)果驗(yàn)證了人們可以在聊天的每一步提供相機(jī)圖像的文本描述，并且ChatGPT模型能夠弄清楚如何在機(jī)器人到達(dá)特定物體之前控制它。

該文稱(chēng)，微軟發(fā)布這些技術(shù)的目的是將機(jī)器人技術(shù)推廣到更廣泛的受眾，研究人員相信，基于語(yǔ)言的機(jī)器人控制系統(tǒng)是把機(jī)器人從科學(xué)實(shí)驗(yàn)室?guī)У饺粘Ｓ脩?hù)手中的基礎(chǔ)。

但是，微軟的研究者也表示，ChatGPT 的輸出不應(yīng)該在沒(méi)有仔細(xì)分析的情況下直接部署在機(jī)器人上。通過(guò)在模擬環(huán)境中獲得實(shí)驗(yàn)結(jié)果，能夠在未來(lái)現(xiàn)實(shí)部署之前對(duì)算法進(jìn)行評(píng)估，并采取必要的安全預(yù)防措施。

本特利博士對(duì)此表示認(rèn)同，他向《每日經(jīng)濟(jì)新聞》記者進(jìn)一步解釋稱(chēng)，就目前而言，ChatGPT還存在很多漏洞，在功能性、保障性，以及安全性上缺乏基本的能力。

“例如，ChatGPT可以編寫(xiě)計(jì)算機(jī)代碼，但它不能做任何測(cè)試，也不知道它輸出的代碼運(yùn)行起來(lái)是否有效。研究人員需要更好的反饋循環(huán)，以便測(cè)試結(jié)果在改進(jìn)的代碼中，否則ChatGPT的輸出可能仍然是不合適的（不安全、或不能工作）。”

封面圖片來(lái)源：視覺(jué)中國(guó)