歐洲科學(xué)院外籍院士焦李成：GPT很偉大，但并不完美

每經(jīng)記者 楊煜    實習(xí)生 張藝?yán)?nbsp;   每經(jīng)編輯 張海妮    

今日（4月8日），由中國人工智能學(xué)會主辦的“人工智能大模型技術(shù)高峰論壇”主論壇在杭州蕭山啟幕。論壇上，歐洲科學(xué)院外籍院士、俄羅斯自然科學(xué)院外籍院士焦李成發(fā)表演講。

焦李成指出，ChatGPT的成功離不開Transformer模型和基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）的方法，其過程包括以下四個關(guān)鍵技術(shù)點(diǎn)。具體來看，ChatGPT的關(guān)鍵技術(shù)1在于，Transformer的強(qiáng)大表征能力為GPT的成功起到關(guān)鍵作用；ChatGPT的關(guān)鍵技術(shù)2在于獎勵模型，即可根據(jù)人類偏好校準(zhǔn)生成獎勵模型（RM），并對GPT模型的“回答”進(jìn)行評分優(yōu)化；ChatGPT的關(guān)鍵技術(shù)3在于強(qiáng)化學(xué)習(xí)的原理及基本思想；ChatGPT的關(guān)鍵技術(shù)4在于提示學(xué)習(xí)方法。

同時，焦李成強(qiáng)調(diào)，GPT很偉大，但GPT并不完美。盡管ChatGPT取得了不錯的進(jìn)展，但它仍處于發(fā)展初期，依然存在訓(xùn)練時間長、資源消耗高、準(zhǔn)確性有待提高、容易存在誤導(dǎo)性、生成結(jié)果的一致性、對話歷史長度限制、多語言支持、風(fēng)格和語氣的控制、創(chuàng)新性有待提升等技術(shù)特點(diǎn)與局限。