浙江大學(xué)人工智能研究所所長吳飛：ChatGPT的訓(xùn)練門檻是1萬張英偉達(dá)V100芯片、約10億人民幣

每經(jīng)記者 楊煜     實(shí)習(xí)生 張藝?yán)?nbsp;   每經(jīng)編輯 張海妮    

今日（4月8日），由中國人工智能學(xué)會(huì)主辦的“人工智能大模型技術(shù)高峰論壇”主論壇在杭州蕭山啟幕。論壇上，CAAI教育工委會(huì)主任、浙江大學(xué)人工智能研究所所長、求是特聘教授、國家杰青獲得者吳飛發(fā)表演講。

吳飛教授作了《從ChatGPT到GPT-4的分析與思考》主題報(bào)告，他指出，在ChatGPT的技術(shù)路線中，數(shù)據(jù)是燃料、模型是引擎、算力是加速器。

具體而言，數(shù)據(jù)方面，訓(xùn)練中使用了45TB數(shù)據(jù)、近1萬億個(gè)單詞（約1351萬本牛津詞典所包含單詞數(shù)量）以及數(shù)十億行源代碼。模型方面，包含了1750億參數(shù)，將這些參數(shù)全部打印在A4紙張上，一張一張疊加后，疊加高度將超過上海中心大廈632米高度。算力方面， ChatGPT的訓(xùn)練門檻是1萬張英偉達(dá)V100芯片、約10億人民幣，模型訓(xùn)練算力開銷是每秒運(yùn)算一千萬億次，需運(yùn)行3640天（3640 PetaFLOPs per day ）。

吳飛表示，ChatGPT和GPT-4中以“共生則關(guān)聯(lián)”為核心的概率統(tǒng)計(jì)模型，體現(xiàn)了“計(jì)算獨(dú)大、表示豐富和機(jī)理式微”的特點(diǎn)，這也反映了計(jì)算機(jī)所體現(xiàn)的“試錯(cuò)與暴力”優(yōu)勢(shì)。吳飛還在報(bào)告中分析了GPT所包含1750億參數(shù)的涌現(xiàn)了合成能力，是多者異也的結(jié)果。吳飛表示：“我們不僅需要善于制造工具，還要善于去利用ChatGPT這個(gè)工具開創(chuàng)更加美好的時(shí)代，因?yàn)樵谌撕腿嗽煳飬f(xié)同共長的時(shí)代，人有人的作用。”