五大維度評(píng)測(cè)OpenAI全新o1模型：代碼編寫、游戲制作等能力“驚艷”，事實(shí)性知識(shí)卻“翻了車”

每經(jīng)記者 鄭雨航    每經(jīng)實(shí)習(xí)記者 岳楚鵬    每經(jīng)編輯 蘭素英    

傳說中的“草莓”模型今天在沒有任何預(yù)告下忽然上線了！

OpenAI最新發(fā)布的模型名為o1，是系列推理模型的首批版本，現(xiàn)階段推出的是o1-preview（預(yù)覽版）和o1-mini（迷你版）。

目前，o1-preview和o1-mini已經(jīng)面向ChatGPT Plus和Team訂閱用戶開放，而Enterprise和Edu用戶將于下周初獲得訪問權(quán)限。OpenAI表示，它計(jì)劃向ChatGPT的所有免費(fèi)用戶提供o1-mini訪問權(quán)限，但尚未確定發(fā)布日期。

據(jù)OpenAI介紹，在解決問題的能力方面，o1模型比以往任何模型都更接近人類思維，并且能夠“推理”數(shù)學(xué)、編碼和科學(xué)任務(wù)。

為了驗(yàn)證新模型的能力是否正如OpenAI所宣稱的那么強(qiáng)大，《每日經(jīng)濟(jì)新聞》記者從經(jīng)典“草莓測(cè)試”、代碼編寫、小游戲制作、數(shù)學(xué)與經(jīng)濟(jì)學(xué)，以及事實(shí)性知識(shí)這五大維度對(duì)o1-preview模型進(jìn)行了測(cè)試。

結(jié)果顯示，o1-preview表現(xiàn)出了超越OpenAI之前發(fā)布的大模型的編程和數(shù)學(xué)推理能力。例如，o1-preview能夠編寫出流暢運(yùn)行的代碼，并且在復(fù)雜環(huán)境中依然能夠自行推理出解決方案。而且，記者在測(cè)試過程中也感覺到，o1-preview在人性化方面也有很大的提升，表現(xiàn)出了真人般的思考。不過，新模型也并非毫無缺點(diǎn)，在事實(shí)性知識(shí)測(cè)試就“翻車”了。 

傳說中的“草莓”來了 

當(dāng)?shù)貢r(shí)間9月12日，OpenAI發(fā)布了一款名為o1的新模型，這是其計(jì)劃中一系列“推理”模型中的第一個(gè)版本，也是此前業(yè)界盛傳已久的“草莓”模型。 

圖片來源：X平臺(tái)

對(duì)于OpenAI來說，o1代表著它朝著類人AI的目標(biāo)又邁出了一步。OpenAI認(rèn)為，o1代表著一種全新的能力，這一能力被認(rèn)為如此重要，以至于公司決定從當(dāng)前的GPT-4模型重新開始，完全放棄了“GPT”品牌，從1開始命名。 

OpenAI表示，將從當(dāng)前的GPT-4模型重新開始，“將計(jì)數(shù)器重置為 1”，甚至放棄了迄今為止定義了聊天機(jī)器人乃至整個(gè)生成式AI熱潮的“GPT”品牌。o1建立了一個(gè)能夠通過一系列離散步驟，謹(jǐn)慎而合乎邏輯地解決問題的系統(tǒng)，每個(gè)步驟都建立在上一個(gè)步驟的基礎(chǔ)上，類似于人類的推理方式。

OpenAI首席科學(xué)家Jakub Pachocki表示，之前的模型在收到用戶問詢時(shí)會(huì)立即開始回答。“而這個(gè)模型（指的是o1）會(huì)慢慢來。它思考問題，并嘗試分解問題，尋找角度，努力提供最佳答案。”這就像大多數(shù)人在幼年時(shí)被父母所要求的那樣，先想好再說話。

OpenAI表示，o1在競(jìng)賽編程問題（Codeforces）中排名第89個(gè)百分點(diǎn)，在美國(guó)數(shù)學(xué)奧林匹克競(jìng)賽（AIME）預(yù)選賽中位列美國(guó)前500名學(xué)生之列，并且在物理、生物和化學(xué)問題的基準(zhǔn)測(cè)試（GPQA）中超過了人類博士水平的準(zhǔn)確度。

在OpenAI發(fā)布的研究和博客文章中，o1看起來“推理”能力十分強(qiáng)大，不僅可解決高級(jí)數(shù)學(xué)和編碼問題，還能解密復(fù)雜的密碼，以及解答來自專家學(xué)者們關(guān)于遺傳學(xué)、經(jīng)濟(jì)學(xué)和量子物理學(xué)的復(fù)雜問題。大量圖表顯示，在內(nèi)部評(píng)估中，o1在編碼、數(shù)學(xué)和各個(gè)科學(xué)領(lǐng)域的問題上已經(jīng)超越了公司最先進(jìn)的語言模型GPT-4o，甚至可能超越了人類。

                            圖片來源：OpenAI官網(wǎng)

五大維度實(shí)測(cè)：代碼編寫、游戲制作等能力“驚艷”，但“栽”在了事實(shí)性知識(shí)測(cè)試

為了深入了解o1模型的強(qiáng)大能力，《每日經(jīng)濟(jì)新聞》記者從經(jīng)典草莓測(cè)試、代碼編寫、小游戲制作、數(shù)學(xué)與經(jīng)濟(jì)學(xué)，以及事實(shí)性知識(shí)這五大維度對(duì)o1-preview模型進(jìn)行了測(cè)試。 

1）草莓測(cè)試

首先，記者用之前幾乎所有大模型都“翻車”的一道簡(jiǎn)單題目進(jìn)行了測(cè)試，即“單詞strawberry里面到底有幾個(gè)r”。從生成的結(jié)果看，o1-preview還是帶來了一點(diǎn)小驚喜的。

2）代碼編寫

記者首先向o1-preview詢問了一個(gè)在線編程平臺(tái)leetcode里最有名的簡(jiǎn)單算法題：Two Sum（兩數(shù)之和）問題。o1給出了很詳盡的推理過程和答案。

隨后記者故意要求優(yōu)化答案，o1在思考9秒后意識(shí)到自己提供的已經(jīng)是最優(yōu)解法了，并就此進(jìn)行了說明，另外還很“貼心”地提供了一個(gè)次優(yōu)解。而在之前記者對(duì)其他模型的測(cè)試中，這些模型只會(huì)道歉然后將答案更改為次優(yōu)解。

3）小游戲制作

在o1模型的演示中，OpenAI演示過“用一句話編寫小游戲”的功能。測(cè)試過程中，記者讓o1-preview幫忙介紹好用的代碼工具，并協(xié)助編寫一個(gè)乒乓小游戲。

o1-preview僅用了19秒就給出了一份能夠流暢運(yùn)行的代碼，并且附上了學(xué)習(xí)指南和鼓勵(lì)的話語，非常地人性化。

為避免o1-preview作弊，使用的是記憶能力，而不是使用推理能力進(jìn)行回答，記者還請(qǐng)求o1-preview更換了一個(gè)代碼運(yùn)行環(huán)境：jupyter note。這一運(yùn)行環(huán)境是針對(duì)數(shù)據(jù)分析進(jìn)行特化的python環(huán)境，開發(fā)人員基本不會(huì)使用此環(huán)境開發(fā)小游戲。

經(jīng)過思考后，o1依然給出了一個(gè)可以運(yùn)行的代碼。不過，相較于之前的代碼，這份答案有著不少的bug，但這也從側(cè)面說明這確實(shí)是思考出來的答案，而不是訓(xùn)練過程中加入的標(biāo)準(zhǔn)答案。

為進(jìn)一步驗(yàn)證o1-preview的創(chuàng)新推理能力，記者隨后又要求模型在這個(gè)小游戲的基礎(chǔ)上開發(fā)一個(gè)更復(fù)雜有趣的小游戲。

這下，o1的表現(xiàn)真的有點(diǎn)驚喜。根據(jù)乒乓游戲的碰撞機(jī)制，該模型自行迭代出了一個(gè)向上登高的跳躍游戲。一般其他大模型需要用戶把需求描述清楚才會(huì)輸出一個(gè)比較好的答案，但記者在這次測(cè)試中沒有進(jìn)行任何的額外提示，o1就輸出了一個(gè)能流暢運(yùn)行，并且在記者眼中看來也足夠有趣的小游戲。

4）科學(xué)類測(cè)試

在科學(xué)類測(cè)試方面，記者重點(diǎn)測(cè)試了o1-preview在數(shù)學(xué)和經(jīng)濟(jì)學(xué)上的表現(xiàn)。

首先，記者拋出的是一個(gè)數(shù)學(xué)推理問題，向o1-preview詢問解決歐拉方程有限時(shí)間爆破的可能方法（這是著名華裔數(shù)學(xué)家、菲爾茲獎(jiǎng)得主陶哲軒教授本周才發(fā)表的討論文章）。

o1雖然沒有給出明確解法，但卻提供了一個(gè)解題思路，這一思路和陶哲軒教授文章部分吻合（雖然很少）。

經(jīng)濟(jì)學(xué)方向上，記者向o1-preview詢問了一個(gè)復(fù)雜的經(jīng)濟(jì)系統(tǒng)問題。從給出的反饋看，基本沒有什么太大的問題，整體邏輯清晰，思考維度也是多樣化的，給出的數(shù)學(xué)公式雖然有一點(diǎn)小差錯(cuò)但是無傷大體。

5）事實(shí)性知識(shí)與語言理解

在這一環(huán)節(jié)，記者向o1-preview詢問了明朝第一任皇帝的趣事，但o1就將趣事理解成了歷史上實(shí)際發(fā)生過的事情，將朱元璋的歷史故事整個(gè)敘述了出來。

同時(shí)，記者也將這一問題丟給了GPT-4o模型，作為對(duì)比，GPT-4o能很好地理解記者的問題，并講了兩個(gè)流傳很廣的民間小故事。

總體來看，OpenAI宣稱o1模型能接近人類水平在某些方面上看起來并不是虛話。

最讓記者驚喜的是，OpenAI將模型思考的過程用文字展示給了用戶，文字思考過程中，大模型大量使用了“我正在”“我認(rèn)為”“我打算”等話語，感覺更加擬人化，就像一個(gè)真人在用戶面前闡述自己的思考邏輯一般。

但這也并不意味著o1模型就是完美的。OpenAI也承認(rèn)，在設(shè)計(jì)、寫作、編輯文字等方面上，o1遠(yuǎn)不如GPT-4o。o1也沒有瀏覽網(wǎng)頁或處理文件和圖像的能力。

而最讓記者感到頭疼的是，即使是一個(gè)很簡(jiǎn)單的請(qǐng)求，比如說將輸出結(jié)果轉(zhuǎn)換為中文，o1都會(huì)消耗十幾秒鐘的時(shí)間來思考，而GPT4o就會(huì)很快處理好這一請(qǐng)求。

就算在OpenAI的優(yōu)勢(shì)領(lǐng)域中，o1模型也會(huì)突然出現(xiàn)性能下降，模型輸出懶惰的情況。已離職的OpenAI創(chuàng)始人Karpathy就吐槽道：“它一直拒絕為我解決黎曼假說。模型懶惰仍然是一個(gè)主要問題。”

OpenAI表示，公司會(huì)在之后的更新中解決這些問題，畢竟現(xiàn)在這只是推理模型的早期預(yù)覽。