重磅！類人速度超快語音響應(yīng)！OpenAI推出新旗艦?zāi)Ｐ虶PT-4o，圖文音頻手機(jī)AI搞定

每經(jīng)編輯 畢陸名

北京時(shí)間周二凌晨1點(diǎn)，自年初“文生視頻模型”Sora后許久未給市場帶來驚喜的OpenAI舉行春季發(fā)布會(huì)。公司首席技術(shù)官米拉·穆拉蒂（Mira Murati）向外界展現(xiàn)了多項(xiàng)與ChatGPT有關(guān)的更新。簡要來說，OpenAI的發(fā)布會(huì)主要干了兩件事情：發(fā)布最新GPT-4o多模態(tài)大模型，相較于GPT-4 Trubo速度更快、價(jià)格也更便宜。

第二件事情就是宣布，ChatGPT的免費(fèi)用戶也能用上最新發(fā)布的GPT-4o模型（更新前只能使用GPT-3.5），來進(jìn)行數(shù)據(jù)分析、圖像分析、互聯(lián)網(wǎng)搜索、訪問應(yīng)用商店等操作。這也意味著GPT應(yīng)用商店的開發(fā)者，將面對(duì)海量的新增用戶。

當(dāng)然，付費(fèi)用戶將會(huì)獲得更高的消息限制（OpenAI說至少是5倍）。當(dāng)免費(fèi)用戶用完消息數(shù)量后，ChatGPT將自動(dòng)切換到GPT-3.5。

另外，OpenAI將在未來1個(gè)月左右向Plus用戶推出基于GPT-4o改進(jìn)的語音體驗(yàn)，目前GPT-4o的API并不包含語音功能。蘋果電腦用戶將迎來一款為macOS設(shè)計(jì)的ChatGPT桌面應(yīng)用，用戶可以通過快捷鍵“拍攝”桌面并向ChatGP提問，OpenAI表示，Windows版本將在今年晚些時(shí)候推出。

值得一提的是，米拉·穆拉蒂在一次直播活動(dòng)中表示:“這是我們第一次在易用性方面真正向前邁出了一大步。”

圖片來源：視頻截圖

OpenAI由微軟支持，目前投資者對(duì)其估值已超過800億美元。該公司成立于2015年，目前正面臨在生成式AI市場保持領(lǐng)先地位的壓力，同時(shí)需要想方設(shè)法實(shí)現(xiàn)盈利，因?yàn)槠湓谔幚砥骱突A(chǔ)設(shè)施建設(shè)上投入了大量資金，以構(gòu)建和訓(xùn)練其模型。

實(shí)時(shí)口譯、讀取用戶情緒等

米拉·穆拉蒂強(qiáng)調(diào)了GPT-4o在實(shí)時(shí)語音和音頻功能方面必要的安全性，稱OpenAI將繼續(xù)部署迭代，帶來所有的功能。

在演示中，OpenAI研究主管Mark Chen掏出手機(jī)打開ChatGPT，用語音模式Voice Mode現(xiàn)場演示，向GPT-4o支持的ChatGPT征詢建議。GPT的聲音聽起來像一位美國女性，當(dāng)它聽到Chen過度呼氣時(shí)，它似乎從中察覺到了他的緊張。然后說“Mark，你不是吸塵器”，告訴Chen要放松呼吸。如果有些大變化，用戶可以中斷GPT，GPT-4o的延遲通常應(yīng)該不會(huì)超過兩三秒。

圖片來源：視頻截圖

另一項(xiàng)演示中，OpenAI的后訓(xùn)練團(tuán)隊(duì)負(fù)責(zé)人Barret Zoph在白板上寫了一個(gè)方程式3x+1=4，ChatGPT給他提示，引導(dǎo)他完成每一步解答，識(shí)別他的書寫結(jié)果，幫助他解出了X的值。這個(gè)過程中，GPT充當(dāng)了實(shí)時(shí)的數(shù)學(xué)老師。GPT能夠識(shí)別數(shù)學(xué)符號(hào)，甚至是一個(gè)心形。

圖片來源：視頻截圖

應(yīng)社交媒體X的用戶請(qǐng)求，米拉·穆拉蒂現(xiàn)場對(duì)ChatGPT說起了意大利語。GPT則將她的話翻譯成英語，轉(zhuǎn)告Zoph和Chen。聽完米拉·穆拉蒂說的意大利語，GPT翻譯為英文告訴Chen：“Mark，她（米拉·穆拉蒂）想知道鯨魚會(huì)不會(huì)說話，它們會(huì)告訴我們什么？”

圖片來源：視頻截圖

OpenAI稱，GPT-4o還可以檢測人的情緒。在演示中，Zoph將手機(jī)舉到自己面前正對(duì)著臉，要求ChatGPT告訴他自己長什么樣子。最初，GPT參考了他之前分享的一張照片，將他識(shí)別為“木質(zhì)表面”。經(jīng)過第二次嘗試，GPT給出了更好的答案。

GPT注意到了Zoph臉上的微笑，對(duì)他說:“看起來你感覺非?？鞓?，喜笑顏開。”有評(píng)論稱，這個(gè)演示顯示，ChatGPT可以讀取人類的情緒，但讀取還有一點(diǎn)困難。

圖片來源：視頻截圖

OpenAI的高管表示，GPT-4o可以與代碼庫交互，并展示了它根據(jù)一些數(shù)據(jù)分析圖表，根據(jù)看到的內(nèi)容對(duì)一張全球氣溫圖得出一些結(jié)論。OpenAI稱，基于GPT-4o的ChatGPT文本和圖像輸入功能將于本周一上線，語音和視頻選項(xiàng)將在未來幾周內(nèi)推出。

據(jù)外媒援引PitchBook的數(shù)據(jù)，2023年，近700筆生成式AI交易共投入創(chuàng)紀(jì)錄的291億美元，較上一年增長逾260%。據(jù)預(yù)測，該市場將在未來十年內(nèi)突破1萬億美元收入大關(guān)。業(yè)內(nèi)一些人對(duì)于未經(jīng)測試的新服務(wù)如此迅速地推向市場表示擔(dān)憂，而學(xué)術(shù)界和倫理學(xué)家則對(duì)這項(xiàng)技術(shù)傳播偏見的傾向感到憂慮。

ChatGPT自2022年11月推出以來，便打破了當(dāng)時(shí)最快增長消費(fèi)類應(yīng)用的歷史記錄，如今每周活躍用戶已接近1億。OpenAI表示，超過92%的《財(cái)富》500強(qiáng)企業(yè)都在使用該平臺(tái)。

圖片來源：CNBC報(bào)道截圖

在周一的活動(dòng)上，穆拉蒂表示，OpenAI希望“消除科技中的一些神秘感”。她還說，“未來幾周，我們將向所有人推出這些功能。”

在直播活動(dòng)結(jié)束時(shí)，穆拉蒂感謝了英偉達(dá)首席執(zhí)行官黃仁勛及其公司提供的必要圖形處理單元（GPU），這些GPU為OpenAI的技術(shù)提供了動(dòng)力。她說，“我只想感謝出色的OpenAI團(tuán)隊(duì)，同時(shí)也要感謝黃仁勛和英偉達(dá)團(tuán)隊(duì)為我們帶來最先進(jìn)的GPU，讓今天的演示成為可能。”

最快232毫秒響應(yīng)音頻輸入

OpenAI官網(wǎng)介紹，GPT-4o中的o代表意為全能的前綴omni，稱它向更自然的人機(jī)交互邁進(jìn)了一步，因?yàn)樗邮芪谋?、音頻和圖像的任意組合作為輸入內(nèi)容，并生成文本、音頻和圖像的任意組合輸出內(nèi)容。

圖片來源：OpenAI官網(wǎng)截圖

除了API的速度更快、成本大幅下降，OpenAI還提到，GPT-4o可以在最快232毫秒的時(shí)間內(nèi)響應(yīng)音頻輸入，平均響應(yīng)時(shí)間為320毫秒，這與人類在對(duì)話中的響應(yīng)時(shí)間相似。它在英語文本和代碼方面的性能與GPT-4 Turbo的性能一致，并且在非英語文本方面的性能有了顯著提高。

OpenAI介紹，與現(xiàn)有模型相比，GPT-4o在視覺和音頻理解方面尤其出色。以前GPT-3.5和GPT-4用戶以語音模式Voice Mode與ChatGPT對(duì)話的平均延遲時(shí)間為2.8秒和5.4秒，因?yàn)镺penAI用了三個(gè)獨(dú)立的模型實(shí)現(xiàn)這類對(duì)話：一個(gè)模型將音頻轉(zhuǎn)錄為文本，一個(gè)模型接收并輸出文本，再有一個(gè)模型將該文本轉(zhuǎn)換回音頻。這個(gè)過程意味著，GPT丟失了大量信息，它無法直接觀察音調(diào)、多個(gè)說話者或背景噪音，也無法輸出笑聲、歌唱或表達(dá)情感。

而GPT-4o的語音對(duì)話是OpenAI跨文本、視覺和音頻端到端訓(xùn)練一個(gè)新模型的產(chǎn)物，這意味著所有輸入和輸出都由同一神經(jīng)網(wǎng)絡(luò)處理。OpenAI稱，GPT-4o是其第一個(gè)結(jié)合所有這些模式的模型，因此仍然只是淺嘗輒止地探索該模型的功能及其局限性。

上周曾有消息稱，OpenAI將發(fā)布基于AI的搜索產(chǎn)品，但上周五OpenAI的CEO Sam Altman否認(rèn)了該消息，稱本周一演示的既不是GPT-5，也不是搜索引擎。這意味著OpenAI再一次沒有像市場爆料的時(shí)間線那樣推出AI搜索。此后有媒體稱，OpenAI的新產(chǎn)品可能是一個(gè)具備視覺和聽覺功能的全新多模態(tài)AI模型，且具有比目前聊天機(jī)器人更好的邏輯推理能力。

每日經(jīng)濟(jì)新聞綜合OpenAI官網(wǎng)、公開消息

免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構(gòu)成投資建議，使用前請(qǐng)核實(shí)。據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。

封面圖片來源：視頻截圖