每日經(jīng)濟新聞 2024-11-17 18:39:33
根據(jù)月之暗面的介紹,k0-math模型采用了全新的強化學習和思維鏈推理技術,這也是業(yè)內(nèi)普遍認為OpenAI o1系列的技術關鍵所在,行業(yè)范式也在因此發(fā)生著改變。
每經(jīng)記者 楊昕怡 每經(jīng)編輯 張海妮
正如這家公司的名字一般,月之暗面,總是一個令人好奇的存在。11月16日下午,在Kimi Chat上線一周年之際,公司創(chuàng)始人楊植麟罕見現(xiàn)身,在多家媒體面前走出了“登月”第二步。
“如果說長文本是月之暗面‘登月’的第一步,那么提升模型深度推理能力則是第二步。”身穿一件黑色公司文化衫的楊植麟發(fā)布了新一代數(shù)學能力可對標OpenAI o1系列的數(shù)學推理模型k0-math。
當新模型在眾人面前進行數(shù)學題“測試”時,這位原本略顯羞澀的90后“創(chuàng)業(yè)明星”終于來到了自己的主場,看著數(shù)字、公式一行行地彈出,興奮地講解著其中的原理。
據(jù)介紹,該款模型是Kimi推出的首款推理能力強化模型,采用了全新的強化學習和思維鏈推理技術——這與楊植麟對行業(yè)技術發(fā)展的判斷方向一致,“接下來最重點的東西會在強化學習上,范式上會產(chǎn)生變化,它還是Scaling(擴展),只是通過不同的方式去Scale”。
在k0-math的表現(xiàn)方面,月之暗面方面披露,在中考、高考、考研以及包含競賽題的MATH等數(shù)學基準測試中,k0-math初代模型成績已經(jīng)超過o1-mini和o1-preview模型。
“(k0-math的發(fā)布)大概率能說是,在OpenAI o1發(fā)布后,國內(nèi)首個摸索出并實現(xiàn)o1思路的公司。”一位國內(nèi)頭部互聯(lián)網(wǎng)公司的大模型技術人員在接受《每日經(jīng)濟新聞》記者采訪時表示,“現(xiàn)在國內(nèi)想要趕超o1的大模型團隊都會以數(shù)學領域為第一步,因為不需要大量的標注數(shù)據(jù),成本最低,而且有可驗證的標準答案。”
月之暗面的下一步是什么?“Kimi目前最核心的任務是提升留存。”楊植麟在接受《每日經(jīng)濟新聞》記者采訪時表示,“基本上它跟你的技術成熟度或者技術水平也是一個正相關的關系,所以對我們當前來說是最重要的。假設我們以最后AGI這個目標作為衡量,我覺得現(xiàn)在還在初級階段。”
發(fā)布會數(shù)據(jù)顯示,截至今年10月,Kimi的月活已超3600萬人,而且數(shù)據(jù)在持續(xù)增長。
發(fā)布會上,月之暗面公布了k0-math的目前測評得分:在業(yè)界最常使用的數(shù)學能力基準測試MATH中,k0-math模型得分93.8分,超過o1-mini的90分和o1-preview的85.5分,且k0-math這一成績僅次于o1完全版的94.8分。
“什么樣的場景最適合讓AI鍛煉思考能力?我們認為是數(shù)學場景。”發(fā)布會現(xiàn)場,楊植麟表示,在訓練該模型的過程中,最重要的是看其是否真正具備深度思考的能力。
據(jù)介紹,相較于以盡快提供答案為關鍵目標的常規(guī)模型,k0-math模型在做題過程中會花更長的時間來推理,包括思考和規(guī)劃思路,并且在必要時自行反思改進解題思路,提升答題的成功率。
不過,楊植麟也指出,雖然k0-math模型擅長解答大部分很有難度的數(shù)學題,但是當前版本還無法解答LaTeX格式難以描述的幾何圖形類問題。此外,它可能會存在對“1+1=?”這樣過于簡單的數(shù)學問題進行過度思考,對于高考難題和IMO(國際數(shù)學奧林匹克競賽試題)依然有一定概率做錯、猜答案之類的局限性。
根據(jù)月之暗面的介紹,k0-math模型采用了全新的強化學習和思維鏈推理技術,這也是業(yè)內(nèi)普遍認為OpenAI o1系列的技術關鍵所在,行業(yè)范式也在因此發(fā)生著改變。
“AI的發(fā)展就像蕩秋千,我們會在兩種狀態(tài)之間來回切換:有時候,算法、數(shù)據(jù)都很ready了,但是算力不夠,我們要做的就是加算力;但今天我們發(fā)現(xiàn),不斷擴大算力規(guī)模已經(jīng)不一定能直接解決問題了,所以這時就需要通過改變算法,來突破這個瓶頸。”楊植麟表示。
對于業(yè)內(nèi)對Scaling Law(規(guī)模定律)逐漸放緩的看法,楊植麟認為,預訓練還有空間,大概半代到一代的模型,這個空間會在明年釋放出來,“明年,我覺得領先的模型會把預訓練做到一個比較極致的階段”。
“但我們判斷,接下來最重點的東西會在強化學習上,就是范式上會產(chǎn)生一些變化。本質上,它還是Scaling,并不是不用Scale,只是說你會通過不同的方式去Scale,這是我們的判斷。”他表示。
同時,他指出,該數(shù)學推理模型的推出,一方面在教育產(chǎn)品、Kimi整體的流量里有非常大的價值;另一方面,該模型上的技術可以放在更多場景里,比如讓Kimi探索版去做更多的搜索。
在今年6月的一次媒體采訪中,楊植麟多次以“聚焦”作為對創(chuàng)業(yè)思路、成功經(jīng)驗的回應,“在技術和產(chǎn)品上可能我們都希望更加聚焦”,“因為你如果什么東西都做了,可能最后也很難做好”。
不久前,有消息稱月之暗面幾位出海產(chǎn)品負責人已于近期離職創(chuàng)業(yè)。此外,今年9月,月之暗面決定停止更新兩款已上線的出海產(chǎn)品——Ohai和Noisee,暫時收縮了出海to C應用。
在發(fā)布會現(xiàn)場,楊植麟間接回應了上述市場傳言:“我們沒有人才流失,我們主動做了業(yè)務減法。”
這一思路的確定在今年春天,楊植麟觀察了月之暗面的具體發(fā)展并對美國市場進行了判斷,得出結論:的確得做減法,而不是瘋狂做加法。
“我們一開始嘗試過幾個產(chǎn)品一塊做,這在一定時期內(nèi)奏效,但后來發(fā)現(xiàn),這樣就活生生把自己變成大廠了,沒有任何優(yōu)勢。”楊植麟將鎖定“聚焦”視為過去一年較大的課題,“砍業(yè)務本質上也是在控制人數(shù)。這幾個大模型創(chuàng)業(yè)公司里,我們始終保持人數(shù)最少,始終保持(顯)卡和人的比例最高,這非常關鍵。我們不希望團隊擴那么大,(擴大)對創(chuàng)新有致命性傷害。另外我們也會根據(jù)美國市場的情況,判斷哪個業(yè)務做大的概率更高。”
聚焦Kimi,當下楊植麟認為最為核心的任務是什么?他在接受《每日經(jīng)濟新聞》記者采訪時給出了答案:提升留存,“(令自己滿意的留存)永無止境”。
“因為留存是技術成熟的重要指標,并且(現(xiàn)在的留存)還有非常大的提升空間。我們的模型能力跟產(chǎn)品指標是高度相關的。”他解釋,“目前我們的模型可能思考能力還不夠強,交互還不夠豐富,我們把這些東西做得更好之后,留存會進一步上升。”
第三方機構QuestMobile發(fā)布的《中國移動互聯(lián)網(wǎng)2024年秋季報告》顯示,截至2024年9月AIGC App月度活躍用戶同比增長393.9%,豆包、文小言、Kimi智能助手App月活用戶分別達到4197.6萬人、1191.5萬人和1024.8萬人,活躍用戶3日留存率分別為39.1%、31.2%和32.2%。
在發(fā)布會上,楊植麟表示,截至2024年10月,Kimi的月活已超3600萬人,而且數(shù)據(jù)在持續(xù)增長。
在行業(yè)的多模態(tài)進展方面,界面新聞曾報道,Runway聯(lián)合創(chuàng)始人曾在11月9日公開表示,OpenAI計劃在大約兩周內(nèi)發(fā)布Sora。
對此,楊植麟透露,內(nèi)部幾個多模態(tài)的能力在內(nèi)測,“關于多模態(tài),我覺得AI接下來最重要的是思考和交互這兩個能力。思考的重要性遠大于交互,不是說交互不重要,我覺得思考會決定上限,交互是一個必要條件,比如說vision(視覺)的能力,如果沒有vision的能力沒法做交互”。
在Open AI出新牌后,Kimi又一次成為國內(nèi)第一個“跟牌者”,在這場焦灼的牌局中,楊植麟和月之暗面拿出了留到最后的野心。
如需轉載請與《每日經(jīng)濟新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關注每日經(jīng)濟新聞APP