每日經(jīng)濟(jì)新聞 2024-02-26 17:33:03
◎月之暗面認(rèn)為,通往通用人工智能的發(fā)展中,長(zhǎng)上下文(long-context)會(huì)是一個(gè)很重要的點(diǎn)。某種程度上看,所有問題都是上下文長(zhǎng)度問題。
每經(jīng)記者 陳婷 楊昕怡 每經(jīng)編輯 劉雪梅
當(dāng)OpenAI的文生視頻模型Sora給世界帶來新一波的沖擊時(shí),國(guó)內(nèi)對(duì)人工智能領(lǐng)域的投資熱情也再次被點(diǎn)燃。
2024開年,有市場(chǎng)消息稱,AI創(chuàng)業(yè)公司“月之暗面”已完成新一輪超10億美元融資,投資方包括紅杉中國(guó)、小紅書、阿里,老股東跟投。美團(tuán)也曾參與了該公司上一輪融資。本輪融資后,月之暗面估值達(dá)25億美元。
若以10億美元的融資規(guī)模來計(jì),該輪融資是自ChatGPT掀起人工智能熱潮后,國(guó)內(nèi)AI大模型公司迄今獲得的單輪最大金額融資。
為什么月之暗面能成為一眾資方的追逐焦點(diǎn)?英諾天使基金合伙人王晟告訴《每日經(jīng)濟(jì)新聞》記者,對(duì)于早期投資的AI項(xiàng)目,考察的核心因素主要還是團(tuán)隊(duì)。
月之暗面方面在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)表示,目前團(tuán)隊(duì)超80人,其中大部分是技術(shù)人員,“每個(gè)月都有在全球某個(gè)領(lǐng)域有著顯著影響力的人加入。”
“歷史上所有的架構(gòu)演進(jìn)本質(zhì)上都是在提升有效的context length(文本長(zhǎng)度)。”在產(chǎn)品方面,像創(chuàng)始人楊植麟在今年2月對(duì)媒體表述的這樣,月之暗面現(xiàn)已推出的產(chǎn)品Kimi智能助手正是以領(lǐng)先的長(zhǎng)文本處理能力受到了外界和資本的關(guān)注。未來,月之暗面還想在大模型領(lǐng)域做出To C的超級(jí)應(yīng)用。
很難想象,作為國(guó)內(nèi)AI領(lǐng)域最大單筆融資的獲得者,這家創(chuàng)業(yè)公司還未滿一周歲。
2023年3月1日,年輕的“天才AI科學(xué)家”楊植麟創(chuàng)辦了他的第二家AI公司月之暗面。和這家明星創(chuàng)業(yè)公司一樣,楊植麟有著似乎和年紀(jì)不太匹配的學(xué)術(shù)成就和創(chuàng)業(yè)經(jīng)歷。
2015年從清華計(jì)算機(jī)系畢業(yè)后,楊植麟前往美國(guó)卡內(nèi)基-梅隆大學(xué)攻讀博士,師從蘋果AI研究負(fù)責(zé)人Ruslan Salakhutdinov和谷歌首席科學(xué)家William Cohen,并與多位圖靈獎(jiǎng)得主合作發(fā)表論文。
月之暗面向《每日經(jīng)濟(jì)新聞》記者介紹,楊植麟是Transformer-XL與XLNet兩篇重要論文的第一作者,兩者均為大語言模型領(lǐng)域的核心技術(shù)。同時(shí),他也是中國(guó)35歲以下NLP(自然語言處理)領(lǐng)域引用最高的研究者。
記者從業(yè)內(nèi)人士處了解到,2016年,楊植麟曾參與創(chuàng)立循環(huán)智能(Recurrent AI),2021年12月,循環(huán)智能宣布完成由博裕投資和紅杉中國(guó)聯(lián)合領(lǐng)投的3800萬美元新一輪融資,老股東金沙江創(chuàng)投、靖亞資本、真格基金、萬物資本等跟投。報(bào)道顯示,循環(huán)智能的技術(shù)團(tuán)隊(duì)曾與華為云聯(lián)合發(fā)布了國(guó)內(nèi)首個(gè)千億中文語言模型“盤古NLP大模型”。
此外,月之暗面的兩位聯(lián)合創(chuàng)始人周昕宇和吳育昕,也均出身清華,擁有Meta、曠視科技等知名科技公司的工作經(jīng)驗(yàn)。
關(guān)于現(xiàn)有團(tuán)隊(duì)規(guī)模,月之暗面方面表示,目前團(tuán)隊(duì)超80人,其中大部分是技術(shù)人員,囊括了NLP、CV(計(jì)算機(jī)視覺)、RL(強(qiáng)化學(xué)習(xí))、Infra(基礎(chǔ)架構(gòu))方面的新生代人才,“每個(gè)月都有在全球某個(gè)領(lǐng)域有著顯著影響力的人加入。”
英諾天使基金合伙人王晟在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)表示,對(duì)于早期投資的AI項(xiàng)目,考察的核心因素是團(tuán)隊(duì),“我們對(duì)項(xiàng)目的收入、利潤(rùn)沒有什么要求,最重要的本質(zhì)還是人。”
考慮到月之暗面的核心成員參與過Google Gemini、Google Bard、盤古NLP、悟道等多個(gè)大模型的研發(fā)項(xiàng)目,它成為資本的爭(zhēng)搶對(duì)象也不奇怪了。
有大模型創(chuàng)業(yè)公司CTO對(duì)《每日經(jīng)濟(jì)新聞》記者表示,早在楊植麟創(chuàng)立循環(huán)智能和研發(fā)華為盤古模型的時(shí)候,便對(duì)其團(tuán)隊(duì)有所關(guān)注。
企查查顯示,月之暗面在2023年6月首獲超2億美元融資,投資機(jī)構(gòu)包括真格基金和紅杉中國(guó),彼時(shí)估值3億美元。8個(gè)月后,月之暗面斬獲超10億美元融資,估值躍至25億美元。
除了“頂配”的創(chuàng)業(yè)團(tuán)隊(duì),月之暗面也交出了外界看來還算出色的研發(fā)答卷。
2023年10月,月之暗面推出了首款大模型產(chǎn)品Kimi智能助手。月之暗面方面介紹,與其他大模型產(chǎn)品相比,該產(chǎn)品的主要技術(shù)優(yōu)勢(shì)在于超長(zhǎng)的無損上下文處理能力和卓越的指令遵循能力。
據(jù)了解,Kimi智能助手支持輸入20萬漢字,按OpenAI的計(jì)算標(biāo)準(zhǔn)約為40萬token(模型可以理解和生成的最小意義單位),是彼時(shí)全球大模型產(chǎn)品中所能支持的最長(zhǎng)上下文輸入長(zhǎng)度。同期大模型Claude支持的最大長(zhǎng)文本為10萬token。
“在投資機(jī)構(gòu)和大廠的內(nèi)部綜合評(píng)測(cè)中,Kimi智能助手的中文實(shí)力直追OpenAI,在理解和生成中文內(nèi)容方面表現(xiàn)出色。”月之暗面方面向記者強(qiáng)調(diào)了該產(chǎn)品的中文處理能力優(yōu)勢(shì)。
“AI產(chǎn)品榜(aicpb.com)”統(tǒng)計(jì)的數(shù)據(jù)顯示,Kimi智能助手在2024年1月的訪問量達(dá)142萬,在大模型創(chuàng)業(yè)公司的“AI ChatBots”產(chǎn)品中居于首位,月環(huán)比增長(zhǎng)率為94.1%,增長(zhǎng)速度也在大模型創(chuàng)業(yè)公司中排名第一。
另外值得關(guān)注的是,不同于市面上大多數(shù)大模型公司選擇做B端產(chǎn)品,Kimi智能助手的定位關(guān)鍵詞之一是“to C”。
楊植麟曾向媒體表示,AI Native的產(chǎn)品會(huì)在to C領(lǐng)域產(chǎn)生新的流量入口,成為AI時(shí)代的超級(jí)App,“這是一個(gè)非常大的機(jī)會(huì)”,他說,“To C就是一個(gè)自然而然的選擇”。
為什么選擇做To C領(lǐng)域,月之暗面向《每日經(jīng)濟(jì)新聞》記者解釋,因?yàn)槟P偷哪芰€在快速迭代中,國(guó)內(nèi)市場(chǎng)的B端產(chǎn)品往往需要私有化部署和定制化開發(fā),而基于現(xiàn)有模型的某個(gè)版本做私有化部署和定制化的開發(fā),將會(huì)導(dǎo)致B端產(chǎn)品的能力和用戶體驗(yàn)完全跟不上模型能力的快速提升,很快就會(huì)被淘汰,最終浪費(fèi)大量的人力、物力和財(cái)力資源。
王晟也對(duì)《每日經(jīng)濟(jì)新聞》記者表示,投資人去年都在投資算力、芯片等基礎(chǔ)設(shè)施,今年會(huì)更關(guān)注AI能力的大幅度增長(zhǎng)和成本的下降,應(yīng)用端也會(huì)有機(jī)會(huì)開始出現(xiàn),尤其是Agent(智能體),“因?yàn)锳gent是和過去移動(dòng)互聯(lián)網(wǎng)完全不一樣的東西,大家會(huì)率先開始在Agent中找相關(guān)的應(yīng)用落地。”
同時(shí),To C領(lǐng)域也是一眾互聯(lián)網(wǎng)大廠的AI探索方向。
AI與電商的結(jié)合是阿里巴巴當(dāng)前的加碼重點(diǎn)。記者了解到,2024年起,淘寶天貓將全量向商家陸續(xù)發(fā)布十款智能工具和服務(wù)。淘寶還發(fā)布了“AI生態(tài)伙伴計(jì)劃2.0”,提供1億元計(jì)算資源補(bǔ)貼、接口費(fèi)用減免以及免傭等激勵(lì)政策,進(jìn)一步豐富并擴(kuò)大AI開放生態(tài)。
此外,阿里云目前已在IaaS+PaaS層形成完善的AI基礎(chǔ)設(shè)施,有觀點(diǎn)認(rèn)為,阿里云已經(jīng)立志從為大模型提供云計(jì)算能力中找到機(jī)會(huì)。
而據(jù)去年5月消息,小紅書從該年3月份起籌備了獨(dú)立的大模型團(tuán)隊(duì),核心員工來自廣告業(yè)務(wù)的NLP技術(shù)團(tuán)隊(duì)。然而,小紅書在大模型上并沒有明確進(jìn)度,只在電商業(yè)務(wù)上加快步伐。不過,去年底,小紅書在主APP中內(nèi)測(cè)了一個(gè)名為“Davinic”(達(dá)芬奇)的AI聊天功能。
去年12月,小紅書COO柯南在一次媒體對(duì)話中提到,去年比較意外的一個(gè)發(fā)現(xiàn)就是搜索價(jià)值,大量的新用戶因?yàn)樗阉鞫M(jìn)入小紅書。她表示,接下來,如何用AI更好地驅(qū)動(dòng)搜索非常重要。
技術(shù)的突破造就了ChatGPT的一炮而紅,對(duì)于以技術(shù)為主打的創(chuàng)業(yè)公司而言,技術(shù)始終是其能否保持長(zhǎng)期領(lǐng)先優(yōu)勢(shì)的關(guān)鍵。
長(zhǎng)文本,是月之暗面選擇的突破方向。
楊植麟在2023年11月的一次外部演講中認(rèn)為,如今基于Transformer架構(gòu)的大模型,是“新時(shí)代的計(jì)算機(jī)”,參數(shù)數(shù)量決定計(jì)算復(fù)雜度,上下文長(zhǎng)度決定內(nèi)存大小——因此,上下文長(zhǎng)度是毫無疑問的關(guān)鍵所在。
他認(rèn)為,規(guī)?;峭ㄏ駻GI的核心,而隨著模型不斷迭代,長(zhǎng)文本會(huì)逐漸取代微調(diào),成為定制模型的關(guān)鍵技術(shù)。
月之暗面也對(duì)《每日經(jīng)濟(jì)新聞》記者表示,通往通用人工智能(AGI)(的發(fā)展中),長(zhǎng)上下文(long-context)會(huì)是一個(gè)很重要的點(diǎn)。在其看來,某種程度上看,所有問題都是上下文長(zhǎng)度問題。
那么,Kimi智能助手支持20萬漢字的長(zhǎng)文本輸入,主打無損記憶。這一突破究竟有多難?
上述大模型創(chuàng)業(yè)公司CTO對(duì)記者表示,月之暗面對(duì)文本長(zhǎng)度的突破有一定難度,但途徑也有多種,較成熟的有位置編碼的外拓,或者工程上的切片召回策略等。他表示,具體到月之暗面,由于沒有披露這塊細(xì)節(jié),暫時(shí)無法得知其實(shí)現(xiàn)方法。
北京市社會(huì)科學(xué)院管理研究所副研究員王鵬對(duì)《每日經(jīng)濟(jì)新聞》記者表示,支持超過20萬字的長(zhǎng)文本輸入在技術(shù)上確實(shí)是一個(gè)挑戰(zhàn),但是否算作重大突破,要取決于具體應(yīng)用場(chǎng)景。
他提到,例如,在處理長(zhǎng)篇小說、歷史文檔或復(fù)雜的法律文件時(shí),能夠處理如此長(zhǎng)的文本輸入將大大提高AI的理解和分析能力。
“這要求模型不僅要有強(qiáng)大的計(jì)算能力,還需要有優(yōu)秀的內(nèi)存管理能力來保持對(duì)長(zhǎng)文本的連貫理解。”王鵬說。
深度科技研究院院長(zhǎng)張孝榮對(duì)《每日經(jīng)濟(jì)新聞》記者表示,支持超過20萬字的長(zhǎng)文本輸入確實(shí)可以算是一個(gè)技術(shù)上的突破。在自然語言處理領(lǐng)域,處理長(zhǎng)文本一直是一個(gè)挑戰(zhàn),長(zhǎng)文本需要大模型有更強(qiáng)的“記憶”能力。當(dāng)大模型有了這種長(zhǎng)文本能力,才能更方便地處理小說、財(cái)報(bào)等。
張孝榮告訴記者,大模型能夠處理長(zhǎng)文本輸入,可以帶來多方面的影響。首先,這可以提高自然語言處理的準(zhǔn)確性和效率,使得模型能夠更好地理解和生成自然語言文本。其次,這也為一些需要處理大量文本數(shù)據(jù)的任務(wù)提供了可能,比如文獻(xiàn)分析、文本挖掘等。
此外,長(zhǎng)文本處理技術(shù)的發(fā)展,還可以推動(dòng)自然語言處理在其他領(lǐng)域的應(yīng)用,比如更加真實(shí)的智能客服、通過多篇財(cái)報(bào)進(jìn)行市場(chǎng)分析、處理超長(zhǎng)法務(wù)合同文本、基于長(zhǎng)篇小說進(jìn)行角色扮演等。
當(dāng)創(chuàng)業(yè)公司以技術(shù)馳名,注定著它需要面對(duì)保持技術(shù)領(lǐng)先性的壓力。與此同時(shí),好技術(shù)如何變成好生意,同樣是一個(gè)需要在探索中回答的難題。對(duì)于月之暗面而言,完成迅速崛起不過是萬里跋涉第一步。
在演講中,楊植麟曾表示,“爬樓梯”是月之暗面真正想做的事情。
他發(fā)現(xiàn),做大模型的主要是兩種人,一種是看風(fēng)景的人,用AGI解鎖了很多可能性,另一種是勇攀高峰的人。
“勇攀高峰,其實(shí)是爬樓梯,但不代表說我們不看風(fēng)景,而是說在你看風(fēng)景的同時(shí),你可能要花更多的精力,花更多的時(shí)間去以周為始的思考:到底月球的背面是什么?”楊植麟說。
如需轉(zhuǎn)載請(qǐng)與《每日經(jīng)濟(jì)新聞》報(bào)社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報(bào)社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請(qǐng)作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關(guān)注每日經(jīng)濟(jì)新聞APP