每日經(jīng)濟(jì)新聞 2023-11-15 21:39:20
◎零一萬物表示,原始出發(fā)點(diǎn)是為了充分測試模型,并非刻意隱瞞來源。
每經(jīng)記者 趙雯琪 每經(jīng)編輯 劉雪梅
公開發(fā)布首款預(yù)訓(xùn)練大模型Yi-34B一周時間,李開復(fù)和他的創(chuàng)業(yè)公司零一萬物陷入質(zhì)疑漩渦中。
近日,在Yi-34B的Hugging Face(一家開源模型庫)開源主頁上,有開發(fā)者質(zhì)疑零一萬物發(fā)布的模型使用了Meta LLaMA的架構(gòu),只對兩個張量(Tensor)名稱進(jìn)行了修改等等。所謂張量,是深度學(xué)習(xí)概念中的多維數(shù)組,其目的是能夠創(chuàng)造更高維度的矩陣、向量。
對此,11月14日,“零一萬物”公司正式公開回應(yīng)了此事,該公司開源團(tuán)隊(duì)總監(jiān)Richard Lin承認(rèn)了修改Llama張量名稱的做法不妥,將會按照外界建議把“修改后的張量名稱從Yi改回LLaMA”。
11月15日,零一萬物正式公開了對Yi-34B訓(xùn)練過程的說明。李開復(fù)也在朋友圈轉(zhuǎn)發(fā)了該說明,并表示:“零一萬物Yi-34B模型訓(xùn)練的說明也回應(yīng)這兩天大家對于模型架構(gòu)的探討。全球大模型架構(gòu)一路從GPT2-->Gopher-->Chinchilla-->Llama2->Yi,行業(yè)逐漸形成大模型的通用標(biāo)準(zhǔn)(就像做一個手機(jī)app開發(fā)者不會去自創(chuàng)iOS、Android以外的全新基礎(chǔ)架構(gòu))。01.AI起步受益于開源,也貢獻(xiàn)開源,從社區(qū)中虛心學(xué)習(xí),我們會持續(xù)進(jìn)步。”
零一萬物在訓(xùn)練過程說明中表示,模型訓(xùn)練過程好比做一道菜,架構(gòu)只是決定了做菜的原材料和大致步驟,這在大多數(shù)人的認(rèn)知中也逐步形成共識。要訓(xùn)練出好的模型,還需要更好的“原材料”(數(shù)據(jù))和對每一個步驟細(xì)節(jié)的把控(訓(xùn)練方法和具體參數(shù))。由于大模型技術(shù)發(fā)展還在非常初期,從技術(shù)觀點(diǎn)來說,行業(yè)共識是與主流模型保持一致的模型結(jié)構(gòu),更有利于整體的適配與未來的迭代。
零一萬物同時表示,原始出發(fā)點(diǎn)是為了充分測試模型,并非刻意隱瞞來源。零一萬物對此提出說明,并表達(dá)誠摯的歉意,我們正在各開源平臺重新提交模型及代碼并補(bǔ)充LLaMA協(xié)議副本的流程中,承諾盡速完成各開源社區(qū)的版本更新。
作為李開復(fù)親自下場的創(chuàng)業(yè)項(xiàng)目,零一萬物自誕生以來即受到業(yè)內(nèi)廣泛關(guān)注,《每日經(jīng)濟(jì)新聞》記者此前獲悉,零一萬物已完成由阿里云領(lǐng)投的10億美元融資。目前,零一萬物估值已超10億美元,躋身獨(dú)角獸行列。
在大模型發(fā)布時,李開復(fù)曾公開表示,零一萬物堅(jiān)定進(jìn)軍全球第一梯隊(duì)目標(biāo),從招的第一個人,寫的第一行代碼,設(shè)計(jì)的第一個模型開始,就一直抱著成為‘World's No.1’(世界第一)的初衷和決心。
今年以來,生成式AI成為資本市場最大的熱點(diǎn)和風(fēng)口。不過在大模型創(chuàng)業(yè)浪潮下,很多業(yè)內(nèi)人士不免擔(dān)心行業(yè)泡沫的問題,大模型創(chuàng)業(yè)公司瀾舟科技創(chuàng)始人兼CEO周明在接受媒體采訪時公開表示,中國對新技術(shù)的追求和自驅(qū)能力較強(qiáng),但是行業(yè)需要注意泡沫問題。“花很大的功夫訓(xùn)練一個不好不賴的模型,對廠商自己是一個學(xué)習(xí)鍛煉的過程,但對社會可能不一定有用。哪怕創(chuàng)業(yè),可能白白浪費(fèi)了很多創(chuàng)業(yè)資本和投入。”周明說。
浙江大學(xué)國際聯(lián)合商學(xué)院數(shù)字經(jīng)濟(jì)與金融創(chuàng)新研究中心聯(lián)席主任、研究員盤和林也曾向《每日經(jīng)濟(jì)新聞》記者表示,當(dāng)前國內(nèi)AI大模型,雖然很多,但能夠被用戶認(rèn)可的大模型還不多,很多大模型僅僅在測試中能夠?qū)?biāo)ChatGPT等國外產(chǎn)品,且當(dāng)前國內(nèi)的大模型發(fā)展也受制于算力。
如需轉(zhuǎn)載請與《每日經(jīng)濟(jì)新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關(guān)注每日經(jīng)濟(jì)新聞APP