全球科技早參丨Sora訓(xùn)練數(shù)據(jù)被質(zhì)疑

每經(jīng)記者 文巧    每經(jīng)編輯 蘭素英    

｜2024年3月18日 星期一｜

NO.1 蘋果推出MM1多模態(tài)大模型

近日，在一篇名為MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training的論文中，蘋果正式公布MM1多模態(tài)大模型研究成果。該模型提供30億、70億、300億三種參數(shù)規(guī)模，擁有圖像識別和自然語言推理能力。它由密集模型和混合專家（MoE）變體組成，不僅在預(yù)訓(xùn)練指標(biāo)中實現(xiàn)最優(yōu)效果，在一系列已有多模態(tài)基準(zhǔn)上監(jiān)督微調(diào)后也能保持有競爭力的性能。

點評：蘋果的這一突破性技術(shù)展示了其在多模態(tài)AI領(lǐng)域的成果，有助于推動行業(yè)創(chuàng)新。

NO.2 英偉達(dá)GTC2024即將揭幕

3月18日至21日，英偉達(dá)GTC大會將在圣何塞會議中心和線上同時舉行。這是英偉達(dá)每年最重要的技術(shù)發(fā)布平臺之一，被業(yè)界公認(rèn)為“AI風(fēng)向標(biāo)”。據(jù)悉，英偉達(dá)有望在大會上發(fā)布Blackwell架構(gòu)及B100芯片。作為Hopper架構(gòu)H200芯片的下一代產(chǎn)品，英偉達(dá)早已在全球超算大會上展示過B100芯片的強(qiáng)勁性能，在訓(xùn)練GPT-3 1750億參數(shù)模型的比較中，B100芯片以噴射式的性能提升幅度碾壓H100和H200芯片。此外，英偉達(dá)或?qū)l(fā)布一系列生成式AI應(yīng)用。

點評：英偉達(dá)即將發(fā)布的新技術(shù)可能會進(jìn)一步鞏固其在高性能計算和AI領(lǐng)域的市場主導(dǎo)地位。

NO.3 CAR-T療法對實體瘤顯示出效果

近日，兩篇分別刊登于《自然-醫(yī)學(xué)》和《新英格蘭醫(yī)學(xué)雜志》的研究結(jié)果表明，抗原嵌合受體T細(xì)胞（CAR-T）療法在臨床試驗中表現(xiàn)出了針對實體惡性腦腫瘤——膠質(zhì)母細(xì)胞瘤的治療效果。據(jù)悉，膠質(zhì)母細(xì)胞瘤是成人中最常見的腦部惡性腫瘤，即使是最好的治療也收效甚微。過去利用免疫系統(tǒng)對抗該腦腫瘤的嘗試均失敗了，導(dǎo)致患者只能依靠傳統(tǒng)藥物、放療和化療，但平均生存率改善卻不盡如人意。

點評：這一臨床進(jìn)展可能會開啟實體瘤治療的新篇章，對整個醫(yī)療行業(yè)產(chǎn)生深遠(yuǎn)影響。

NO.4 奔馳汽車工廠試點Apollo機(jī)器人

近日，奔馳宣布和仿人機(jī)器人開發(fā)商Apptronik達(dá)成協(xié)議，雙方將合作探索高科技機(jī)器人Apollo，主要從事搬運(yùn)、裝配零部件等繁重的低技能勞動。根據(jù)雙方協(xié)議，奔馳將啟動試點項目，在汽車制造過程中測試Apollo仿人機(jī)器人執(zhí)行各種任務(wù)的能力。奔馳稱，相比較全面升級汽車生產(chǎn)流水線，Apollo機(jī)器人的運(yùn)用可以降低員工工傷情況，自動化復(fù)雜、重復(fù)和枯燥的任務(wù)，進(jìn)一步釋放生產(chǎn)力。

點評：奔馳的這一舉措可能會提高生產(chǎn)效率，同時減少工人的勞動強(qiáng)度。

NO.5 ChatGPT參數(shù)規(guī)模或被破解

近日，南加州大學(xué)研究人員使用一種方法，僅花費(fèi)不到1000美元就將最新版GPT-3.5-turbo模型的參數(shù)規(guī)模破解出來。據(jù)該研究報告，研究人員破解出了未公布的GPT-3.5-turbo嵌入向量維度為4096或4608。幾乎所有已知的開源大模型如Llama和Mistral，在嵌入向量維度為4096時，參數(shù)規(guī)模均為7B（70億）。南加大研究團(tuán)隊指出，可以推測GPT-3.5-turbo的參數(shù)規(guī)模也在7B左右。

點評：此發(fā)現(xiàn)可能會促使AI領(lǐng)域?qū)δＰ屯该鞫群桶踩缘倪M(jìn)一步探討和改進(jìn)。

NO.6 Sora訓(xùn)練數(shù)據(jù)被質(zhì)疑

近日，OpenAI CTO Murati在接受采訪時對Sora訓(xùn)練數(shù)據(jù)支支吾吾，讓Sora陷入版權(quán)爭議。當(dāng)記者問及Sora是用什么數(shù)據(jù)訓(xùn)練以及是否用到Y(jié)ouTube、Facebook和Instagram上的視頻時， Murati對此語焉不詳，稱不太確定，并表示不會詳細(xì)透露關(guān)于使用數(shù)據(jù)的細(xì)節(jié)，但強(qiáng)調(diào)該公司使用的是公開可用的以及經(jīng)過許可的數(shù)據(jù)。此前，OpenAI已頻繁陷入版權(quán)訴訟。去年年底，《紐約時報》已向OpenAI及微軟提起侵犯版權(quán)訴訟，指控二者未經(jīng)許可使用其數(shù)百萬篇文章以訓(xùn)練模型。

點評：這可能影響OpenAI在AI領(lǐng)域的聲譽(yù)，并加劇版權(quán)訴訟風(fēng)險。

免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構(gòu)成投資建議，使用前核實。據(jù)此操作，風(fēng)險自擔(dān)。