商湯科技董事長(zhǎng)徐立：端側(cè)應(yīng)用是大模型“鋪開(kāi)”最核心的關(guān)鍵

每經(jīng)記者 朱成祥    每經(jīng)編輯 董興生    

4月24日上午，商湯-W（HK00020，股價(jià)0.8港元，市值268億港元）港股開(kāi)盤(pán)大漲。隨后，商湯公告稱(chēng)，于11點(diǎn)15分起短暫停止買(mǎi)賣(mài)。暫停交易前，商湯股價(jià)上漲31.15%，報(bào)0.80港元/股。

4月23日，商湯科技在上海臨港AIDC（人工智能計(jì)算中心）舉辦技術(shù)交流日活動(dòng)。在技術(shù)交流日上，商湯發(fā)布日日新5.0大模型，全面對(duì)標(biāo)GPT-4 Turbo。據(jù)悉，該大模型超過(guò)10TB tokens訓(xùn)練、覆蓋大量合成數(shù)據(jù)，全新的日日新5.0采用混合專(zhuān)家架構(gòu)，推理時(shí)上下文窗口可以有效到200K左右。

此外，商湯也推出日日新·端側(cè)大模型。商湯科技董事長(zhǎng)兼CEO徐立表示：“我們認(rèn)為，今年是大模型在端側(cè)應(yīng)用的元年。試想，如果幾十億端側(cè)的設(shè)備都在不停地調(diào)用大模型，沒(méi)有任何一個(gè)服務(wù)器能夠‘服務(wù)得起’。所以說(shuō)，端側(cè)應(yīng)用，其實(shí)是大模型鋪開(kāi)最核心的關(guān)鍵。”

據(jù)了解，商湯日日新·端側(cè)大語(yǔ)言模型的推理速度達(dá)到了業(yè)內(nèi)最快，可在中端平臺(tái)實(shí)現(xiàn)18.3字/s的平均生成速度，旗艦平臺(tái)達(dá)到78.3字/s。

圖片來(lái)源：每日經(jīng)濟(jì)新聞 靳水平 攝

在現(xiàn)場(chǎng)，徐立展示了端側(cè)AI智能體的應(yīng)用。比如通過(guò)語(yǔ)音輸入查郵件，且將剛查看的郵件移動(dòng)到智能手機(jī)的文件夾，并發(fā)送一個(gè)群公告：下午5點(diǎn)開(kāi)會(huì)。

徐立表示：“端側(cè)業(yè)務(wù)SDK（軟件開(kāi)發(fā)工具包）正式發(fā)布，大家可以?huà)叽a來(lái)適配到不同端側(cè)，目前支持高通8系列、7系列芯片，還有匹配天璣的芯片。”

值得注意的是，此前的AI PC普遍對(duì)計(jì)算機(jī)性能要求較高。將大模型部署到PC端，它對(duì)算力、存儲(chǔ)的要求都很高。如果現(xiàn)在部署到手機(jī)端，手機(jī)的算力、存儲(chǔ)包括帶寬是否會(huì)不足以支撐端側(cè)小模型？

4月21日，商湯科技首席科學(xué)家王曉剛在接受《每日經(jīng)濟(jì)新聞》記者采訪(fǎng)時(shí)表示：“大家要看不同的應(yīng)用，對(duì)于模型的準(zhǔn)確率或體驗(yàn)的要求是不一樣的。比如大量聊天式的應(yīng)用，對(duì)模型性能的要求也會(huì)低一些。如果通過(guò)模型作為智能體做各種操作，它對(duì)操作的準(zhǔn)確性、時(shí)效性要求會(huì)更高。不同的應(yīng)用方向、場(chǎng)景對(duì)模型的要求是不一樣的，對(duì)于模型應(yīng)用要求不是非常高的地方，是可以用端側(cè)模型去做的。”

王曉剛補(bǔ)充表示：“（云端）大模型要求的是一個(gè)通用能力，能做很多事情，而手機(jī)上的端側(cè)小模型要求是只需要在某些方面的能力做到足夠好就可以了。最終，我們的模型不是一個(gè)模型，而可能是一組模型。比如在端側(cè)，就用它作為AI智能體執(zhí)行調(diào)用各種APP，執(zhí)行各種功能，這時(shí)候，可以把端上的小模型局限在特定的功能上，把它做到最好。”

除了針對(duì)特定的功能，端側(cè)模型的性能也在不斷提升，一是數(shù)據(jù)質(zhì)量的提升，二是可以通過(guò)云端大模型生成數(shù)據(jù)。

王曉剛表示：“隨著整個(gè)數(shù)據(jù)清洗的質(zhì)量越來(lái)越高，將來(lái)會(huì)有越來(lái)越高質(zhì)量的數(shù)據(jù)訓(xùn)練端上的模型。另外，因?yàn)樵贫舜竽Ｐ偷哪芰ψ兊煤軓?qiáng)，它也能幫助我們生成某些方面高質(zhì)量的數(shù)據(jù)。用這些數(shù)據(jù)可以更好地訓(xùn)練小模型，因此，端上小模型的性能也在快速地提升。各種因素綜合到一起，還是能保證未來(lái)在端上的模型有一個(gè)好的應(yīng)用，滿(mǎn)足終端消費(fèi)者的要求。”

封面圖片來(lái)源：每日經(jīng)濟(jì)新聞 靳水平 攝