商湯科技董事長徐立：端側(cè)應(yīng)用是大模型“鋪開”最核心的關(guān)鍵

每經(jīng)記者 朱成祥    每經(jīng)編輯 董興生    

4月24日上午，商湯-W（HK00020，股價0.8港元，市值268億港元）港股開盤大漲。隨后，商湯公告稱，于11點15分起短暫停止買賣。暫停交易前，商湯股價上漲31.15%，報0.80港元/股。

4月23日，商湯科技在上海臨港AIDC（人工智能計算中心）舉辦技術(shù)交流日活動。在技術(shù)交流日上，商湯發(fā)布日日新5.0大模型，全面對標GPT-4 Turbo。據(jù)悉，該大模型超過10TB tokens訓練、覆蓋大量合成數(shù)據(jù)，全新的日日新5.0采用混合專家架構(gòu)，推理時上下文窗口可以有效到200K左右。

此外，商湯也推出日日新·端側(cè)大模型。商湯科技董事長兼CEO徐立表示：“我們認為，今年是大模型在端側(cè)應(yīng)用的元年。試想，如果幾十億端側(cè)的設(shè)備都在不停地調(diào)用大模型，沒有任何一個服務(wù)器能夠‘服務(wù)得起’。所以說，端側(cè)應(yīng)用，其實是大模型鋪開最核心的關(guān)鍵。”

據(jù)了解，商湯日日新·端側(cè)大語言模型的推理速度達到了業(yè)內(nèi)最快，可在中端平臺實現(xiàn)18.3字/s的平均生成速度，旗艦平臺達到78.3字/s。

圖片來源：每日經(jīng)濟新聞 靳水平 攝

在現(xiàn)場，徐立展示了端側(cè)AI智能體的應(yīng)用。比如通過語音輸入查郵件，且將剛查看的郵件移動到智能手機的文件夾，并發(fā)送一個群公告：下午5點開會。

徐立表示：“端側(cè)業(yè)務(wù)SDK（軟件開發(fā)工具包）正式發(fā)布，大家可以掃碼來適配到不同端側(cè)，目前支持高通8系列、7系列芯片，還有匹配天璣的芯片。”

值得注意的是，此前的AI PC普遍對計算機性能要求較高。將大模型部署到PC端，它對算力、存儲的要求都很高。如果現(xiàn)在部署到手機端，手機的算力、存儲包括帶寬是否會不足以支撐端側(cè)小模型？

4月21日，商湯科技首席科學家王曉剛在接受《每日經(jīng)濟新聞》記者采訪時表示：“大家要看不同的應(yīng)用，對于模型的準確率或體驗的要求是不一樣的。比如大量聊天式的應(yīng)用，對模型性能的要求也會低一些。如果通過模型作為智能體做各種操作，它對操作的準確性、時效性要求會更高。不同的應(yīng)用方向、場景對模型的要求是不一樣的，對于模型應(yīng)用要求不是非常高的地方，是可以用端側(cè)模型去做的。”

王曉剛補充表示：“（云端）大模型要求的是一個通用能力，能做很多事情，而手機上的端側(cè)小模型要求是只需要在某些方面的能力做到足夠好就可以了。最終，我們的模型不是一個模型，而可能是一組模型。比如在端側(cè)，就用它作為AI智能體執(zhí)行調(diào)用各種APP，執(zhí)行各種功能，這時候，可以把端上的小模型局限在特定的功能上，把它做到最好。”

除了針對特定的功能，端側(cè)模型的性能也在不斷提升，一是數(shù)據(jù)質(zhì)量的提升，二是可以通過云端大模型生成數(shù)據(jù)。

王曉剛表示：“隨著整個數(shù)據(jù)清洗的質(zhì)量越來越高，將來會有越來越高質(zhì)量的數(shù)據(jù)訓練端上的模型。另外，因為云端大模型的能力變得很強，它也能幫助我們生成某些方面高質(zhì)量的數(shù)據(jù)。用這些數(shù)據(jù)可以更好地訓練小模型，因此，端上小模型的性能也在快速地提升。各種因素綜合到一起，還是能保證未來在端上的模型有一個好的應(yīng)用，滿足終端消費者的要求。”

封面圖片來源：每日經(jīng)濟新聞 靳水平 攝