天風(fēng)證券：模型架構(gòu)變化有望帶來的能力進(jìn)步將直接打開大模型應(yīng)用的更廣闊空間

每經(jīng)AI快訊，天風(fēng)證券研報(bào)表示，從IntelligencePerToken到InlligencePerTask的模型變化是重要方向。1）訓(xùn)練階段，大模型訓(xùn)練預(yù)計(jì)繼續(xù)遵循“ScalingLaw”。云、創(chuàng)業(yè)公司、主權(quán)AI將繼續(xù)大量采購算力并建設(shè)數(shù)據(jù)中心，追求繼續(xù)提升IntelligencePerToken，預(yù)計(jì)全球訓(xùn)練集群將持續(xù)擴(kuò)容，在訓(xùn)練集群超過10萬片GPU后，對(duì)數(shù)據(jù)中心的建造、部署、供電、互聯(lián)構(gòu)成新挑戰(zhàn)。計(jì)算密度、互聯(lián)密度、功率散熱密度與存儲(chǔ)密度將有望快速提升。2）推理階段，我們認(rèn)為樹狀搜索/自博弈等方式有望快速提升IntelligencePerToken，我們看好在計(jì)算階段GPU與CPU的高速互聯(lián)。以及在應(yīng)用階段，我們認(rèn)為模型新架構(gòu)帶來的規(guī)劃能力逐步提高；數(shù)學(xué)、代碼與通用能力也將逐步提升。此外，與市場(chǎng)普遍觀點(diǎn)不同，我們認(rèn)為2024年模型架構(gòu)的變化將成為最重要的變化，模型架構(gòu)變化有望帶來的能力進(jìn)步將直接打開大模型應(yīng)用的更廣闊空間。