中信建投：零一萬物發(fā)布Yi-Lightning，國產(chǎn)大模型迭代加速

每經(jīng)AI快訊，中信建投研報表示，零一萬物正式對外發(fā)布新旗艦?zāi)Ｐ?mdash;—Yi-Lightning（閃電）。Yi-Lightning 的訓(xùn)練過程中，采用MoE混合專家模型架構(gòu)，同時改進(jìn)了單階段訓(xùn)練，使用了多階段的訓(xùn)練模式，并且采用了混合注意力機(jī)制。在保持模型性能接近最優(yōu)的同時，盡可能減少激活參數(shù)的數(shù)量以降低訓(xùn)推成本，提高推理速度。在大模型競技場（Chatbot Arena）上，Yi-Lightning性能直沖總榜單并列第6，數(shù)學(xué)分榜并列第3，代碼等其它分榜也名列前茅?？偝煽儙缀跖c馬斯克最新xAI大模型Grok-2-08-13持平，超越GPT-4o-2024-05-13、GPT-4o-mini-2024-07-18、Claude 3.5 Sonnet等頂流。