英偉達(dá)挑戰(zhàn)者？專訪Graphcore總裁、大中華區(qū)總經(jīng)理盧濤：IPU的稀疏性要強(qiáng)于GPU丨WAIC 2023

每經(jīng)記者 朱成祥    每經(jīng)編輯 梁梟    

7月6日至7月8日，2023世界人工智能大會(huì)在上海舉辦。7月6日下午，Graphcore（中文名“擬未”）總裁、大中華區(qū)總經(jīng)理盧濤接受了《每日經(jīng)濟(jì)新聞》記者專訪。

本屆大會(huì)評(píng)選出九大“鎮(zhèn)館之寶”，擬未“Graphcore C600 IPU處理器PCIe卡”就位列其中。據(jù)悉，Graphcore C600 IPU處理器PCIe卡主打推理，兼做訓(xùn)練，可以支持各種主流的AI應(yīng)用，在搜索和推薦等業(yè)務(wù)上具有一定優(yōu)勢。它在提供低延時(shí)、高吞吐量的同時(shí)不損失精度，幫助AI開發(fā)人員解決“精度與速度難兩全”的痛點(diǎn)。

Graphcore總裁、大中華區(qū)總經(jīng)理盧濤

圖片來源：受訪者供圖

值得一提的是，C600在提供強(qiáng)大的算力、易用性和靈活性的同時(shí)，還實(shí)現(xiàn)了低時(shí)延和低功耗，在運(yùn)行典型工作負(fù)載時(shí)的散熱設(shè)計(jì)功耗為185瓦，可為運(yùn)維人員減少數(shù)據(jù)中心運(yùn)營開支。

IPU與GPU有何差異？

目前，業(yè)界普遍使用英偉達(dá)的GPGPU作為算力芯片，擬未的IPU和英偉達(dá)的GPGPU相比，有何差異呢？

盧濤表示：“首先從設(shè)計(jì)理念上，就和（英偉達(dá)）挺不一樣的。一是計(jì)算架構(gòu)不一樣，二是存儲(chǔ)架構(gòu)不一樣。我們是綜合了非常多個(gè)核的處理器，比如C600，每個(gè)IPU具有1472個(gè)處理核心，能夠并行運(yùn)行8832個(gè)獨(dú)立程序線程。而英偉達(dá)GPU的SM Core（stream multiprocessor核心）大概是100多個(gè)，不同產(chǎn)品配置不一樣。其所謂的CUDA Core和Tensor Core其實(shí)是掛在SM上面的加速器、運(yùn)算器。CUDA Core只是一個(gè)運(yùn)算單元。”

圖片來源：每經(jīng)記者 朱成祥 攝

存儲(chǔ)架構(gòu)方面，盧濤表示：“無論是英偉達(dá)的GPU，還是谷歌的TPU，都是兩級(jí)內(nèi)存。一級(jí)是（顯示）芯片里面有一個(gè)四五十兆的內(nèi)存，外面掛著HBM或者顯存。我們IPU，在芯片里面就有900兆的片上SRAM存儲(chǔ)，并且是分布式的。之前我們所說的1472個(gè)處理核心，跟片上SRAM存儲(chǔ)是耦合在一起的。”

IPU這種架構(gòu)有何好處呢？盧濤稱：“計(jì)算（核心）跟存儲(chǔ)耦合，非常適合做稀疏化，以及做一些高維運(yùn)算。跟GPU對(duì)比，如果對(duì)稀疏性要求比較高、高維方面要求比較高，我們的優(yōu)勢會(huì)更大。如果是矩陣運(yùn)算，我們就差不多或者是優(yōu)勢小一些。”

軟件生態(tài)：不兼容CUDA，為客戶提供更優(yōu)解

從上述介紹來看，C600是主打推理，兼做訓(xùn)練。那么擬未本身的芯片產(chǎn)品，主要應(yīng)用于訓(xùn)練端還是用于推理端呢？

盧濤表示：“我們是訓(xùn)練、推理一體的，只不過針對(duì)系統(tǒng)層面會(huì)有不一樣的要求。比如說訓(xùn)練，要做大規(guī)模的擴(kuò)展。如訓(xùn)練集群，需要一千個(gè)或者幾千個(gè)處理器連接在一起。推理不需要那么大規(guī)模的互聯(lián)。訓(xùn)練和推理，我們處理器本身沒有特別大的區(qū)別，更多是從系統(tǒng)層面體現(xiàn)。”

值得一提的是，英偉達(dá)不僅強(qiáng)在硬件，其軟件生態(tài)CUDA更是難以替代。那么，擬未的IPU能兼容CUDA嗎？

盧濤表示：“我們不兼容CUDA，這是一個(gè)非常有意思的問題，屬于哲學(xué)層面上的問題。如果你是客戶，詢問是否CUDA兼容，本質(zhì)是想不花任何功夫，或者花很少的精力，把軟件、把應(yīng)用在處理器上用起來。”

他進(jìn)一步分析稱：“這里面就有兩個(gè)命題，一是CUDA兼容，但CUDA是英偉達(dá)自己的軟件生態(tài)，是針對(duì)英偉達(dá)GPU架構(gòu)實(shí)現(xiàn)的。API你能看得到，但底層各種優(yōu)化，都是針對(duì)其GPU體系結(jié)構(gòu)優(yōu)化的，你根本不知道怎么做。二是CUDA不兼容，這就需要盡量減少客戶遷移的成本，讓客戶在極端情況下，不需要做什么就能遷移，或者花比較少的工作量就能遷移。”

封面圖片來源：受訪者供圖