每日經(jīng)濟新聞
要聞

每經(jīng)網(wǎng)首頁 > 要聞 > 正文

英偉達的生成式AI微服務(wù)有什么用?公司:在更小的GPU占用空間上放置相同大小的模型

每日經(jīng)濟新聞 2024-03-19 19:20:02

每經(jīng)記者 楊卉    實習生 卞昱媛    每經(jīng)編輯 梁梟    

當?shù)貢r間3月18日,在GTC(GPU Technology Conference)2024大會上,英偉達宣布推出生成式AI微服務(wù),供開發(fā)者在已安裝NVIDIA CUDA GPU的系統(tǒng)中創(chuàng)建和部署生成式AI助手。企業(yè)可以利用這些微服務(wù)在自己的平臺上創(chuàng)建和部署定制應(yīng)用,同時保留對知識產(chǎn)權(quán)的完整所有權(quán)和控制權(quán)。

據(jù)英偉達介紹,這些云原生微服務(wù)目錄在NVIDIA CUDA平臺上開發(fā),其中包括NVIDIA NIM微服務(wù),可適用于NVIDIA及合作伙伴生態(tài)系統(tǒng)中20多個熱門的AI模型進行推理優(yōu)化。用戶將能夠從亞馬遜SageMaker、谷歌KubernetesEngine和微軟AzureAI中訪問NIM微服務(wù),并與Deepset、LangChain和LlamaIndex等流行的AI框架集成;還能以NVIDIA CUDA-X微服務(wù)的形式使用NVIDIA加速軟件開發(fā)套件、庫和工具,用于檢索增強生成(RAG)、護欄、數(shù)據(jù)處理、HPC等。

根據(jù)英偉達的說法,包括Adobe、Cadence、CrowdStrike、GettyImages、SAP、ServiceNow和Shutterstock在內(nèi)的諸多應(yīng)用、數(shù)據(jù)和網(wǎng)絡(luò)安全平臺提供商已經(jīng)率先使用了NVIDIA AI Enterprise5.0中提供的這些全新NVIDIA生成式AI微服務(wù)。

用更通俗的理解方式,英偉達的這些AI微服務(wù)能為企業(yè)帶來什么?3月18日,英偉達生成式AI軟件產(chǎn)品管理副總裁Kari Briski在媒體吹風會上提出,NIM為企業(yè)提供的是一個能夠迅速收集數(shù)據(jù)的預(yù)訓(xùn)練模型,而不是預(yù)訓(xùn)練數(shù)據(jù),可以將它視為一種具有學習能力的模型。

由于在每一次優(yōu)化和產(chǎn)品發(fā)布中,Nvidia都在大語言模型上進行一些新的優(yōu)化或壓縮,NIM會幫助用戶公司節(jié)省一些成本。“舉個例子,比如我們首次發(fā)布NIM時采用的是FP16,Hopper推出后采用的則是FP8,這樣就可以在更小的GPU占用空間上放置相同大小的模型。”Kari Briski稱。

談及開源,Kari Briski還在回答《每日經(jīng)濟新聞》記者提問時表示,2023年是關(guān)于探索開源模型的一年,但許多企業(yè)開發(fā)人員缺乏將開源模型以安全方式引入生產(chǎn)環(huán)境的能力。NIM的出現(xiàn)可以避免安全性漏洞,向開發(fā)人員提供簡單的API,縮短從探索到生產(chǎn)的時間。“我認為這將改變?nèi)斯ぶ悄茴I(lǐng)域的格局,大部分企業(yè)在發(fā)現(xiàn)AGI后的第一年僅停留在概念驗證階段,但現(xiàn)在他們可以更快地將其轉(zhuǎn)化為生產(chǎn)。”

如需轉(zhuǎn)載請與《每日經(jīng)濟新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟新聞》報社授權(quán),嚴禁轉(zhuǎn)載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

GPU 英偉達

歡迎關(guān)注每日經(jīng)濟新聞APP

每經(jīng)經(jīng)濟新聞官方APP

0

0

免费va国产高清不卡大片,笑看风云电视剧,亚洲黄色性爱在线观看,成人 在线 免费