馬斯克將在本周，開源類ChatGPT產(chǎn)品Grok

3月11日晚，馬斯克在社交平臺宣布，將在本周開源生成式AI產(chǎn)品——Grok。

Grok是馬斯克旗下公司xAI在去年11月發(fā)布的，一款類ChatGPT產(chǎn)品，可以提供生成文本、代碼、郵件、信息檢索等功能。其測試性能超過GPT-3.5、LLaMA 2 70B，弱于GPT-4。

目前，該產(chǎn)品僅為X Premium+客戶提供服務(wù)，至今沒有大范圍對外開放使用非常神秘。

圖片來源：視覺中國-VCG111458726495

Grok簡單介紹

根據(jù)xAI在官網(wǎng)公布的早期模型卡顯示，首先開發(fā)團隊先訓(xùn)練了一個330億參數(shù)的原始大模型Grok-0，其性能相當(dāng)于700億參數(shù)的LLaMA 2，但僅使用其一半的訓(xùn)練資源。

然后基于Grok-0進(jìn)行蒸餾、微調(diào)開發(fā)了Grok-1，在GSM8k、MMLU、HumanEval等多個測試平臺顯示，其性能全面超過了LLaMA 2-70B、GPT-3.5。但與Claude 2、GPT-4還有較大的距離。

由于這些基準(zhǔn)測試是公開的，Grok-1的訓(xùn)練數(shù)據(jù)可能已經(jīng)包含了測試答案。

隨后，開發(fā)團隊使用了2023年匈牙利全國高中決賽的數(shù)學(xué)題對Grok-1、Claude 2、GPT-4進(jìn)行了人工測試。

結(jié)果顯示，Grok-1 以 C (59%) 的成績通過了考試，而 Claude-2取得了差不多的成績 (55%)，GPT-4 以 68% 的成績獲得了B，其推理能力還是挺不錯的。

訓(xùn)練數(shù)據(jù)方面，Grok-1 發(fā)布版本所使用的訓(xùn)練數(shù)據(jù)截至 2023 年第三季度的互聯(lián)網(wǎng)數(shù)據(jù)以及xAI人工智能導(dǎo)師提供的數(shù)據(jù)。

局限性，雖然 Grok-1 在信息處理方面表現(xiàn)出色，但需要對 Grok-1生成的內(nèi)容進(jìn)行審核。Grok-1 語言模型不具備獨立搜索網(wǎng)絡(luò)的能力，不是一個多模態(tài)的產(chǎn)品。

馬斯克為什么開源Grok

本月初，馬斯克正式起訴了OpenAI以及其聯(lián)合創(chuàng)始人Sam Altman和Greg Brockman。

原因是，OpenAI違反合同協(xié)議、違反信托義務(wù)和不公平的商業(yè)行為，在發(fā)布ChatGPT等爆火產(chǎn)品后轉(zhuǎn)向閉源并開始盈利。這與最初的開放AI造福人類理念截然相反。

圖片來源：視覺中國-VCG31N2008743681

馬斯克作為OpenAI最初創(chuàng)始人之一，表示Altman 和 Brockman 在 2015 年說服他幫助創(chuàng)立OpenAI并為其提供資金，同時承諾該公司將是一家非營利性AI研究機構(gòu)，專注于對抗來自谷歌等科技公司的競爭。訴訟稱，基于創(chuàng)始協(xié)議要求 OpenAI 向公眾 免費提供 其技術(shù)成果。

但根據(jù)OpenAI最新發(fā)布的回應(yīng)郵件來看，為了更好的開發(fā)AGI，獲取更多資金壯大產(chǎn)品線走營利模式，當(dāng)時馬斯克是同意的。

所以，馬斯克在這個時間點選擇開源Grok，估計和前幾天起訴OpenAI的案件有關(guān)，兌現(xiàn)自己當(dāng)年聯(lián)合創(chuàng)立OpenAI時的“開源”諾言。

關(guān)于xAI

xAI成立于2023年7月13日，隸屬于馬斯克旗下。其核心團隊成員曾經(jīng)分別在DeepMind、OpenAI、谷歌研究、微軟研究、特斯拉等前沿公司或多倫多大學(xué)等學(xué)術(shù)機構(gòu)任職過。

（作者：AIGC開放社區(qū)）

封面圖片來源：視覺中國-VCG111458726495