谷歌AI醫(yī)療大模型登上《自然》 評分92.6%

每經(jīng)記者 蔡 鼎    每經(jīng)編輯 蘭素英    

“AI醫(yī)生”，離我們越來越近了。

7月12日，谷歌和DeepMind的科研人員在《自然》雜志上發(fā)表了一項研究，不僅提出了MultiMedQA（美國醫(yī)師執(zhí)照試題）評估基準(zhǔn)，用于評估大語言模型在編碼臨床知識方面的表現(xiàn)，還詳解了谷歌醫(yī)療大模型Med-PaLM的進(jìn)化過程。

最終的研究結(jié)果顯示，一組臨床醫(yī)生對谷歌和DeepMind團隊的醫(yī)療大模型Med-PaLM回答的評分高達(dá)92.6%，與現(xiàn)實中人類臨床醫(yī)生的水平（92.9%）相當(dāng)。此外，Med- PaLM僅5.9%的答案被評為可能導(dǎo)致“有害”結(jié)果，與臨床醫(yī)生生成的答案（5.7%）的結(jié)果相似。

視覺中國圖

《每日經(jīng)濟新聞》記者了解到，盡管如此，該研究團隊承認(rèn)，鑒于現(xiàn)實醫(yī)學(xué)領(lǐng)域的復(fù)雜性，在Med-PaLM實現(xiàn)大規(guī)模應(yīng)用前，仍需克服不少限制。

模型可媲美人類醫(yī)生

在這篇最新的《自然》論文中，谷歌和DeepMind科學(xué)家團隊介紹了全新的MultiMedQA評估基準(zhǔn)，專門用于評估大語言模型在編碼臨床知識方面的表現(xiàn)。

該基準(zhǔn)結(jié)合了六個現(xiàn)有醫(yī)療問答數(shù)據(jù)集（MedQA、MedMCQA、PubMedQA、LiveQA 、MedicationQA和MMLU），涵蓋專業(yè)醫(yī)學(xué)、研究和消費者查詢等多個方面，以及一個全新的在線搜索醫(yī)療問題庫數(shù)據(jù)集HealthSearchQA，力圖從多方面把AI培養(yǎng)成一名合格的醫(yī)生。

此外，該團隊提出了一個基于人類評估的框架模型，該模型包括多個維度，例如事實、理解、推理，以及可能的偏見。

該團隊在MultiMedQA上對擁有5400億參數(shù)的谷歌大型語言模型PaLM（Pathways Language Model）及其變體Flan-PaLM進(jìn)行了評估。

在實驗中，研究人員采用了提示策略組合，F(xiàn)lan-PaLM在每個MultiMedQA多選題數(shù)據(jù)集上都達(dá)到了極高的準(zhǔn)確率，其中在MedQA（美國醫(yī)學(xué)執(zhí)照考試類型問題）上的準(zhǔn)確率為67.6%，比之前的技術(shù)水平高出17%以上。

論文指出，雖然Flan- PaLM在MedQA的多項選擇題上表現(xiàn)出色，但它對病人醫(yī)療問題的回答卻暴露出關(guān)鍵的差距。為了解決這個問題，谷歌科學(xué)家團隊提出了指令提示調(diào)整，讓Flan-PaLM進(jìn)一步與醫(yī)學(xué)接軌，產(chǎn)生了Med-PaLM。

在評估中，Med-PaLM表現(xiàn)令人鼓舞，一組臨床醫(yī)生對其回答的評分為92.6%，與現(xiàn)實中臨床醫(yī)生的水平（92.9%）相當(dāng)。

除了專家評估，研究團隊還邀請了五名非醫(yī)學(xué)領(lǐng)域?qū)＜遥ㄓ《鹊姆轻t(yī)學(xué)背景普通人）來評估答案。

結(jié)果顯示，F(xiàn)lan-PaLM給出的答案在60.6%的案例中被認(rèn)為是有用的，而Med-PaLM給出的答案準(zhǔn)確度則增加到80.3%。

同樣，在90.8%的情況下，F(xiàn)lanPaLM的答案被判斷為直接解決了病人提出的問題，而Med-PaLM將這一比例提高到了94.4%，人類臨床醫(yī)生這一比列則在95.9%。換句話說，在直接解決病人問題方面，Med-PaLM幾乎可以和人類臨床醫(yī)生的能力相媲美。

論文稱，雖然這些結(jié)果非常令人鼓舞，但現(xiàn)實中醫(yī)學(xué)領(lǐng)域相當(dāng)復(fù)雜。因此，還有必要對該大語言模型進(jìn)行進(jìn)一步評估，特別是在安全性、公平性和偏見方面。在將這些模型運用到臨床應(yīng)用之前，還有許多限制需要克服。研究人員預(yù)計最新的這項研究將激發(fā)患者、消費者、AI研究人員、臨床醫(yī)生、社會科學(xué)家、倫理學(xué)家、政策制定者和其他利益相關(guān)方之間進(jìn)一步對話和合作，從而負(fù)責(zé)任地將這些早期研究成果轉(zhuǎn)換為真正的現(xiàn)實應(yīng)用。

但不可否認(rèn)的是，谷歌科學(xué)家團隊的研究表明，隨著模型規(guī)模的擴大和提示詞的調(diào)整，其理解能力、知識回憶和推理能力均有所提高，這表明大語言模型在醫(yī)學(xué)領(lǐng)域具有潛在的實用性。此外，研究團隊的人類評估也揭示了當(dāng)今大語言模型的局限性，也強調(diào)了評估框架和方法在為臨床應(yīng)用創(chuàng)建安全、有用的大語言模型方面的重要性。

科技巨頭紛紛布局

基礎(chǔ)模型和大語言模型的出現(xiàn)為醫(yī)學(xué)AI的發(fā)展提供了助力?！睹咳战?jīng)濟新聞》記者注意到，其實除了谷歌和其旗下的DeepMind外，微軟、IBM等科技大廠一直在持續(xù)關(guān)注AI醫(yī)療方面的應(yīng)用落地。在這輪大模型浪潮之前，AI檢測心電圖、X光片已在一些醫(yī)院中投入應(yīng)用。

據(jù)《每日經(jīng)濟新聞》記者了解，過去數(shù)年來，AI在醫(yī)療領(lǐng)域的發(fā)展迅猛，為醫(yī)療行業(yè)帶來了革命性的變革和巨大的潛力。

根據(jù)麥肯錫咨詢的數(shù)據(jù)，AI每年可以創(chuàng)造3.5萬億至5.8萬億美元的商業(yè)價值。預(yù)計到2025年，全球AI應(yīng)用市場總值將達(dá)到1270億美元，其中AI醫(yī)療占據(jù)1/5的份額，處于高速成長階段。

知名市場調(diào)研公司ReportLinker此前針對全球醫(yī)療保健AI市場的年度報告曾預(yù)測，全球醫(yī)療保健AI市場規(guī)模將從2023年的146億美元增長到2028年的1027億美元，期間復(fù)合年增長率47.6%。

中國AI產(chǎn)業(yè)發(fā)展迅速，自2019年以來，AI醫(yī)療以40%~60%的增速快速發(fā)展，中國的AI醫(yī)療核心軟件市場規(guī)模已接近30億元，并且還有重資產(chǎn)性質(zhì)的AI醫(yī)療機器人，總體規(guī)模接近60億元。

中泰證券在一份研報中指出，AI+醫(yī)療/醫(yī)藥未來空間廣闊，當(dāng)下值得重點關(guān)注。該研報指出，AI病理、AI影像和AI制藥均是未來可能的應(yīng)用領(lǐng)域。

中泰證券認(rèn)為，傳統(tǒng)病理診斷方法主要依靠人工閱片分析提供依據(jù)，自動化程度低，耗時長效率低，且診斷正確與否比較依賴醫(yī)生閱片經(jīng)驗以及主觀判斷；另一方面病理醫(yī)生培養(yǎng)周期長，從業(yè)門檻高，地域資源分布不均勻，供需極度不平衡，影響了行業(yè)整體的發(fā)展節(jié)奏。相比于傳統(tǒng)的病理診斷，AI輔助有望提升閱片速度、提高診斷精準(zhǔn)度，加速市場擴容，是未來的行業(yè)趨勢。

“近年來，AI病理領(lǐng)域的監(jiān)管條例、審核標(biāo)準(zhǔn)逐漸規(guī)范，技術(shù)應(yīng)用越發(fā)成熟，我們預(yù)計 2023年首批AI病理診斷三類證有望獲批，行業(yè)有望率先在細(xì)胞病理領(lǐng)域迎來商業(yè)化拐點，當(dāng)前正是布局的最佳時點，技術(shù)積累深厚，入院能力強的頭部玩家占據(jù)明顯優(yōu)勢，有望帶動產(chǎn)品加速商業(yè)化放量。”中泰證券分析師在上述研報中寫道。

封面圖片來源：視覺中國圖