AI看病比醫(yī)生強(qiáng)？哈佛、斯坦福最新研究：o1-preview模型診斷準(zhǔn)確率高達(dá)近80%

每經(jīng)記者 蔡鼎    每經(jīng)實(shí)習(xí)記者 宋欣悅    每經(jīng)編輯 蘭素英    

哈佛大學(xué)、斯坦福大學(xué)、微軟等頂尖學(xué)府和機(jī)構(gòu)的多名醫(yī)學(xué)、AI專家日前聯(lián)合開(kāi)展了一項(xiàng)研究，對(duì)OpenAI旗下o1-preview模型在醫(yī)學(xué)推理任務(wù)的表現(xiàn)進(jìn)行了綜合評(píng)估。

結(jié)果顯示，o1-preview模型在多項(xiàng)任務(wù)中表現(xiàn)出卓越的能力，在鑒別診斷生成（判斷“這是什么病”）、診斷臨床推理（判斷“這最可能是什么病”）和管理推理（判斷“應(yīng)該如何治療”）方面，甚至達(dá)到了超人類水平。

目前，AI技術(shù)在一些醫(yī)院已初步展開(kāi)應(yīng)用，覆蓋了分診導(dǎo)診、預(yù)先問(wèn)診、病歷生成等多種場(chǎng)景。

清華大學(xué)電子工程系長(zhǎng)聘教授、清華大學(xué)精準(zhǔn)醫(yī)學(xué)研究院臨床大數(shù)據(jù)中心共同主任吳及告訴《每日經(jīng)濟(jì)新聞》記者，“AI在醫(yī)療領(lǐng)域的應(yīng)用難度較大，但會(huì)逐步滲透到一些典型場(chǎng)景中。”

圖片來(lái)源：論文《大型語(yǔ)言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

o1-preview診斷準(zhǔn)確率高達(dá)近80%

該研究通過(guò)五個(gè)實(shí)驗(yàn)對(duì)o1-preview模型進(jìn)行了綜合能力評(píng)估，包括鑒別診斷生成、診斷推理、分診鑒別診斷、概率推理和管理推理能力。

這些實(shí)驗(yàn)由醫(yī)學(xué)專家使用經(jīng)過(guò)驗(yàn)證的心理測(cè)量方法進(jìn)行評(píng)估，旨在將o1-preview的性能與以前的人類對(duì)照組和早期大型語(yǔ)言模型基準(zhǔn)進(jìn)行比較。結(jié)果表明，與醫(yī)生、已有的大語(yǔ)言模型相比，o1-preview在鑒別診斷、診斷臨床推理和管理推理的質(zhì)量都有明顯提高。

在評(píng)估o1-preview鑒別診斷生成的能力時(shí)，研究人員使用了發(fā)表在國(guó)際頂級(jí)醫(yī)學(xué)期刊《新英格蘭醫(yī)學(xué)雜志》（NEJM）上的臨床病理會(huì)議（CPC）病例。結(jié)果表明，o1-preview在鑒別診斷中的準(zhǔn)確率高達(dá)78.3%。

圖片來(lái)源：論文《大型語(yǔ)言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

值得注意的是，o1-preview在88.6%的病例中得出了準(zhǔn)確或非常接近準(zhǔn)確的診斷結(jié)果，而GPT-4只有72.9%。

圖片來(lái)源：論文《大型語(yǔ)言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

此外，在87.5%的病例中，o1-preview選擇了恰當(dāng)?shù)臋z查項(xiàng)目；另在11%的病例中，兩位醫(yī)生均認(rèn)為該模型所選檢查方案是有效的；而在僅有的1.5%的病例中，其檢查方案被兩位醫(yī)生認(rèn)為是無(wú)效的。

圖片來(lái)源：論文《大型語(yǔ)言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

為了進(jìn)一步評(píng)估o1-preview的臨床推理能力，研究人員使用了NEJM Healer（一款在線工具，學(xué)習(xí)者可以通過(guò)與虛擬患者的互動(dòng)來(lái)提升他們的臨床推理和診斷技能）中的20個(gè)臨床病例。

結(jié)果表明，o1-preview的表現(xiàn)明顯優(yōu)于GPT-4、主治醫(yī)師和住院醫(yī)師。在80例病例中，有78例獲得了完美的R-IDEA評(píng)分。R-IDEA評(píng)分是一個(gè)10分制量表，用于評(píng)估臨床推理能力。

圖片來(lái)源：論文《大型語(yǔ)言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

此外，研究人員還通過(guò)灰質(zhì)管理案例和標(biāo)志性診斷案例評(píng)估了o1-preview的管理和診斷推理能力。

在灰質(zhì)管理案例中，o1-preview得分明顯高于GPT-4、使用GPT-4的醫(yī)生和使用傳統(tǒng)資源的醫(yī)生。在標(biāo)志性診斷案例中，o1-preview的性能與GPT-4相當(dāng)，但優(yōu)于使用GPT-4或傳統(tǒng)資源的醫(yī)生。

研究仍有局限性

研究表明，大語(yǔ)言模型如o1-preview在輔助醫(yī)生進(jìn)行診斷決策方面具有巨大潛力。然而，該項(xiàng)研究也具有部分局限性。

首先，o1-preview有“啰嗦”傾向，而這種特性可能會(huì)讓其在試驗(yàn)中取得更高分。

其次，目前的研究只反映了模型性能，但現(xiàn)實(shí)中離不開(kāi)人機(jī)交互。人機(jī)交互對(duì)開(kāi)發(fā)臨床決策輔助工具至關(guān)重要，下一步應(yīng)該確定大語(yǔ)言模型（如o1-preview）能否增強(qiáng)人機(jī)交互。人類與計(jì)算機(jī)之間的交互或許是不可預(yù)測(cè)的，表現(xiàn)良好的模型與人類交互中甚至可能出現(xiàn)能力退化的情況。

第三，研究只考察了臨床推理的五個(gè)方面，但目前已知有幾十個(gè)其它任務(wù)可能對(duì)實(shí)際的臨床護(hù)理有更大影響。

第四，研究案例集中在內(nèi)科，并不能代表所有醫(yī)療實(shí)踐。此外，研究在設(shè)計(jì)上也未將診斷類型、患者個(gè)體差異以及就醫(yī)地點(diǎn)的不同等因素納入考量。

研究人員強(qiáng)調(diào)，醫(yī)學(xué)領(lǐng)域診斷推理的基準(zhǔn)正迅速接近飽和狀態(tài)，因此亟需開(kāi)發(fā)更具挑戰(zhàn)性和貼近實(shí)際應(yīng)用的評(píng)估手段。他們呼吁在真實(shí)的臨床環(huán)境中測(cè)試這些技術(shù)，并為臨床醫(yī)生與人工智能的合作創(chuàng)新做好準(zhǔn)備。

專家：AI將逐步滲透醫(yī)療典型場(chǎng)景

目前，AI技術(shù)在一些醫(yī)院已初步展開(kāi)應(yīng)用，覆蓋了分診導(dǎo)診、預(yù)先問(wèn)診和病歷生成等多種場(chǎng)景。

美國(guó)耶魯大學(xué)教授威廉·基西克（WiliamKissick）提出了著名的“醫(yī)療不可能三角”理論。這個(gè)理論指出，在既定的約束條件下，一個(gè)國(guó)家的醫(yī)療系統(tǒng)很難同時(shí)實(shí)現(xiàn)提高醫(yī)療服務(wù)質(zhì)量、增加醫(yī)療服務(wù)可及性和降低醫(yī)療服務(wù)的價(jià)格?，F(xiàn)實(shí)中的醫(yī)療困境，如“看病難、看病貴”以及不斷出現(xiàn)的醫(yī)患矛盾，正是傳統(tǒng)醫(yī)療體系“醫(yī)療不可能三角”的具體表現(xiàn)。

圖片來(lái)源：甲子光年智庫(kù)

而醫(yī)療AI的興起可能為解決這一難題提供新的答案。AI賦能下的醫(yī)療服務(wù)可以大規(guī)模接待患者，實(shí)現(xiàn)隨時(shí)隨地的無(wú)限供應(yīng)，并且其水平會(huì)隨著持續(xù)訓(xùn)練迅速提升，已經(jīng)達(dá)到了具有10至15年臨床經(jīng)驗(yàn)醫(yī)生的水準(zhǔn)，且每月還在不斷進(jìn)步。

清華大學(xué)電子工程系長(zhǎng)聘教授、清華大學(xué)精準(zhǔn)醫(yī)學(xué)研究院臨床大數(shù)據(jù)中心共同主任吳及在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)指出，相比自動(dòng)化、智能設(shè)備等場(chǎng)景，AI在醫(yī)療場(chǎng)景的應(yīng)用更為復(fù)雜。

吳及提到，醫(yī)療本質(zhì)上是人對(duì)人的服務(wù)，這一過(guò)程非常復(fù)雜，醫(yī)學(xué)診療不僅包含理論和科學(xué)，還涉及大量經(jīng)驗(yàn)，很多時(shí)候依賴專家的直覺(jué)。因此，“AI在醫(yī)療領(lǐng)域的應(yīng)用難度較大，但會(huì)逐步滲透到一些典型場(chǎng)景中。”

據(jù)市場(chǎng)研究機(jī)構(gòu)Global Market Insights的統(tǒng)計(jì)，2023年，醫(yī)療保健領(lǐng)域的AI市場(chǎng)規(guī)模價(jià)值為187億美元，預(yù)計(jì)到2032年將達(dá)到3171億美元，2024年至2032年的復(fù)合年增長(zhǎng)率為37.1%。