腦機(jī)接口重磅研究登上《自然》！毫秒之間破譯大腦信號(hào)，預(yù)測(cè)畫面準(zhǔn)確率高達(dá)95%，但團(tuán)隊(duì)坦言并不能“讀心”

每經(jīng)記者 蔡鼎    每經(jīng)編輯 蘭素英

多年以來(lái)，人類科學(xué)家都有一個(gè)疑問：是否有可能僅根據(jù)大腦信號(hào)重現(xiàn)某人所看到的東西？

近日，瑞士洛桑聯(lián)邦理工學(xué)院（下稱EPFL）的研究人員發(fā)表在《自然》雜志上的一項(xiàng)研究朝著（腦機(jī)接口）這個(gè)領(lǐng)域邁出了一大步，他們引入了一種全新的、基于人工智能的算法，以高精度捕捉到了動(dòng)物大腦的動(dòng)態(tài)。

在演示中，來(lái)自EPFL的研究人員讓一只老鼠觀看了一部上世紀(jì)60年代的黑白老電影，并使用該團(tuán)隊(duì)開發(fā)的一種新型人工智能工具重建了老鼠所看到的內(nèi)容。不僅如此，該工具還可以預(yù)測(cè)下一個(gè)畫面，準(zhǔn)確率甚至還高達(dá)95%。

一時(shí)間內(nèi)，類似“人工智能讀心術(shù)實(shí)現(xiàn)了”的呼聲漸高，但網(wǎng)上也出現(xiàn)了對(duì)該研究的質(zhì)疑，不過(guò)EPFL的研究團(tuán)隊(duì)承認(rèn)，他們的技術(shù)確實(shí)不能“讀心”，但研究證明了新的機(jī)器學(xué)習(xí)算法能夠從簡(jiǎn)單的網(wǎng)絡(luò)和有限的數(shù)據(jù)中學(xué)習(xí)，顯示了出色的能力。

CEBRA重建畫面與原畫面幾乎一樣

EPFL團(tuán)隊(duì)發(fā)表在《自然》雜志上的這項(xiàng)研究是一種基于數(shù)學(xué)的新型機(jī)器學(xué)習(xí)算法，被稱為CEBRA，可以學(xué)習(xí)神經(jīng)代碼中的隱藏結(jié)構(gòu)，并預(yù)測(cè)復(fù)雜的信息。CEBRA從原始神經(jīng)數(shù)據(jù)中學(xué)到的信息可以在解碼訓(xùn)練后進(jìn)行測(cè)試，即一種用于腦機(jī)接口的方法，EPFL的研究人員已經(jīng)證明，預(yù)訓(xùn)練的CEBRA模型可以在毫秒內(nèi)進(jìn)行動(dòng)物腦神經(jīng)的解碼。此外，CEBRA并不局限于視覺皮層神經(jīng)元，甚至大腦數(shù)據(jù)。EPFL的研究還表明，CEBRA可以用來(lái)預(yù)測(cè)靈長(zhǎng)類動(dòng)物手臂的運(yùn)動(dòng)。

圖片來(lái)源：Nature

EPFL的Bertarelli綜合神經(jīng)科學(xué)主席、該研究的首席研究員Mackenzie Mathis表示，“這項(xiàng)工作只是神經(jīng)技術(shù)中實(shí)現(xiàn)高性能腦機(jī)接口所需的理論算法的一步。”

Mathis和她的團(tuán)隊(duì)在研究中，觀察了50只老鼠在觀看一段30秒的電影片段時(shí)的大腦活動(dòng)。他們讓這些老鼠看了九遍該電影片段。然后，研究人員訓(xùn)練了CEBRA，將大腦數(shù)據(jù)與電影片段聯(lián)系起來(lái)。

最后，該團(tuán)隊(duì)將該電影片段播放了第十次，并測(cè)試了CEBRA，以利用大腦活動(dòng)數(shù)據(jù)測(cè)試片段內(nèi)幀節(jié)的順序。在EPFL團(tuán)隊(duì)公開的一段視頻中，一個(gè)單獨(dú)的屏幕展示了CEBRA重建的老鼠所看到的片段，盡管視頻會(huì)間歇性地出現(xiàn)卡頓，但重建的畫面與原畫面幾乎一樣。

圖片來(lái)源：EPFL

潛在臨床應(yīng)用廣泛

更令人驚訝的是，CEBRA能夠在1秒內(nèi)以95%的準(zhǔn)確率預(yù)測(cè)下一個(gè)畫面。為了學(xué)習(xí)老鼠視覺系統(tǒng)中潛在的結(jié)構(gòu)，CEBRA可以在最初的訓(xùn)練階段將大腦信號(hào)和電影特征映射后，直接從大腦信號(hào)中預(yù)測(cè)電影幀。

大腦信號(hào)可以直接通過(guò)插入小鼠大腦視覺皮層區(qū)域的電極探針去測(cè)量大腦活動(dòng)來(lái)獲得，或者使用由轉(zhuǎn)基因小鼠的光學(xué)探針來(lái)獲得，這些轉(zhuǎn)基因小鼠經(jīng)過(guò)改造，可以使激活的神經(jīng)元發(fā)出綠光。在訓(xùn)練期間，CEBRA學(xué)會(huì)了將大腦活動(dòng)映射到特定的幀節(jié)。不過(guò)，考慮到在老鼠的大腦中，這個(gè)區(qū)域由大約50萬(wàn)個(gè)神經(jīng)元組成，CEBRA在視覺皮層中只有不到1%的神經(jīng)元表現(xiàn)良好。

“CEBRA的目標(biāo)是揭示復(fù)雜系統(tǒng)中的結(jié)構(gòu)?？紤]到大腦是宇宙中最復(fù)雜的結(jié)構(gòu)，它是CEBRA的終極測(cè)試空間。此外，CEBRA還可以讓我們深入了解大腦如何處理信息，并可以通過(guò)結(jié)合動(dòng)物甚至物種的數(shù)據(jù)來(lái)發(fā)現(xiàn)神經(jīng)科學(xué)的新原理。”Mathis說(shuō)道。

“這種算法并不局限于神經(jīng)科學(xué)研究，因?yàn)樗梢詰?yīng)用于許多涉及時(shí)間或動(dòng)物關(guān)節(jié)信息的數(shù)據(jù)集，包括動(dòng)物行為和基因表達(dá)數(shù)據(jù)。因此，潛在的臨床應(yīng)用是非常廣泛的。”Mathis補(bǔ)充道。

圖片來(lái)源：mackenziemathislab

Mathis的團(tuán)隊(duì)在《自然》上發(fā)表的論文摘要顯示，“將行為動(dòng)作映射到神經(jīng)活動(dòng)是神經(jīng)科學(xué)的一個(gè)基本目標(biāo)。隨著我們記錄大量神經(jīng)行為的數(shù)據(jù)能力的提高，人們對(duì)在自適應(yīng)行為期間建立神經(jīng)動(dòng)力學(xué)模型以探測(cè)神經(jīng)表征的興趣越來(lái)越大。盡管神經(jīng)潛在嵌入可以揭示行為的潛在相關(guān)性，但我們?nèi)狈δ軌蛎鞔_靈活地利用關(guān)節(jié)行為和神經(jīng)數(shù)據(jù)來(lái)揭示神經(jīng)動(dòng)力學(xué)的非線性技術(shù)。EPFL的團(tuán)隊(duì)用一種新的編程方式CEBRA填補(bǔ)了這一空白。”

“我們驗(yàn)證了CEBRA的準(zhǔn)確性，并展示了我們的工具在鈣和電生理數(shù)據(jù)集上的實(shí)用性，跨越感覺和運(yùn)動(dòng)任務(wù)，以及跨物種的簡(jiǎn)單或復(fù)雜行為。最后，我們證明了CEBRA可以用于空間映射，揭示復(fù)雜的運(yùn)動(dòng)學(xué)特征，在雙光子和神經(jīng)像素?cái)?shù)據(jù)之間產(chǎn)生一致的潛在空間，并能對(duì)來(lái)自視覺皮層的自然視頻來(lái)進(jìn)行快速、高精度的解碼。”該論文摘要補(bǔ)充道。

研究負(fù)責(zé)人坦言不能“讀心”，但技術(shù)仍是突破

《每日經(jīng)濟(jì)新聞》記者注意到，這其實(shí)并不是研究人員首次解碼大腦神經(jīng)信號(hào)來(lái)生成圖像內(nèi)容。

上個(gè)月，日本大阪大學(xué)的研究人員就通過(guò)使用穩(wěn)定擴(kuò)散模型，從大腦活動(dòng)中重建了高分辨率的和高準(zhǔn)確率的圖像。此外，荷蘭內(nèi)梅亨大學(xué)的科學(xué)家此前還開發(fā)了一種“讀心術(shù)”技術(shù)，可以將人類的腦電波轉(zhuǎn)換成照片。

對(duì)于EPFL團(tuán)隊(duì)這項(xiàng)通過(guò)人工智能工具解析小鼠大腦信號(hào)、成功重構(gòu)出觀看的電影片段的技術(shù)，有業(yè)內(nèi)人士表示質(zhì)疑。

在推特上，GPT3.5和GPT4提示管理員、AI集成方面的研究人士Spencer Bentley稱，“我并非想貶低這項(xiàng)出色的工作，但這不是從老鼠看到的東西中創(chuàng)造視頻，而是匹配哪一幀視頻最符合模型解釋當(dāng)前幀的內(nèi)容，所以......它不是產(chǎn)生視頻數(shù)據(jù)，而是一個(gè)幀號(hào)，然后在屏幕上顯示該幀。這個(gè)區(qū)別很微妙，但很重要。”

圖片來(lái)源：推特

對(duì)于這類質(zhì)疑，《每日經(jīng)濟(jì)新聞》記者先后向《自然》雜志、Mackenzie Mathis及其團(tuán)隊(duì)成員發(fā)送置評(píng)郵件，但截至發(fā)稿尚未收到回復(fù)。

對(duì)于Spencer的質(zhì)疑，Mackenzie Mathis也在該條推文下回復(fù)稱，“謝謝！我同意（你的觀點(diǎn)）——這項(xiàng)技術(shù)是視頻幀的預(yù)測(cè)而不是像素預(yù)測(cè)這種說(shuō)法。謙虛地說(shuō)，我還是認(rèn)為這項(xiàng)技術(shù)令人印象深刻，因?yàn)橐郧暗募夹g(shù)不可能達(dá)到這樣的精度，而這只是我們算法的一個(gè)例子，搞清細(xì)節(jié)很重要。”

圖片來(lái)源：推特

對(duì)此，Spencer進(jìn)一步回復(fù)稱，“你們?nèi)〉玫某删褪求@人的。祝您和團(tuán)隊(duì)一切順利。”

隨后，Mackenzie Mathis發(fā)推文稱，“我們不能‘讀心’，但我們的研究證明，新的機(jī)器學(xué)習(xí)算法能夠從簡(jiǎn)單的網(wǎng)絡(luò)和有限的數(shù)據(jù)中學(xué)習(xí)，顯示了出色的表征學(xué)習(xí)。”

圖片來(lái)源：推特

“下一步是將CEBRA集成到腦機(jī)接口中，以建立強(qiáng)大的嵌入，從而使用所需的硬件進(jìn)行高性能解碼。我們的工作只是朝著開發(fā)神經(jīng)技術(shù)所需的理論算法邁出的一步而已。”Mathis的團(tuán)隊(duì)在論文中寫道。

封面圖片來(lái)源： 新華社記者 金立旺 攝