2024-06-03 18:25:03
大模型長文本一度被吹捧為行業(yè)的未來,然而,這項(xiàng)技術(shù)是否真的值得如此高度推崇?又或許,其中隱藏的只是一場資本的角力游戲。
長文本技術(shù)今年來風(fēng)靡全球,一度被視為人工智能領(lǐng)域的重要突破之一,這項(xiàng)技術(shù)的應(yīng)用范圍廣泛,涵蓋自動寫作、智能客服、新聞報(bào)道等諸多領(lǐng)域,看似威力無窮。
但對于大模型長文本的真實(shí)效果,事實(shí)上業(yè)內(nèi)也有人質(zhì)疑,認(rèn)為部分大模型使用的并非真正的長文本技術(shù),而是RAG技術(shù)(即檢索增強(qiáng)生成技術(shù)),可能存在邏輯錯(cuò)誤、信息不準(zhǔn)確甚至是完全虛構(gòu)的情況。這種問題在某些場景下尤為突出,比如金融分析、醫(yī)療診斷等需要高度準(zhǔn)確性的領(lǐng)域,一篇虛假的長文本分析可能導(dǎo)致嚴(yán)重的后果。
與此同時(shí),資本市場對大模型長文本技術(shù)的熱情卻愈發(fā)高漲。一些知名的科技投資機(jī)構(gòu)紛紛將目光投向這一領(lǐng)域,希望能夠在這場技術(shù)革命中分得一杯羹。
資本賺錢才是真相?在這場大模型長文本的風(fēng)暴中,或許是如此。技術(shù)的價(jià)值固然重要,但更重要的是能否為投資者帶來可觀的回報(bào)。或許,在技術(shù)和資本之間,還需要找到一種平衡,才能真正實(shí)現(xiàn)人工智能的價(jià)值和意義。
長文本處理自年初突然成為人們關(guān)注的焦點(diǎn)之一。
然而,在現(xiàn)階段的長文本技術(shù)主要依賴的三種方法,依舊存在各自的局限性。算力與硬件的限制、滑動窗口的信息丟失以及RAG技術(shù)的信息遺漏,都在一定程度上制約了長文本技術(shù)的發(fā)展。
堆算力、堆硬件是目前主流的一種方式。大模型底層技術(shù)transformer架構(gòu)的限制使得對上百萬長文本的閱讀成為一項(xiàng)艱巨的任務(wù)。每一個(gè)“字”都會被換算成大模型能讀懂的token(即最小語義單元)來計(jì)算,導(dǎo)致算力成本高昂。企業(yè)只能不斷堆積算力和硬件,以支撐大規(guī)模的計(jì)算需求。然而,復(fù)雜外部因素導(dǎo)致資源有限,尤其是對于創(chuàng)業(yè)公司而言,實(shí)現(xiàn)算力自由成為一大挑戰(zhàn)。
滑動窗口技術(shù)是另一種常見的處理長文本的方法。這種方法將長文本分割成一段一段,并分別進(jìn)行總結(jié)和標(biāo)記。然而,這種處理方式往往會導(dǎo)致信息的丟失,無法完整理解長文本的內(nèi)容。最終的效果會大打折扣,無法達(dá)到理想的效果。
RAG技術(shù)(檢索增強(qiáng)生成技術(shù))被某些AI創(chuàng)業(yè)公司鼓吹為解決長文本處理的利器。RAG技術(shù)可以從文檔中搜索出相關(guān)內(nèi)容,并將這些內(nèi)容提供給大模型進(jìn)行推理。然而,這種技術(shù)可能只讀取文檔的部分內(nèi)容,然后通過從互聯(lián)網(wǎng)檢索的信息進(jìn)行總結(jié)和分析。這種方式往往會遺漏關(guān)鍵信息,導(dǎo)致回答的質(zhì)量不高。
然而目前來看,RAG技術(shù)也暴露出了一些問題。首先,其對外部搜索的依賴性非常高,需要依靠龐大的文檔數(shù)據(jù)庫來支撐生成過程。這就意味著,若文檔庫的質(zhì)量或覆蓋范圍不足,可能會導(dǎo)致生成的內(nèi)容質(zhì)量參差不齊。其次,由于檢索結(jié)果是無法完全控制的,因此也存在著不可控的風(fēng)險(xiǎn),可能會引入一些不準(zhǔn)確或不相關(guān)的信息,影響最終的結(jié)果。
在這樣的背景下,事實(shí)上一些從傳統(tǒng)搜索引擎起家的大模型公司似乎具備了更強(qiáng)的競爭優(yōu)勢。這些公司擁有龐大的文檔數(shù)據(jù)庫和成熟的搜索技術(shù),能夠更好地支撐RAG技術(shù)的應(yīng)用。同時(shí),傳統(tǒng)搜索公司在檢索增強(qiáng)方面擁有更豐富的經(jīng)驗(yàn)和資源,能夠更好地控制檢索結(jié)果,提高內(nèi)容的質(zhì)量和相關(guān)性。
盡管長文本在某些專業(yè)領(lǐng)域有其獨(dú)特之處,但在日常應(yīng)用中,非長文本創(chuàng)作的需求實(shí)則更為廣泛,而且上下文理解能力也顯得更加重要。
目前來看,長文本處理的算力限制使得其對上下文的理解能力有所不足。盡管長文本能力對金融、法律、科研等領(lǐng)域的專業(yè)人士來說可能是不可或缺的工具,幫助他們快速閱讀研究報(bào)告、分析財(cái)務(wù)數(shù)據(jù)、閱讀科研論文等。然而,長文本處理需要大量的計(jì)算資源支持,這在一定程度上,依舊限制著對上下文的深度理解。
與此同時(shí),長文本是否“越長越好”爭議依舊存在。一些業(yè)內(nèi)人士認(rèn)為,今年大模型的開放文本長度并不具備太大的意義,據(jù)《經(jīng)濟(jì)觀察報(bào)》報(bào)道,有投資人表示,“去年大模型公司都在卷參數(shù),從千億卷到萬億,意義并不大。”莊明浩稱,今年大模型開卷的文本長度,可能也沒有太大意義,“誰會經(jīng)常把1000萬字的文本喂給大模型?”
得益于在金融、法律、科研等領(lǐng)域,長文本的處理需求日益增加,長文本處理能力確實(shí)被認(rèn)為是大模型的一大優(yōu)勢。然而,長文本處理能力在某些特定領(lǐng)域的突出表現(xiàn)并不意味著大模型發(fā)展應(yīng)該完全偏向于長文本。相反,作為從業(yè)者而言,或許應(yīng)該警惕技術(shù)發(fā)展的偏離,應(yīng)該回歸用戶的實(shí)際需求,尋找更廣泛、更實(shí)用的應(yīng)用場景。
長文本處理能力固然重要,但并不是所有用戶都需要長文本處理能力。在實(shí)際應(yīng)用中,絕大多數(shù)用戶更關(guān)心的是如何更高效地完成日常任務(wù),如寫作、搜索、語音識別等。因此,大模型的發(fā)展應(yīng)該更加注重普適性,滿足更廣泛的用戶需求。
隨著AI普惠化成為主流趨勢,對于大部分科技公司而言,讓更多人能夠分享到科技的成果是更加務(wù)實(shí),同時(shí)也是更加可持續(xù)的選擇。對絕大多數(shù)用戶而言,日常非長文本創(chuàng)作需求更為迫切,提高創(chuàng)作效率是真正的剛需。在這方面,上下文理解能力的提升比長文本處理能力更為關(guān)鍵。未來,AI技術(shù)的發(fā)展方向應(yīng)當(dāng)更加注重滿足日常生活中的實(shí)際需求,以推動技術(shù)的普及和應(yīng)用的廣泛化。
在AIGC時(shí)代飛速向前的關(guān)鍵時(shí)刻,大模型的開發(fā)者和研究者,也應(yīng)當(dāng)時(shí)刻審視技術(shù)的發(fā)展方向,回歸用戶需求,實(shí)現(xiàn)技術(shù)的真正價(jià)值。只有這樣才能夠?qū)崿F(xiàn)技術(shù)的可持續(xù)發(fā)展,為人類社會的進(jìn)步作出更大的貢獻(xiàn)。
特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關(guān)注每日經(jīng)濟(jì)新聞APP