分不清9.9與9.11誰大？ 大模型數(shù)學(xué)能力堪憂

每經(jīng)記者 可楊    每經(jīng)編輯 梁梟    

13.11%和13.8%哪個(gè)大？9.9和9.11哪個(gè)大？

兩道小學(xué)數(shù)學(xué)難度的題目難倒了眾多主流大模型，在比大小的過程中，不少大模型給出了錯(cuò)誤的答案。此外，此前《每日經(jīng)濟(jì)新聞》發(fā)布的《每日經(jīng)濟(jì)新聞大模型評(píng)測(cè)報(bào)告（第1期）》中，主流大模型被要求計(jì)算企業(yè)營業(yè)收入復(fù)合增長率時(shí)，沒有一家大模型計(jì)算出正確答案。

7月17日，有大模型企業(yè)人士向記者表示，對(duì)于大模型而言，這不是很難解決的技術(shù)問題，只要“喂”了這方面的數(shù)據(jù)，就能得到準(zhǔn)確的答案，只不過大部分的大模型廠商沒有把這方面的訓(xùn)練作為重心，所以可能會(huì)出現(xiàn)上述不準(zhǔn)確的回答。

大模型比大小“翻車”

由綜藝節(jié)目《歌手2024》排名引發(fā)的熱議蔓延到了大模型領(lǐng)域，也成了一場(chǎng)針對(duì)大模型數(shù)學(xué)能力的小測(cè)。

在《每日經(jīng)濟(jì)新聞》記者7月17日的測(cè)試中，對(duì)于13.11%與13.8%誰大的問題，除了智譜清言外，文心一言、通義千問、Kimi、商湯商量、百川智能百小應(yīng)等大模型均給出了正確回答。

大部分大模型都在給出答案的同時(shí)呈現(xiàn)了推理過程。智譜清言給出的推理過程顯示，在比較13.11%和13.8%時(shí)，13.11%是更大的數(shù)值。這是因?yàn)楫?dāng)比較兩個(gè)百分?jǐn)?shù)時(shí)，首先比較整數(shù)部分，如果它們相同，則比較小數(shù)部分。在這里，兩個(gè)數(shù)的整數(shù)部分都是13，但13.11的小數(shù)部分11大于13.8的小數(shù)部分8，因此13.11%大于13.8%。

從推理過程判斷，可能由于小數(shù)點(diǎn)后數(shù)位不同，大模型在比較過程中產(chǎn)生了幻覺。經(jīng)過兩輪提問后，智譜清言給出了正確回答。

當(dāng)記者把問題換成“9.9與9.11誰大”，零一萬物的萬知大模型等同樣在一開始給出了錯(cuò)誤答案，當(dāng)記者進(jìn)一步追問“9.11減9.9等于多少”，甚至有大模型給出了“0.21”的答案。

萬知大模型的推理過程稍顯混亂：在比較9.9和9.11時(shí)，由于整數(shù)部分都是9，所以比較小數(shù)點(diǎn)后的第一位數(shù)字。9.9的小數(shù)點(diǎn)后第一位是9，而9.11的小數(shù)點(diǎn)后第一位是1。由于9小于10，所以在比較小數(shù)點(diǎn)后第二位數(shù)字時(shí)，9.9的小數(shù)點(diǎn)后第二位是0（隱含的），而9.11的小數(shù)點(diǎn)后第二位是1。因此，9.9的小數(shù)點(diǎn)后第二位數(shù)字（隱含的0）小于9.11的小數(shù)點(diǎn)后第二位數(shù)字（1），所以9.9小于9.11。

隨后，記者向大模型提問：為何會(huì)出現(xiàn)有大模型認(rèn)為13.11大于13.8的情況？

ChatGPT給出的回答顯示，出現(xiàn)這種情況的原因可能是由于計(jì)算或比較方式的錯(cuò)誤?？赡艿恼`差原因包括：數(shù)值理解錯(cuò)誤，有時(shí)系統(tǒng)可能會(huì)誤解數(shù)字的小數(shù)點(diǎn)位置；字符串比較，如果直接按字符串比較，可能會(huì)出現(xiàn)錯(cuò)誤。因?yàn)樽址容^是按字符順序逐一比較的，而不是按數(shù)值比較；代碼實(shí)現(xiàn)錯(cuò)誤，在編程中，可能存在比較邏輯或轉(zhuǎn)換錯(cuò)誤。

文心一言給出的解答則是，訓(xùn)練數(shù)據(jù)偏差、輸入處理與理解、模型幻覺、推理能力不足等原因。訓(xùn)練數(shù)據(jù)偏差層面，即大模型在訓(xùn)練過程中，可能接觸到了大量包含數(shù)字的數(shù)據(jù)，但這些數(shù)據(jù)并不總是以比較大小為目的。例如，數(shù)字可能出現(xiàn)在版本號(hào)、股票代碼、基金表現(xiàn)、匯率等上下文中，這些場(chǎng)景下的數(shù)字大小并不總是具有直接的比較意義。如果訓(xùn)練數(shù)據(jù)中存在關(guān)于數(shù)字比較的偏差或不足，模型可能無法學(xué)習(xí)到正確的比較規(guī)則。

另一方面，可能由于大模型在處理輸入文本時(shí)，將數(shù)字視為字符序列，而不是具有數(shù)值意義的實(shí)體。因此，在比較數(shù)字大小時(shí)，模型可能沒有正確地將其轉(zhuǎn)換為數(shù)值進(jìn)行比較。另外，模型在處理小數(shù)時(shí)可能存在困難，特別是當(dāng)小數(shù)位數(shù)不同時(shí)。模型可能沒有正確地理解小數(shù)部分的比較規(guī)則。

這個(gè)問題不難解決

7月17日，有大模型企業(yè)人士在接受記者電話采訪時(shí)表示，對(duì)于大模型而言，這不是很難解決的技術(shù)問題，只要“喂”了這方面的數(shù)據(jù)，其實(shí)就能得到準(zhǔn)確的答案，只不過大部分的大模型廠商沒有把這方面的訓(xùn)練作為重心，所以可能會(huì)出現(xiàn)上述不準(zhǔn)確的回答。

這也并非大模型的數(shù)學(xué)能力首次受到關(guān)注。

6月，上海人工智能實(shí)驗(yàn)室通過旗下司南評(píng)測(cè)體系OpenCompass對(duì)7個(gè)大模型進(jìn)行高考“語數(shù)外”全卷能力測(cè)試。測(cè)試結(jié)果顯示，三科總分420分，大模型最高分僅303分，其中語文、英語表現(xiàn)相對(duì)良好，數(shù)學(xué)全不及格。

在此前《每日經(jīng)濟(jì)新聞》發(fā)布的《每日經(jīng)濟(jì)新聞大模型評(píng)測(cè)報(bào)告（第1期）》中，對(duì)主流大模型的財(cái)務(wù)數(shù)據(jù)計(jì)算和分析能力同樣進(jìn)行了測(cè)評(píng)。在財(cái)務(wù)數(shù)據(jù)計(jì)算中，當(dāng)被要求計(jì)算營業(yè)收入復(fù)合增長率時(shí)，沒有一家大模型計(jì)算出正確答案。

綜 合 來 看 ，Anthropic Claude 3 Opus表現(xiàn)最為出色，以總分136分高居榜首。該模型在計(jì)算題的任務(wù)一（同比增長率計(jì)算）和任務(wù)二（毛利率計(jì)算）中均獲得了較高的分?jǐn)?shù)，但在任務(wù)三（復(fù)合增長率計(jì)算）中未能給出正確答案。

幻方求索DeepSeek-V2是“財(cái)務(wù)數(shù)據(jù)計(jì)算和分析”場(chǎng)景評(píng)測(cè)中的一匹“黑馬”，以總分133.4分位列第二。該模型在計(jì)算題的任務(wù)一和任務(wù)二中同樣表現(xiàn)良好，但在任務(wù)三中也未能給出正確答案。不過，在計(jì)算復(fù)合增長率的任務(wù)中，盡管其答案有誤，但已掌握了正確的公式。

零一萬物Yi-Large的總分達(dá)到了126.4分，該模型盡管“分析寫作題”得分略遜一籌，但在計(jì)算題的任務(wù)一和任務(wù)二中表現(xiàn)穩(wěn)定。該模型在計(jì)算復(fù)合增長率時(shí)，同樣給出了錯(cuò)誤答案，但也給出了正確的公式。