搜狗云輸入的“腦容量”：200億本《新華字典》

“敲入mantiandaxue，出來的正是  ‘漫天大雪’，為什么不是‘滿天大雪’，或者‘漫天大學(xué)’？”網(wǎng)民小姚在網(wǎng)上提出了這樣的問題。

        小姚不知道的是，輸入法如此“善解人意”的背后，決定性因素是一種名為“語料”的東西。日前，搜狗輸入法宣布，其語料庫容量已超1TB，是其他中文輸入法的數(shù)十倍，對于韓文、日文等語系，這更是“天文數(shù)字”。

“享受輸入”之謎

        小姚是搜狗輸入法的忠實粉絲，“平時用習(xí)慣了倒沒覺得什么，一次重裝系統(tǒng)無法上網(wǎng)，只用系統(tǒng)自帶的智能ABC，那種感覺太痛苦了，一夜回到了解放前?！?br/>
        在中國上網(wǎng)的計算機(jī)中，有80%安裝了搜狗，他們與小姚一樣，已經(jīng)習(xí)慣了“享受輸入”。

        “語料”正是重要的幕后功臣之一。據(jù)搜狗輸入法工程師介紹，很多人都知道“詞庫”，詞庫越大，則輸入法越聰明，不過“語料庫”的重要性有過之而無不及，它決定了詞庫中詞匯的組合，并且決定了哪一個詞被排在輸入結(jié)果的最前面。

        一般來說，語料庫越大，則輸入效率越高。據(jù)統(tǒng)計，目前多數(shù)輸入法語料庫大約在40GB～150GB，搜狗輸入法的1TB，即約1000GB，多出數(shù)十倍。如此龐大的信息量相當(dāng)于200億本  《新華字典》收錄的字?jǐn)?shù)。

搜狗的自我挑戰(zhàn)

雖然已遠(yuǎn)比對手“聰明”，但搜狗還在“自己跟自己較勁”。按照搜狗語料庫目前的容量，它的輸入準(zhǔn)確率可以接近90%，而其他輸入法只有50％～80%，但當(dāng)這個容量再擴(kuò)大，它對輸入效率的提升將越來越難。

        對此，搜狗做了兩方面的工作，力圖讓語料庫爆炸增長：其一，發(fā)揮“人肉”的優(yōu)勢，讓用戶貢獻(xiàn)；其二，通過搜索引擎抓取互聯(lián)網(wǎng)上的詞匯。

        顯然，圍繞“語料”，搜狗已率先找到了一條可讓其無限、爆炸增長的路，這也是過去幾年里，它能引領(lǐng)輸入體驗潮流，不斷推高文字錄入效率水準(zhǔn)的原因。

中文輸入的未來

        回首輸入法的發(fā)展歷程，它已從過去的“單機(jī)軟件”變成了今天來自云端的“互聯(lián)網(wǎng)服務(wù)”，集搜索引擎、大規(guī)模數(shù)據(jù)處理、自然語言處理、大規(guī)模網(wǎng)絡(luò)并發(fā)處理等多項技術(shù)于一身。

        業(yè)內(nèi)人士指出，搜狗對文字輸入的最大貢獻(xiàn)在于，它既給出了輸入法的宏觀方向，又形成了自己體系化的方法論。

        在未來，語料庫、詞庫會以更快的速度爆炸增長，通過對人類思考的模擬，輸入法會更理解用戶的思維和意圖，讓“享受輸入”越來越成為必然。這顯然是一件極富使命感的任務(wù)，數(shù)據(jù)顯示，每天有3億人依賴搜狗錄入文字，不難想象，搜狗輸入法每將準(zhǔn)確率提升1%，將為國人的學(xué)習(xí)、工作、娛樂節(jié)省無數(shù)時間和精力成本，從而為整個社會創(chuàng)造無窮的社會價值和經(jīng)濟(jì)價值。  （董暉）



如需轉(zhuǎn)載請與《每日經(jīng)濟(jì)新聞》報社聯(lián)系。未經(jīng)《每日經(jīng)濟(jì)新聞》報社授權(quán)，嚴(yán)禁轉(zhuǎn)載或鏡像，違者必究。

聯(lián)系電話：021-60900099轉(zhuǎn)688

每經(jīng)訂報電話

北京：010-58528501        上海：021-61283003        深圳：0755-83520159        成都：028-86516389        028-86740011        無錫：15152247316