高手總結分析如果利用baidu分詞算法分析之二（轉）

2019-11-02 16:55:58

字體：大中小

來源：轉載

供稿：網友

Checker拼寫檢查錯誤提示(以及拼音提示功能)

拼寫檢查錯誤提示是搜索引擎都具備的一個功能,也就是說用戶提交查詢給搜索引擎,搜索引擎檢查看是否用戶輸入的拼寫有錯誤,對于中文用戶來說一般造成的錯誤是輸入法造成的錯誤.那么我們就來分析看看百度是怎么實現這一功能的.

　　我們分析拼寫檢查系統關注以下幾個問題:

　　(1)系統如何判斷用戶的輸入是有可能發生錯誤的查詢呢?

　　(2)如果判斷是可能錯誤的查詢輸入,如何提示正確的詞匯呢?

　　那么百度是如何做的呢?百度判斷用戶輸入是否錯誤的標準,我覺得應該是查字典,如果發現字典里面不包含這個詞匯,那么很有可能是個錯誤的輸入,此時啟動錯誤提示功能,這個很好判斷,因為如果是一個正常詞匯的話,百度一般不會有錯誤提示,而你故意輸入一個詞典不可能包含的所謂詞匯,此時百度一般會提示你正確的檢索詞匯.

　　那么百度是怎么提示正確詞匯的呢?很明顯是通過拼音的方式,比如我輸入查詢" 制才",百度提供的提示詞匯為: “:制裁質材紙材",都是同音字.所以百度必然維持著一個同音詞詞典,里面保留著同音詞信息,比如可能包含著下面這條詞條: “ zhi cai à制裁,質材,紙材",另外還有一個標注拼音程序,現在能夠看到的基本流程是: 用戶輸入" 制才",查詞典,發現沒有這個詞匯,OK,啟動標注拼音程序,將" 制才"標注為拼音"zhi cai",然后查找同音詞詞典,發現同音詞" 制裁,質材,紙材",那么提示用戶可能的正確拼寫.

　　整體流程看起來很簡單,但是還有一些遺留的小問題,比如是否將詞表里面所有同音詞都作為用戶的提示信息呢?比如某個拼音有10個同音詞,是否都輸出呢?百度并沒有將所有同音詞都輸出而是選擇一定篩選標準,選擇其中幾個輸出.怎么證明這一點?我們看看拼音"liu li"的同音詞,紫光輸入法提示同音詞匯有" 流麗流離琉璃流利"4個,我們看看百度返回幾個,輸入"流厲"作為查詢,這里是故意輸入一個詞典不包含的詞匯,這樣百度的拼寫檢查才開始工作,百度提示: " 琉璃劉麗劉莉 ",這說明什么?說明不是所有同音詞都輸出,而是選擇輸出,那么選擇的標準是什么?我能夠猜測到的方法是對于用戶查詢LOG進行統計,提取用戶查詢次數多的那些同音詞輸出,如果是這樣的話,上面的例子說明用戶搜索"琉璃"次數比其它的都要高些,次之是" 劉麗",再次是" 劉莉",看來大家都喜歡查詢自己或者認識的人的名字.

　　另外一個小問題:同音詞詞典包含2字詞,3字詞,那么是否包含4字詞以及更長的詞條?是否包含一字詞? 這里一字詞好回答,不用測試也能知道肯定不包含,因為你輸入一個字,誰知道是否是錯誤的呢?反正只要是漢字就能在詞表里面找到,所以沒有判斷依據.二字詞是包含的,上面有例子,三字詞也包含,比如查詢 "中城藥"百度錯誤提示:"中成藥",修改查詢為"重城藥",還是提示"中成藥" ,再次修改查詢 "重城要",百度依然提示"中成藥". 那么4字詞匯呢?

百度還是會給你提示的,下面是個例子:

　　輸入:靜華煙云提示京華煙云

　　輸入:靜話煙云提示京華煙云

　　輸入:靜話閻暈提示京華煙云

　　那么更長的詞匯是否提示呢?也提示,比如我輸入: "落花世界有風軍",這個查詢是什么意思,估計讀過古詩的都知道,看看百度的提示"落花時節又逢君",這說明什么?說明同音詞詞典包含不同長度的同音詞信息,另外也說明了百度的核心中文處理技術,也就是那個詞典,還真挺大的.

　　但是,如果用戶輸入的查詢由兩個或者兩個以上子字符串構成,那么百度的錯誤提示功能就罷工了,比如輸入查詢"哀體",百度提示"艾提挨踢",但是.輸入為 "我哀體 ",則沒有任何錯誤提示.

上一篇：站長網seo聽課心得總結

下一篇：高手收集整理的baidu分詞算法分析之一查詢處理以及分詞技術（1