国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

Lucene擴(kuò)展停用詞字典與自定義詞庫

2019-11-14 11:14:52
字體:
供稿:網(wǎng)友

一、擴(kuò)展停用詞字典

IK Analyzer默認(rèn)的停用詞詞典為IKAnalyzer2012_u6/stopWord.dic,這個(gè)停用詞詞典并不完整,只有30多個(gè)英文停用詞。可以擴(kuò)展停用詞字典,新增ext_stopword.dic,文件和IKAnalyzer.cfg.xml在同一目錄,編輯IKAnalyzer.cfg.xml把新增的停用詞字典寫入配置文件,多個(gè)停用詞字典用逗號隔開,如下所示。

<entry key="ext_stopwords">stopword.dic;ext_stopword.dic</entry>

二、擴(kuò)展自定義詞庫

IK Analyzer也支持自定義詞典,在IKAnalyzer.cfg.xml同一目錄新建ext.dic,把新的詞語按行寫入文件,編輯IKAnalyzer.cfg.xml把新增的停用詞字典寫入配置文件,多個(gè)字典用空格隔開,如下所示:

<entry key="ext_dict">ext.dic;</entry>比如,對于網(wǎng)絡(luò)流行語“厲害了我的哥”,默認(rèn)的詞庫中沒有這個(gè)詞,在自定義字典中寫入以后才能分成一個(gè)詞。

三、測試自定義詞典效果

import java.io.IOException;import java.io.StringReader;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analysis.TokenStream;import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;import tup.lucene.ik.IKAnalyzer6x;public class ExtDicTest { PRivate static String str = "厲害了我的哥!中國環(huán)保部門發(fā)布了治理北京霧霾的的方法!"; public static void main(String[] args) throws IOException { Analyzer analyzer = new IKAnalyzer6x(true); StringReader reader = new StringReader(str); TokenStream toStream = analyzer.tokenStream(str, reader); toStream.reset(); CharTermAttribute teAttribute= toStream.getAttribute(CharTermAttribut e.class); System.out.println("分詞結(jié)果:"); while (toStream.incrementToken()) { System.out.print(teAttribute.toString() + "|"); } System.out.println("/n"); analyzer.close(); }}

運(yùn)行結(jié)果:

加載擴(kuò)展詞典:ext.dic加載擴(kuò)展停止詞典:stopword.dic分詞結(jié)果:厲|害了|的哥|中國|環(huán)保部門|發(fā)布|治理|北京|霧|霾|方法|

在ext.dic中添加自定義詞項(xiàng):

中國環(huán)保部門北京霧霾厲害了我的哥

再次運(yùn)行,結(jié)果如下:

加載擴(kuò)展詞典:ext.dic加載擴(kuò)展停止詞典:stopword.dic分詞結(jié)果:厲害了我的哥|中國環(huán)保部門|發(fā)布|治理|北京霧霾|方法|
發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 阳春市| 政和县| 壶关县| 金秀| 郑州市| 阜新市| 西和县| 玛纳斯县| 嘉定区| 防城港市| 曲沃县| 天全县| 积石山| 聂拉木县| 轮台县| 剑川县| 安新县| 南投市| 凤庆县| 砚山县| 尉氏县| 阿合奇县| 托里县| 汝南县| 镇赉县| 郴州市| 温泉县| 康乐县| 邳州市| 黄石市| 大石桥市| 蚌埠市| 富宁县| 天长市| 宁津县| 长子县| 安仁县| 济阳县| 西林县| 湾仔区| 昌邑市|