ElasticSearch安装ik分词插件

一、IK简介

    IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词 歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。  

    IK Analyzer 2012特性:

    1.采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；

    2.在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位 普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。

    3.2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。

    4.采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符

    5.优化的词典存储，更小的内存占用。支持用户词典扩展定义。特别的，在2012版本，词典支持中文，英文，数字混合词语。

二、安装IK分词插件

    假设读者已经安装好ES，如果没有的话，请参考ElasticSearch入门 —— 集群搭建。安装IK分词需要的资源可以从这里下载，整个安装过程需要三个步骤：

    1、获取分词的依赖包

    通过git clone https://github.com/medcl/elasticsearch-analysis-ik，下载分词器源码，然后进入下载目录，执行命令：mvn clean package，打包生成elasticsearch-analysis-ik-1.2.5.jar。将这个jar拷贝到ES_HOME/plugins/analysis-ik目录下面，如果没有该目录，则先创建该目录。

    2、ik目录拷贝

    将下载目录中的ik目录拷贝到ES_HOME/config目录下面。

    3、分词器配置

    打开ES_HOME/config/elasticsearch.yml文件，在文件最后加入如下内容：

查看文本打印

1. index:  
2.   analysis:                     
3.     analyzer:        
4.       ik:  
5.           alias: [ik_analyzer]  
6.           type: org.elasticsearch.index.analysis.IkAnalyzerProvider  
7.       ik_max_word:  
8.           type: ik  
9.           use_smart: false  
10.       ik_smart:  
11.           type: ik  
12.           use_smart: true  
13. index.analysis.analyzer.default.type: ik  

    ok！插件安装已经完成，请重新启动ES，接下来测试ik分词效果啦！

三、ik分词测试

    1、创建一个索引，名为index。   

查看文本打印

1. curl -XPUT http://localhost:9200/index  

    2、为索引index创建mapping。

查看文本打印

1. curl -XPOST http://localhost:9200/index/fulltext/_mapping -d'  
2. {  
3.     "fulltext": {  
4.              "_all": {  
5.             "analyzer": "ik"  
6.         },  
7.         "properties": {  
8.             "content": {  
9.                 "type" : "string",  
10.                 "boost" : 8.0,  
11.                 "term_vector" : "with_positions_offsets",  
12.                 "analyzer" : "ik",  
13.                 "include_in_all" : true  
14.             }  
15.         }  
16.     }  
17. }'  

    3、测试

查看文本打印

1. curl 'http://localhost:9200/index/_analyze?analyzer=ik&pretty=true' -d '  
2. {  
3. "text":"世界如此之大"  
4. }'  

    显示结果如下：

查看文本打印

1. {  
2.   "tokens" : [ {  
3.     "token" : "text",  
4.     "start_offset" : 4,  
5.     "end_offset" : 8,  
6.     "type" : "ENGLISH",  
7.     "position" : 1  
8.   }, {  
9.     "token" : "世界",  
10.     "start_offset" : 11,  
11.     "end_offset" : 13,  
12.     "type" : "CN_WORD",  
13.     "position" : 2  
14.   }, {  
15.     "token" : "如此",  
16.     "start_offset" : 13,  
17.     "end_offset" : 15,  
18.     "type" : "CN_WORD",  
19.     "position" : 3  
20.   }, {  
21.     "token" : "之大",  
22.     "start_offset" : 15,  
23.     "end_offset" : 17,  
24.     "type" : "CN_WORD",  
25.     "position" : 4  
26.   } ]  
27. }