hanlp for elasticsearch(基于hanlp的es分词插件)
博客专区 > kepmov 的博客 > 博客详情
hanlp for elasticsearch(基于hanlp的es分词插件)
kepmov 发表于4个月前
hanlp for elasticsearch(基于hanlp的es分词插件)
  • 发表于 4个月前
  • 阅读 35
  • 收藏 1
  • 点赞 0
  • 评论 0
摘要: elasticsearch是使用比较广泛的分布式搜索引擎,es提供了一个的单字分词工具,还有一个分词插件ik使用比较广泛,hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词

elasticsearch-analysis-hanlp插件地址:https://github.com/pengcong90/elasticsearch-analysis-hanlp

Elasticsearch

默认分词

输出:

IK:

输出:

输入图片说明

hanlp:

输入图片说明

输出:

输入图片说明

ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词

安装步骤: 1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanlp目录下的hanlp.properties文件,修改root的属性,值为analysis-hanlp下的data 目录的地址

2、修改es config目录下的jvm.options文件,最后一行添加

-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy

重启es

GET /_analyze?analyzer=hanlp-index&pretty=true { "text":"张柏芝士蛋糕店" } 测试是否安装成功

analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)

自定义词典:

修改plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件

格式遵从[单词] [词性A] [A的频次]

修改完后删除同目录下的CustomDictionary.txt.bin文件

重启es服务

目前仅支持5.x版本

注意在mac下5.5.1版本的es中,要删除plugins中.DS_Store隐藏文件,否则启动会报错

共有 人打赏支持
粉丝 0
博文 1
码字总数 345
×
kepmov
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: