文档章节

查看分词器分词结果

zheng_pat
 zheng_pat
发布于 2016/03/22 20:27
字数 130
阅读 25
收藏 2

Analyzer analyzer = new WhitespaceAnalyzer();

try {

// 第一个参数只是标识性没有实际作用

TokenStream stream = analyzer.tokenStream("", new StringReader("我爱 北京 天安门"));

// 获取词与词之间的位置增量

PositionIncrementAttribute postiona = stream.addAttribute(PositionIncrementAttribute.class);

// 获取各个单词之间的偏移量

OffsetAttribute offseta = stream.addAttribute(OffsetAttribute.class);

// 获取每个单词信息

CharTermAttribute chara = stream.addAttribute(CharTermAttribute.class);

// 获取当前分词的类型

TypeAttribute typea = stream.addAttribute(TypeAttribute.class);

stream.reset();

while (stream.incrementToken()) {

System.out.print("位置增量" + postiona.getPositionIncrement() + ":\t");

System.out.println(

chara + "\t[" + offseta.startOffset() + " - " + offseta.endOffset() + "]\t<" + typea + ">");

}

System.out.println();

} catch (Exception e) {

e.printStackTrace();

}


本文转载自:http://www.cnblogs.com/dennisit/p/3258664.html

zheng_pat
粉丝 26
博文 97
码字总数 27693
作品 0
海淀
程序员
私信 提问
掌握 analyze API,一举搞定 Elasticsearch 分词难题

初次接触 Elasticsearch 的同学经常会遇到分词相关的难题,比如如下这些场景: 为什么命名有包含搜索关键词的文档,但结果里面就没有相关文档呢? 我存进去的文档到底被分成哪些词(term)了?...

rockybean
2018/08/25
0
0
OpenSearch自定义分词服务

背景 OpenSearch是一个以云服务方式提供给广大开发者使用的搜索引擎平台。在搜索引擎中,分词是最基础但很重要的功能,其效果会直接影响文档的召回。分词歧义会导致引擎无法召回目标文档。例...

小扑
2018/10/30
0
0
elasticsearch教程--中文分词器作用和使用

目录 概述 环境准备 认识中文分词器 常用的中文分词器 IK Analyzer hanlp中文分词器 彩蛋 概述 上一篇博文记录了elasticsearch插件安装和管理, 在地大物博的祖国使用es,不得不考虑中文分词器...

java_龙
2018/11/05
881
0
《ElasticSearch6.x实战教程》之分词

《ElasticSearch6.x实战教程》之分词 第四章-分词 下雨天留客天留我不留 本打算先介绍“简单搜索”,对ES的搜索有一个直观的感受。但在写的过程中发现分词无论如何都绕不过去。term查询,mat...

幸运码发放
07/20
0
0
[转]与Lucene 4.10配合的中文分词比较(标准详细的比较)

本文转自: http://www.hansight.com/blog-lucene4.10-with-chinese-segment.html 感谢原作者。 比较目的 衡量每种分词的指标,内存消耗、CPU消耗,得到一个在Lucene中比较好的分词版本。 分...

狮子的魂
2015/01/18
7.9K
7

没有更多内容

加载失败,请刷新页面

加载更多

友元函数强制转换

友元函数强制转换 p522

天王盖地虎626
昨天
5
0
js中实现页面跳转(返回前一页、后一页)

本文转载于:专业的前端网站➸js中实现页面跳转(返回前一页、后一页) 一:JS 重载页面,本地刷新,返回上一页 复制代码代码如下: <a href="javascript:history.go(-1)">返回上一页</a> <a h...

前端老手
昨天
4
0
JAVA 利用时间戳来判断TOKEN是否过期

import java.time.Instant;import java.time.LocalDateTime;import java.time.ZoneId;import java.time.ZoneOffset;import java.time.format.DateTimeFormatter;/** * @descri......

huangkejie
昨天
4
0
分页查询

一、配置 /*** @author beth* @data 2019-10-14 20:01*/@Configurationpublic class MybatisPlusConfig { @Bean public PaginationInterceptor paginationInterceptor(){ ......

一个yuanbeth
昨天
6
0
在LINQPad中使用Ignite.NET

LINQPad是进行.NET开发的一款优秀工具,非常有利于Ignite.NET API的快速入门。 入门 下载LINQPad:linqpad.net/Download.aspx,注意要选择64位操作系统的AnyCPU版本; 安装Ignite.NET的NuGet...

李玉珏
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部