文档章节

Elasticsearch Delete/UpdateByQuery案例分享

bboss
 bboss
发布于 2018/04/13 21:44
字数 933
阅读 1794
收藏 6

Elasticsearch Delete/UpdateByQuery案例分享

本文涉及技术点:

  1. DeleteByQuery/UpdateByQuery
  2. Count文档统计Api

1.准备工作

参考文档《高性能elasticsearch ORM开发库使用介绍》导入和配置es客户端

2.编写创建索引表和初始化数据方法

创建索引表和初始化数据的组件DocumentCRUD 实现本文不做重点介绍,请访问视频教程了解:

/**
 * 创建索引表并导入测试数据
 */
public void initIndiceAndData(){
   DocumentCRUD documentCRUD = new DocumentCRUD();
   documentCRUD.testCreateIndice();//创建索引表
   documentCRUD.testBulkAddDocument();//导入测试数据
}

3.定义DeleteByQuery/UpdateByQuery对应的Dsl脚本

新建配置文件-esmapper/byquery.xml

<properties>
    <!--
        updateByquery
        deleteByquery
        dsl配置之文件
    -->
    <property name="updateByQuery">
        <![CDATA[
         {
            "query": {
                "bool": {
                    "filter": [
                        {  ## 多值检索,查找多个应用名称对应的文档记录
                            "terms": {
                                "applicationName.keyword": [#[applicationName1],#[applicationName2]]
                            }
                        },
                        {   ## 时间范围检索,返回对应时间范围内的记录,接受long型的值
                            "range": {
                                "agentStarttime": {
                                    "gte": #[startTime],##统计开始时间
                                    "lt": #[endTime]  ##统计截止时间
                                }
                            }
                        }
                    ]
                }
            }
        }
        ]]>
    </property>

    <property name="deleteByQuery">
        <![CDATA[
         {
            "query": {
                "bool": {
                    "filter": [
                        {  ## 多值检索,查找多个应用名称对应的文档记录
                            "terms": {
                                "applicationName.keyword": [#[applicationName1],#[applicationName2]]
                            }
                        },
                        {   ## 时间范围检索,返回对应时间范围内的记录,接受long型的值
                            "range": {
                                "agentStarttime": {
                                    "gte": #[startTime],##统计开始时间
                                    "lt": #[endTime]  ##统计截止时间
                                }
                            }
                        }
                    ]
                }
            }
        }
        ]]>
    </property>
</properties>

4.实现DeleteByQuery功能

定义实现DeleteByQuery功能的方法

    /**
	 * 验证DeleteByQuery功能
	 * @throws ParseException
	 */
	public void deleteByQuery() throws ParseException {
		ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/byquery.xml");
		//设定DeleteByQuery查询条件,通过map传递变量参数值,key对于dsl中的变量名称
		//dsl中有四个变量
		//        applicationName1
		//        applicationName2
		//        startTime
		//        endTime
		Map<String,Object> params = new HashMap<String,Object>();
		//设置applicationName1和applicationName2两个变量的值
		params.put("applicationName1","blackcatdemo2");
		params.put("applicationName2","blackcatdemo3");
		DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
		//设置时间范围,时间参数接受long值
		params.put("startTime",dateFormat.parse("2017-09-02 00:00:00").getTime());
		params.put("endTime",new Date().getTime());
		//通过count api先查询数据是否存在
		long totalSize = clientUtil.count("demo","deleteByQuery",params);

		System.out.println("---------------------------------删除前查询,验证数据是否存在:totalSize="+totalSize);
		if(totalSize > 0) {//如果有数据,则通过by query删除之,为了实时查看删除效果,启用了强制刷新机制
			//执行DeleteByQuery操作
			String result = clientUtil.deleteByQuery("demo/_delete_by_query?refresh", "deleteByQuery", params);
			System.out.println(result);

			//删除后再次查询,验证数据是否被删除成功
			totalSize = clientUtil.count("demo","deleteByQuery",params);
			System.out.println("---------------------------------删除后再次查询,验证数据是否被删除:totalSize="+totalSize);
		}

	}

5.执行DeleteByQuery junit单元测试方法

    @Test
	public void testDeleteByQuery() throws ParseException {
		DeleteUdateByQuery deleteUdateByQuery = new DeleteUdateByQuery();
		deleteUdateByQuery.initIndiceAndData();//初始化索引表和测试数据
		deleteUdateByQuery.deleteByQuery();//执行deleteByquery
	}

6.定义updatebyquery方法

定义两个updatebyquery方法,一个带query dsl,一个不带query dsl:

    /**
	 * 验证simpleUpdateByQuery功能
	 */
	public void simpleUpdateByQuery(){
		ClientInterface clientUtil = ElasticSearchHelper.getRestClientUtil();
		String result = clientUtil.updateByQuery("demo/_update_by_query?conflicts=proceed");
		System.out.println("******************simpleUpdateByQuery result:"+result);
	}

	/**
	 * 验证带查询条件UpdateByQuery功能
	 * @throws ParseException
	 */
	public void updateByQueryWithCondition() throws ParseException {
		ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/byquery.xml");
		//设定查询条件,通过map传递变量参数值,key对于dsl中的变量名称
		//dsl中有四个变量
		//        applicationName1
		//        applicationName2
		//        startTime
		//        endTime
		Map<String,Object> params = new HashMap<String,Object>();
		//设置applicationName1和applicationName2两个变量的值
		params.put("applicationName1","blackcatdemo2");
		params.put("applicationName2","blackcatdemo3");
		DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
		//设置时间范围,时间参数接受long值
		params.put("startTime",dateFormat.parse("2017-09-02 00:00:00").getTime());
		params.put("endTime",new Date().getTime());
		String result = clientUtil.updateByQuery("demo/_update_by_query?conflicts=proceed","updateByQuery",params);
		System.out.println("******************updateByQueryWithCondition result:"+result);

	}

7.执行updatebyquery junit单元测试方法

@Test
public void testUpdateByQuery() throws ParseException {
   DeleteUdateByQuery deleteUdateByQuery = new DeleteUdateByQuery();
   deleteUdateByQuery.initIndiceAndData();//初始化索引表和测试数据
   deleteUdateByQuery.simpleUpdateByQuery();
   deleteUdateByQuery.updateByQueryWithCondition();
}

8.参考文档

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-delete-by-query.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update-by-query.html

本文示例代码对应的源码工程地址:

https://gitee.com/bboss/eshelloword

本文对应的java文件:

https://gitee.com/bboss/eshelloword/blob/master/src/main/java/org/bboss/elasticsearchtest/byquery/DeleteUdateByQuery.java

https://gitee.com/bboss/eshelloword/blob/master/src/test/java/org/bboss/elasticsearchtest/crud/DeleteUdateByQueryTest.java

本文对应的dsl配置文件:

https://gitee.com/bboss/eshelloword/blob/master/src/main/resources/esmapper/byquery.xml

© 著作权归作者所有

共有 人打赏支持
bboss

bboss

粉丝 110
博文 60
码字总数 68205
作品 8
长沙
程序员
私信 提问
spring-data-elasticsearch 基本案例详解(三)

『 风云说:能分享自己职位的知识的领导是个好领导。 』 运行环境:JDK 7 或 8,Maven 3.0+ 技术栈:SpringBoot 1.5+, Spring Data Elasticsearch 1.5+ ,ElasticSearch 2.3.2 本文提纲 一、...

夜黑人模糊灬
2018/05/13
0
0
Elastic 中国开发者大会 [上市特惠门票5折抢]

2018年11月10日周六,Elastic 中国开发者大会将在深圳金茂 JW 万豪酒店召开。届时,将有来自 Elastic、eBay、暴雪、Grab、华为、阿里巴巴、顺丰等公司的25位各领域的专家为大家带来围绕 Elas...

Medcl
2018/07/30
9
0
Elastic 中国开发者大会 [上市特惠门票5折抢]

2018年11月10日周六,Elastic 中国开发者大会将在深圳金茂 JW 万豪酒店召开。届时,将有来自 Elastic、eBay、暴雪、Grab、华为、阿里巴巴、顺丰等公司的25位各领域的专家为大家带来围绕 Elas...

Medcl
2018/07/30
0
0
Elastic 中国开发者大会 2018 来了!

2018年11月10日周六,Elastic 中国开发者大会将在深圳金茂 JW 万豪酒店召开。届时,将有来自 Elastic、eBay、暴雪、Grab、华为、阿里巴巴、顺丰等公司的25位各领域的专家为大家带来围绕 Elas...

Medcl
2018/09/26
0
0
Elasticsearch存储空间不够导致索引只读的解决方法

问题描述 今天发现当天的索引在ES中并没有创建,logstash中不停的报错: 索引变成了只读: es报错,es报错也是索引只读错误 解决办法 经过分析,发现是因为ES所在服务器磁盘空间太低引起,具...

傲娇字符
01/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Vert.x系列(二)--EventBusImpl源码分析

前言:Vert.x 实现了2种完成不同的eventBus: EventBusImpl(A local event bus implementation)和 它的子类 ClusteredEventBus(An event bus implementation that clusters with other Ve......

冷基
32分钟前
0
0
Perl - 获取文件项目

参考:http://www.runoob.com/perl/perl-directories.html 下面返回JSON格式的文件列表 #!/usr/bin/perluse strict;use warnings;use utf8;use feature ':5.26';require Fi......

wffger
昨天
2
0
vue组件系列3、查询下载

直接源码,虽然样式样式不好看,逻辑也不是最优,但是可以留作纪念。毕竟以后类似的功能只需要优化就可以了,不用每次都重头开始。。。 <template> <div class="pre_upload"> <div ...

轻轻的往前走
昨天
2
0
java浅复制和深复制

之前写了数组的复制,所以这里继续总结一下浅复制和深复制。 浅拷贝:对基本数据类型进行值传递,对引用数据类型进行引用传递般的拷贝。 深拷贝:对基本数据类型进行值传递,对引用数据类型,...

woshixin
昨天
1
0
kubernetes 二进制包安装

环境 角色 主机名 内网 IP 集群 IP 操作系统 服务 执行目录 部署机 k8s-master master120 10.0.4.120 - CentOS kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/ et......

Colben
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部