文档章节

es拉取mysql的增量更新代码

强子大叔的码田
 强子大叔的码田
发布于 2014/05/08 11:13
字数 137
阅读 1652
收藏 2

基于开源插件。具体可参考http://my.oschina.net/qiangzigege/blog/220224

~~~~~~

目的:实现增量更新

原理

1)第一次全量更新,更新完毕后,删除这个任务。

2)发布增量更新任务即可。

~~~~~~~~~

增量更新任务的模板如下:

curl -XPUT 'ip:9200/_river/my_jdbc_river/_meta' -d '{
"type":"jdbc",
"jdbc":
{
"url":"jdbc:mysql://IP:3306/fastooth",
"user":"dewmobile",
"password":"dewmobile",
"sql":"select * from users where updated_at between UNIX_TIMESTAMP(now())*1000-60000 86400000 and UNIX_TIMESTAMP(now())*1000 or created_at between UNIX_TIMESTAMP(now())*1000-60000 86400000 and UNIX_TIMESTAMP(now())*1000",
"schedule":"0 0-59 0-23 * * ?",
"index":"ccc",
"type":"ddd"
}
}
'

 

© 著作权归作者所有

强子大叔的码田

强子大叔的码田

粉丝 907
博文 1429
码字总数 1219943
作品 9
南京
架构师
私信 提问
加载中

评论(1)

yiqing95
yiqing95
这样要求表中必须有类似 更新时间戳的字段 create_at update_at!!
然后没做更新时 更新update_at 字段
使用DTS同步MySQL增量数据到Tablestore

摘要 从MySQL到Tablestore的全量数据导出可以参考同系列文章《数据同步-从MySQL到Tablestore》,本文主要介绍将MySQL的增量数据同步到Tablestore的一种方式——使用阿里集团的数据传输服务D...

平苼
07/09
0
0
maxwell的使用--日志增量订阅&消费

1、maxwell原理和使用场景 发送MySQL binlog到Hadoop(kafka+flume) 当前场景:从mysql实时拉取修改和增量数据 2、maxwell的优缺点 3、maxwell的搭建 4、maxwel的使用步骤 5、和canal相比 ma...

_小茗同学_
2018/02/08
254
0
elasticSearch数据导入工具logstash-input-jdbc 同步原理及相关问题解读

前言: 基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-jdbc 展开。 针对logstash-input-jdbc常见的几个疑难问题,部分问题...

尘光掠影
2017/10/24
0
0
使用canal增量同步mysql数据库信息到ElasticSearch

本文介绍如何使用canal增量同步mysql数据库信息到ElasticSearch。(注意:是增量!!!) 1.简介 1.1 canal介绍 Canal是一个基于MySQL二进制日志的高性能数据同步系统。Canal广泛用于阿里巴巴...

dalaoyang
06/22
0
0
拆解大数据总线平台DBus的系统架构

拓展阅读: 如何基于日志,同步实现数据的一致性和实时抽取? 快速部署DBus体验实时数据流计算 Dbus所支持两类数据源的实现原理与架构拆解。 大体来说,Dbus支持两类数据源: RDBMS数据源 日志...

宜信技术学院
09/12
423
0

没有更多内容

加载失败,请刷新页面

加载更多

官方来源的 Duo Mobile App 解决了我的 Network Difficulties 问题

https://help.duo.com/s/article/2094?language=en_US 我利用百度搜索下载了一个 Duo Mobile App (由于 Google Play)在大陆不可用。 在扫描旧手机上的 Duo Mobile App 的二维码时, 显示出错...

圣洁之子
8分钟前
1
0
Zabbix监控Mysql容器(Docker容器)主从是否存活

1、在Zabbix Web端创建模板 2、为该模板创建监控项 3、创建触发器 4、在zabbix-agent端操作 在/etc/zabbix/zabbix_agentd.d新建customize.confw文件 内容如下 UserParameter=mysql.replicat...

abowu
10分钟前
1
0
基于 RocketMQ 的同城双活架构在美菜网的挑战与实践

本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验,偏重于实践。 嘉宾李样兵,现就职于美菜网基础服务平台组,负责 MQ ,配置中心和任务调度等基础...

大涛学长
16分钟前
1
0
设计模式之:外观模式和桥接模式

作者:DevYK 链接:https://juejin.im/post/5d7e01f4f265da03b5747aac 外观模式 介绍 外观模式 (Facade) 在开发过程中的运用评率非常高,尤其是在现阶段,各种第三方 SDK “充斥” 在我们周边...

Java架构Monster
17分钟前
1
0
人证合一核验设备

人脸身份验证机,人证合一设备1:N如我们现在在车站或一些重要的场所如步行街、城中村等人流密集的场所应用的人脸识别布控系统,其特点是动态和非配合。所谓的动态也就是识别的不是照 片,不是...

非思丸智能
19分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部