es拉取mysql的增量更新代码

原创
2014/05/08 11:13
阅读数 3.6K

基于开源插件。具体可参考http://my.oschina.net/qiangzigege/blog/220224

~~~~~~

目的:实现增量更新

原理

1)第一次全量更新,更新完毕后,删除这个任务。

2)发布增量更新任务即可。

~~~~~~~~~

增量更新任务的模板如下:

curl -XPUT 'ip:9200/_river/my_jdbc_river/_meta' -d '{
"type":"jdbc",
"jdbc":
{
"url":"jdbc:mysql://IP:3306/fastooth",
"user":"dewmobile",
"password":"dewmobile",
"sql":"select * from users where updated_at between UNIX_TIMESTAMP(now())*1000-60000 86400000 and UNIX_TIMESTAMP(now())*1000 or created_at between UNIX_TIMESTAMP(now())*1000-60000 86400000 and UNIX_TIMESTAMP(now())*1000",
"schedule":"0 0-59 0-23 * * ?",
"index":"ccc",
"type":"ddd"
}
}
'

 

展开阅读全文
打赏
0
2 收藏
分享
加载中
这样要求表中必须有类似 更新时间戳的字段 create_at update_at!!
然后没做更新时 更新update_at 字段
2015/03/03 16:29
回复
举报
更多评论
打赏
1 评论
2 收藏
0
分享
返回顶部
顶部