文档章节

MySQL数据导入ElasticSearch

刺猬一号
 刺猬一号
发布于 2017/03/16 11:26
字数 323
阅读 429
收藏 0

Github上主要是有三个项目,分别是go-mysql-elasticsearchelasticsearch-river-jdbcelasticsearch-river-mysql ……

go-mysql-elasticsearch

go-mysql-elasticsearch 是一个将MySQL数据导入到Elasticsearch的服务,他是用mysqldump来获取源数据,然后使用binlog同步数据,按照github上说明,他好像是使用go语言开发的一款工具,实现数据迁移。搭建需要go环境支持。
他主要可以实现:

  • 定制化同步,可修改index、type、field等
  • 可增量同步
  • 支持基于正则命名的index和type

elasticsearch-river-mysql

他需要安装一个Elasticsearch插件和一个小型的webserver
看了下,安装过程。。。步骤还是比较多,最后操作还是基于http的,example:curl -XPUT 'localhost:9200/_river/mydb/_meta' -d '{ "type" : "mysql", "streamer" : { "host" : "localhost", "port" : 8080, }, "mysql" : { # Future usage to configure mysql access from the river. _ } }'

elasticsearch-river-jdbc

他是一个JDBC插件,不仅仅支持mysql,还支持其他数据库。项目现在还在更新,让我感觉靠谱点
Quick start
安装方法:

  • ./bin/plugin --install jdbc --url http://xbib.org/repository/org/xbib/elasticsearch/plugin/elasticsearch-river-jdbc/1.5.0.5/elasticsearch-river-jdbc-1.5.0.5-plugin.zip
  • curl -o mysql-connector-java-5.1.35.zip -L 'http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35.zip/from/http://cdn.mysql.com/'
  • 解压后cp mysql-connector-java-5.1.28-bin.jar $ES_HOME/plugins/jdbc/,即将mysql connect的一个jar文件拷贝到jdbc的目录下即可。

参考文章

© 著作权归作者所有

刺猬一号
粉丝 12
博文 373
码字总数 616361
作品 0
深圳
私信 提问
ES(elasticsearch)搜索引擎

ES(elasticsearch)搜索引擎 0、授人以渔,少走半年弯路! 死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招! 一、Elasitcsearch基础篇 1.1 Elasitcsearch基础认知 1、Elasticse...

Ocean_K
2018/09/11
2.7K
6
ElasticSearch ik,elasticsearch-jdbc 使用 和 yii2 实例

1.ES安装+ik插件 mac安装和使用: a.由于ES为java开发 所以首先安装下载jdk,由于最新版本对jdk要求>1.8.0,所以可以通过brew 升级jdk b.brew 安装ES 启动 elasticsearch 后,在浏览器地址:127....

罗培海
2017/12/16
391
0
mysql数据同步到elasticsearch

环境 centos7.2 php5.5.7 mysql5.7 安装elasticsearch 下载地址:https://www.elastic.co/downloads/elasticsearch 安装2.4.6 gdebi elasticsearch-6.5.0.deb //配置内容...cluster.name: zp......

剑客生涯
05/05
0
0
死磕 Elasticsearch 方法论序篇:普通程序员高效精进的 10 大狠招!|MVP讲堂

作者:阿里云MVP 铭毅 开篇 人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需。Elasticsearch 作为开源领域的后起之秀,从2010年至今得到飞跃式的发展。 El...

辰悠
2018/12/14
0
0
ElasticSearch使用

安装之前,请参考https://github.com/richardwilly98/elasticsearch-river-mongodb根据你的MongoDB版本号决定需要的elasticsearch版本号和插件号。 1)安装ES 下载ElasticSearch_版本号.tar....

强子哥哥
2014/04/09
28.2K
0

没有更多内容

加载失败,请刷新页面

加载更多

3_数组

3_数组

行者终成事
今天
7
0
经典系统设计面试题解析:如何设计TinyURL(二)

原文链接:https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
今天
7
0
使用logstash同步MySQL数据到ES

概述   在生成业务常有将MySQL数据同步到ES的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的logstash就很有优势了。   在使用logstas...

zxiaofan666
今天
10
0
X-MSG-IM-分布式信令跟踪能力

经过一周多的鏖战, X-MSG-IM的分布式信令跟踪能力已基本具备, 特点是: 实时. 只有要RX/TX就会实时产生信令跟踪事件, 先入kafka, 再入influxdb待查. 同时提供实时sub/pub接口. 完备. 可以完整...

dev5
今天
7
0
OpenJDK之CyclicBarrier

OpenJDK8,本人看的是openJDK。以前就看过,只是经常忘记,所以记录下 图1 CyclicBarrier是Doug Lea在JDK1.5中引入的,作用就不详细描述了,主要有如下俩个方法使用: await()方法,如果当前线...

克虏伯
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部