文档章节

使用 Tungsten Replicator4 实现 mysql -- > mongodb 数据同步

汪林
 汪林
发布于 2015/10/30 17:23
字数 1585
阅读 2104
收藏 9

tungsten-replicator 技术交流群:376068310

一 规划主机:

192.168.67.128 #mysql主机 (事先安装好,mysql5.6 )
192.168.67.129 #mongodb主机 (事先安装好,mongodb3.0.6)

二 前置条件:(128和129)

1 创建tungsten用户

[root@localhost ~] useradd tungsten
[root@localhost ~] passwd tungsten

2 将tungsten账户添加到 mysql 用户组里

128主机:
[root@localhost ~] sudo usermod -G mysql tungsten

129主机
[root@localhost ~] sudo usermod -G mongod tungsten

3 修改sudoers权限,并且让 tungsten 用户使用 sudo 命令时免密码

[root@localhost ~] chmod 740 /etc/sudoers
[root@localhost ~] vi /etc/sudoers

添加如下一行:
tungsten        ALL=(ALL)       NOPASSWD: ALL

4 切换到 tungsten 用户下

[root@localhost ~] su - tungsten

5 切换到 tungsten 用户后,创建密钥对。默认在/home/tungsten/.ssh 目录下

[tungsten@localhost ~] ssh-keygen -t rsa

6 修改 limit 文件

[tungsten@localhost ~] vi /etc/security/limits.conf

添加下面一行:
* - nofile 65535

注:这种方式需要重启才能生效,使用如下方式修改ulimit,则可以即时生效:

[tungsten@localhost ~] ulimit -n65535

7 检查修改是否成功

[tungsten@localhost ~] ulimit -n 
65535

8 配置hosts

[tungsten@localhost ~] sudo vi /etc/hosts
127.0.0.1 localhost
192.168.67.128 host1
192.168.67.129 host2

9 测试主机

[tungsten@localhost ~] uname -n
host1

10 测试ip地址

[tungsten@localhost ~] hostname --ip-address

11 防火墙设置

[tungsten@localhost ~] iptables -A INPUT -i lo -m state --state NEW -j ACCEPT

12 把生成的公钥和私钥拷贝到 tungsten用户的主目录下 。默认就在用户主目录

[tungsten@localhost ~] cp .ssh/id_rsa.pub .ssh/id_rsa /home/tungsten/.ssh

13 把公钥放到 .ssh/authorized_keys文件中,128 的公钥放到 129,129 的公钥放到 128

[tungsten@localhost ~] cat .ssh/id_rsa.pub >> .ssh/authorized_keys

14 修改权限

[tungsten@localhost ~] chmod 700 ~/.ssh
[tungsten@localhost ~] chmod 600 ~/.ssh/*

15 测试主机间ssh

[tungsten@localhost ~] ssh tungsten@host2

16 修改mysql配置,注意,binlog-fomat 必须 是 row 格式的,如果该mysql 是 slave,则需要在 my.cnf 里 加上 log-slave-updates=TRUE,否则,slave 的变化信息都在 relay-relay-bin.0000*.log 文件中

[tungsten@localhost ~] vi /etc/my.cnf

server-id = 128
open_files_limit = 65535
log-bin = mysql-bin
sync_binlog = 1
max_allowed_packet = 52m
default-storage-engine = InnoDB
innodb_flush_log_at_trx_commit = 2
binlog-format = row
binlog-row-image = full

17 登录mysql,创建用于 tungsten 复制的 mysql 用户

[tungsten@localhost ~] /usr/bin/mysql

mysql> grant all privileges on *.* to tungsten_alpha@'%' identified by 'ts' with grant option;
mysql> flush privileges;

三 安装服务:

1 创建 tungsten-replication 软件主目录

[tungsten@localhost ~] sudo mkdir -p /opt/continuent/software
[tungsten@localhost ~] sudo chown -R tungsten /opt/continuent
[tungsten@localhost ~] sudo chmod 700 /opt/continuent

2 把下载好的 tungsten-replicator-4.0.0-2667425.tar.gz 包上传到 software 目录

[tungsten@localhost ~] cd /opt/continuent/software
[tungsten@host1 software] ll 
[tungsten@host1 software] tungsten-replicator-4.0.0-2667425.tar.gz
[tungsten@host1 software] tar -zxvf tungsten-replicator-4.0.0-2667425.tar.gz
[tungsten@host1 software] cd tungsten-replicator-4.0.0-2667425
[tungsten@host1 tungsten-replicator-4.0.0-2667425]

128主机(mysql)上:

[tungsten@host1 tungsten-replicator-4.0.0-2667425] ./tools/tpm install alpha \
	--info \
	--master=192.168.67.128 \
	--datasource-mysql-conf=/etc/my.cnf \
	--enable-heterogenous-master=true \
	--replication-user=tungsten_alpha \
	--replication-password=ts \
	--install-directory=/opt/continuent/alpha \
	--start-and-report

129主机(mongo)上:

[tungsten@host2 tungsten-replicator-4.0.0-2667425]./tools/tpm install alpha \
	--info \
	--datasource-type=mongodb \
	--master=192.168.67.128 \
	--members=192.168.67.129 \
	--enable-heterogenous-slave=true \
	--topology=master-slave \
	--install-directory=/opt/continuent/alpha \
	--start-and-report

3 如果两个主机的 state 都是 online 说明 两个主机的 tungsten-replicator 都正常运行了,通过下面的命令查看 tungsten 状态

[tungsten@host2 tungsten-replicator-4.0.0-2667425] ./tungsten-replicator/bin/trepctl status

Processing status command...
NAME                     VALUE
----                     -----
appliedLastEventId     : mysql-bin.000006:0000000000014751;-1
appliedLastSeqno       : 26
appliedLatency         : 54.232
autoRecoveryEnabled    : false
autoRecoveryTotal      : 0
channels               : 1
clusterName            : huobi
currentEventId         : mysql-bin.000006:0000000000014751
currentTimeMillis      : 1446648043958
dataServerHost         : 192.168.67.128
extensions             : 
host                   : 192.168.67.128
latestEpochNumber      : 2
masterConnectUri       : thl://localhost:/
masterListenUri        : thl://192.168.67.128:2112/
maximumStoredSeqNo     : 26
minimumStoredSeqNo     : 0
offlineRequests        : NONE
pendingError           : NONE
pendingErrorCode       : NONE
pendingErrorEventId    : NONE
pendingErrorSeqno      : -1
pendingExceptionMessage: NONE
pipelineSource         : jdbc:mysql:thin://192.168.67.128:3306/tungsten_alpah
relativeLatency        : 749.958
resourcePrecedence     : 99
rmiPort                : 10000
role                   : master
seqnoType              : java.lang.Long
serviceName            : huobi
serviceType            : local
simpleServiceName      : huobi
siteName               : default
sourceId               : 192.168.67.128
state                  : ONLINE
timeInStateSeconds     : 845.783
timezone               : GMT
transitioningTo        : 
uptimeSeconds          : 849.608
useSSLConnection       : false
version                : Tungsten Replicator 5.0.0
Finished status command...


4 上一步我们通过 状态命令可以看到 128 tungsten 默认抓取 mysql 的 tungsten_alpha 库,该库的命名规则是 tungsten_服务名,比如,我们 install 的时候发布的服务名字为 alpha,那么安装完成后,mysql 中会自动创建一个 名称 为 tungsten_alpha的库

5 因为业务需要,我们需要同步自己已有的库,通过下面命令来指定具体的库

[tungsten@host2 tungsten-replicator-4.0.0-2667425] ./tools/tpm update alpha --dataservice-schema=huobi

注:alpha 是install时指定的 dataservice 名称

6 又因为业务需要,我们可能只同步指定的库的 某些表的数据,非不是全部表,做如下配置:

ON Mysql (128主机上)

[tungsten@host1 tungsten-replicator-4.0.0-2667425] ./tools/tpm update huobi \
	--repl-svc-extractor-filters=replicate \
	--property=replicator.filter.replicate.do=huobi.table1,huobi.table2,huobi.table3
	
注:mysql端,即数据抓取端,使用 repl-svc-extractor-filters 过滤器

On Mongo(129主机上)

[tungsten@host2 tungsten-replicator-4.0.0-2667425] ./tools/tpm update huobi \
	--repl-svc-applier-filters=replicate \
	--property=replicator.filter.replicate.do=huobi.table1,huobi.table2,huobi.table3
	
注:mongo端,即数据重入端,使用 repl-svc-applier-filters 过滤器

7 关于tungsten 工具的使用可以通过命令查看

[tungsten@host1 tungsten-replicator-4.0.0-2667425] ./tools/tpm -h

Usage: tpm help [commands,config-file,template-file] [general-options] [command-options]
...........
...........
----------------------------------------------------------------------------------------------------
Commands:
configure                     Update the data service settings in the global configuration
delete-service                Delete a replication service from this host
diag                          Package diagnostic information from the cluster to the current machine
diff                          Output the manual changes that have been made to configuration files.
dump                          Display the 'tpm configure' commands required to recreate the configuration
firewall                      Print firewall information for the listed dataservices
help                          Display a list of all commands available in tpm
install                       Install Tungsten with the current configuration and any options specified at runtime.
mysql                         Open a terminal to the DBMS
promote                       Take a previously prepared directory and make it active.  You should run the prepare command prior to running promote.
query                         Get information about the configuration, topology and version of this directory
reset                         Reset the cluster on each host
reset-thl                     Reset the THL on each host
update
                              Updates an existing installation of Tungsten. If not arguments are specified, the local configuration is used to install. If you specify --user, --hosts and --directory; this command will get the
                              current configuration from each host and continue.
validate                      Validate Tungsten with the current configuration and any options specified at runtime before installing.
validate-update               Validate before updating an existing Tungsten installation

8 在使用tungsten同步数据时,如果因为tungsten-replicator服务挂掉,那么tungsten服务重启的时候回从挂断点的地方继续开始同步。而针对master的tungsten服务,如果想指定binlog的位点,可以如下:

[tungsten@host1 tungsten-replicator-4.0.0-2667425] ./tungsten-replicator/bin/trepctl offline
[tungsten@host1 tungsten-replicator-4.0.0-2667425] ./tungsten-replicator/bin/trepctl online -from-event mysql-bin.000006:1029

9 在mysql主机上的tungsten服务中,如果想查看THL中的mysql的binlog文件的位点同步到哪里了,则可以使用如下命令:

[tungsten@host1 tungsten-replicator-4.0.0-2667425] ./tungsten-replicator/bin/thl list

........................................
SEQ# = 207 / FRAG# = 0 (last frag)
- TIME = 2015-11-08 08:43:00.0
- EPOCH# = 195
- EVENTID = mysql-bin.000006:0000000000092292;-1
- SOURCEID = 192.168.67.128
- METADATA = [mysql_server_id=141;dbms_type=mysql;tz_aware=true;strings=utf8;service=alpha;shard=huobi]
- TYPE = com.continuent.tungsten.replicator.event.ReplDBMSEvent
- OPTIONS = [foreign_key_checks = 1, unique_checks = 1, time_zone = '+00:00']
- SQL(0) =
 - ACTION = UPDATE
 - SCHEMA = alpha
 - TABLE = order
 - ROW# = 0
  - COL(1: id) = 115347
  - COL(2: user_id) = 410
  - COL(3: order_amount) = 10000000000
  - COL(4: order_price) = 110000000000
  - COL(5: order_time) = 1446972178
  - COL(6: processed_amount) = 0
  - COL(7: last_processed_time) = 1446972178
  - COL(8: fee_rate) = 0
  - COL(9: type) = 1
  - COL(10: status) = 3
  - COL(11: is_sys) = 18
  - KEY(1: id) = 115347


© 著作权归作者所有

共有 人打赏支持
上一篇: 工作常用命令
下一篇: mysql5.6 安装
汪林
粉丝 7
博文 19
码字总数 8847
作品 0
海淀
程序员
私信 提问
加载中

评论(1)

jannal
jannal
./tungsten-replicator/bin/trepctl services 按照楼主的方式安装完成之后报错
..........Connection failed: A component of type 'replicator' at address localhost:10000 is not available.
java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.ServiceUnavailableException [Root exception is java.rmi.ConnectException: Connection refused to host: localhost; nested exception is:
java.net.ConnectException: 拒绝连接]
使用TreeSoft实现不同数据库间的定时数据同步

TreeSoft数据库管理系统,支持以下数据同步方案: 1、MySQL同步数据到Oracle 2、MySQL同步数据到PostgreSQL 3、MySQL同步数据到SQL Server 4、MySQL同步数据到MongoDB 5、Oracle同步数据到M...

marko39
05/24
0
0
异模数据库同步工具 - 第一阶段

一、【业务需求】 开发一个数据库迁移工具,目的是把MySQL的数据库的数据实时同步到MongoDB中。 已经有一个初步模块和开发测试环境(基于Docker)。基本的功能已经可以执行,现在要求细化。 ...

zb1481207860565
2017/01/25
5
3
没有宫廷内斗,数据库界的延禧攻略

各位老铁们,你们有没有想老张,最近老张的才华被工作的繁忙所限制了,所以一直没时间更博,今儿个时隔数日我们终于再次见面啦(很开心)!最近有部特别火的宫廷戏,不知道大家有没有看,剧名...

superZS
08/27
0
0
Mongodb从库数据重新初始化步骤

1、 从中心mongodb的服务器上导出中心最新的数据,步骤如下: 第一步:创建备份目录 到中心mongodb服务器上创建数据备份的目录 mkdir /var/monogdata 第二步:导出数据 然后到中心mongodb安装...

zmf
2015/06/18
0
0
mongodb的安装及主从配置

一、mongodb安装 1.下载mongodblinux版本 https://www.mongodb.com/download-center#community 2.解压 tar xvf mongodb-linux-x86_64-2.0.7.tgz mkdir /usr/local/mongodb mv mongodb-linux......

Stereor
06/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Docker默认的网络模式

Docker默认的网络模式:Bridge模式 该模式会为每个容器分配Network Namespace子系统,会自动给每个容器虚拟出自己的网卡、IP、网关、路由等信息,无需手工添加。 5分钟玩转 Docker Bridge...

吴伟祥
16分钟前
2
0
Docker方式部署Github监控系统Hawkeye

0.系统环境 CentOS Linux release 7.6.1810 (Core)|Python 2.7.5|2018年10月12日版Hawkeye step1:docker安装 见:https://my.oschina.net/guiguketang/blog/1843594 step2:安装mongodb #vim ......

硅谷课堂
24分钟前
1
0
混合模型---logistic模型的混合

专家混合

中国龙-扬科
27分钟前
3
0
自定义参数校验注解 (实现ConstraintValidator方法)

Hibernate Validator常用注解(图网上找的) 2.自定义校验器 a.注解类 @Target({FIELD, METHOD, PARAMETER, ANNOTATION_TYPE})@Retention(RUNTIME)@Documented@Constraint(validatedB......

INSISTQIAO
30分钟前
1
0
Integer 实现

Integer 封装类型,参数传递传的是值,不是引用 内带缓存,-128 到127 -128 到127 直接数值 IntegerCache 如果不在这个范围,才会new Integer () public static Integer valueOf(int ...

Java搬砖工程师
31分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部