文档章节

Mongo-Connector 安装及使用文档

o
 osc_bkdv2it5
发布于 2019/08/19 16:08
字数 537
阅读 15
收藏 0

精选30+云产品,助力企业轻松上云!>>>

# Mongo-Connector 安装及使用文档

------

> * 工具介绍
> * 安装前准备
> * 安装步骤
> * 命令详解
> * 有可能的坑
> * 其他文档

------

###工具介绍
mongo-connector工具创建一个从MongoDB簇到一个或多个目标系统的管道,目标系统包括:Solr,Elasticsearch,或MongoDB簇。 
该工具在MongoDB与目标系统间同步数据,并跟踪MongoDB的oplog,保持操作与MongoDB的实时同步。

>项目源码:
https://github.com/mongodb-labs/mongo-connector

elastic2-doc-manager是Elastic2.x版本的文档管理器

------

###安装前准备
1.MongoDB 必须开启副本集
2.确保副本集运行正常

------

###安装步骤
1.pip install mongo-connector
2.pip install elastic2-doc-manager

------

###命令详解

运行如下命令开启同步操作:
>mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -d elastic2_doc_manager -n text.XXX

命令详解:
>-m mongodb的地址与端口,端口默认为27017
>-t ES的地址与端口,端口默认为9200
>-d doc manager的名称,2.x版本为: elastic2-doc-manager
>-n text.XXX 表示同步text库中的XXX表 默认表示同步全部库的全部表
>-i filed_name 待同步的字段。默认同步所有字段。

------

###有可能的坑

1. 数据库A中有多个集合(A1, A2, A3),且已开启了副本集(Replica Set),但是集合A1可以同步,集合A2不能同步.
原因:oplog中有A1的操作记录,没有A2的操作记录。
结论:开启副本集(Replica Set)并不能保证一定能同步,oplog中必须包含待同步集合的操作记录,才能通过mongo-connector同步到Elasticsearch集群。

2. mongodb3.x版本加强了安全机制,导致了在只拥有某个库的权限时不能同步数据的问题。
原因:拥有某个库的权限,并不能拥有oplog的读取权限,而mongo-connector需要读取oplog的权限。
结论:同步数据至少需要能够读取oplog的权限,确保当前mongodb用户的权限能够操作oplog,或者直接使用mongodb的管理员权限。

------


###其他文档

1.Mongo与ES同步的5种方式:
>https://www.linkedin.com/pulse/5-way-sync-data-from-mongodb-es-kai-hao

2.mongodb 详细文档:
>https://docs.mongodb.com/manual/tutorial/deploy-replica-set/

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
Power BI连接至Mogo Altas Connector For BI

我需要使用Power BI连接至Connector For BI ,现在Connect For BI存放在Mongo Atlas中,详细的来自于官方文档,https://docs.atlas.mongodb.com/tutorial/connect-bic-excel/ 前提条件(1):...

osc_yfquc6et
2018/05/10
9
0
用 mongodb + elasticsearch 实现中文检索

而 elasticsearch 可以很好的支持各种语言的全文检索,但我们暂时又不想切换到 elasticsearch 作为后端数据库。 当然,可以在 web 应用中存储数据的时候,再主动写一份到 elasticsearch,但这...

楠木楠
2016/09/13
457
0
基于nodejs将mongodb的数据实时同步到elasticsearch

一、前言 因公司需要选用elasticsearch做全文检索,持久化存储选用的是mongodb,但是希望mongodb里面的数据发生改变可以实时同步到elasticsearch上,一开始主要使用elasticsearch v1.7.2的版...

osc_4s0ww36w
2018/03/23
9
0
用 mongodb + elasticsearch 实现中文检索

而 elasticsearch 可以很好的支持各种语言的全文检索,但我们暂时又不想切换到 elasticsearch 作为后端数据库。 当然,可以在 web 应用中存储数据的时候,再主动写一份到 elasticsearch,但这...

osc_47cjrp4f
2019/09/04
1
0
Mongo Connector for BI

官网地址:https://www.mongodb.com/products/bi-connector 它目前包含两个组件: mongosqld:mongosqld接受来自SQL客户端的传入请求,并将这些请求代理到mongod或mongos实例。 mongodrdl: ...

osc_lmvsge82
2018/04/17
3
0

没有更多内容

加载失败,请刷新页面

加载更多

Eclipse_JavaEE_Tomcat_MySQL环境配置

安装java环境,配置系统变量(JAVA_HOME,绝对路径) 下载eclipse+Tomcat+mysql window——》preference——》server——》runtime——》tomcat环境 项目右键build path 配mysql jar ,libra...

愿有时光可回首
32分钟前
20
0
MySQL原理 - InnoDB引擎 - 行记录存储 - Redundant行格式

本文基于 MySQL 8 在上一篇:MySQL原理 - InnoDB引擎 - 行记录存储 - Compact格式 中,我们介绍了什么是 InnoDB 行记录存储以及 Compact 行格式,在这一篇中,我们继续介绍其他三种行格式。 ...

zhxhash
53分钟前
17
0
leetcode面试题 17.13(恢复空格)--Java语言实现

求: 哦,不!你不小心把一个长篇文章中的空格、标点都删掉了,并且大写也弄成了小写。像句子"I reset the computer. It still didn’t boot!"已经变成了"iresetthecomputeritstilldidntboo...

拓拔北海
今天
19
0
B站跨年晚会究竟做对了什么?

燃财经(ID:rancaijing)原创 作者 | 赵磊 编辑 | 周昶帆 “补课”是《bilibili晚会 二零一九最美的夜》这个视频中,观众在前两分钟刷得最多的弹幕,寓意着观众是在元旦之后回来补看跨年晚会...

子乾建建_Jeff
01/07
45
0
关于Scrapy爬虫项目运行和调试的小技巧(上篇)

点击上方“Python爬虫与数据挖掘”,进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 迟日江山丽,春风花草香。泥融飞燕子,沙暖睡鸳鸯。 扫除运行Scrapy爬虫程序...

yuhan336
04/02
26
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部