文档章节

构建mongo-connector镜像

M
 MR_Ding
发布于 2017/09/06 19:36
字数 669
阅读 39
收藏 0
点赞 0
评论 0

1.前提

服务器需要安装docker服务

需要能使用外网

使用mongo-connector需要pymongo(连接mongo用到的)docmanager(连接es,solr等用到的).

秉承测试要多次原则,这里测试两次,构建时测试,导入后测试.

2.下载

我这里使用的是python镜像,因为mongo-connector基于python开发

pull镜像

[root@Ninemax-LPC3 ~]# docker pull daocloud.io/library/python:3.4.6-jessie

镜像重命名(创建tag 删除原有tag)

[root@Ninemax-LPC3 ~]# docker images

REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE

daocloud.io/library/python 3.4.6-jessie c323ccfafc9b 6 weeks ago 679.5 MB

[root@Ninemax-LPC3 ~]# docker tag daocloud.io/library/python:3.4.6-jessie python:3.4.6

[root@Ninemax-LPC3 ~]# docker rmi daocloud.io/library/python:3.4.6-jessie

Untagged: daocloud.io/library/python:3.4.6-jessie

[root@Ninemax-LPC3 ~]# docker images

REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE

python 3.4.6 c323ccfafc9b 6 weeks ago 679.5 MB

3.安装mongo-connector

创建容器

[root@Ninemax-LPC3 ~]# docker images

REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE

python 3.4.6 c323ccfafc9b 6 weeks ago 679.5 MB

[root@Ninemax-LPC3 ~]# docker run --name mongo-connector -ti python:3.4.6 bash

安装vim(此处可略过,看你心情!)

鉴于国内下载国外插件速度太TM慢了,先按这个,在开一个窗口连接去安装剩下的软件

root@fa9aaee571a8:/etc/apt# apt-get install vim

如果报错更新一下源索引:

root@fa9aaee571a8:/etc/apt# apt-get update

更新后,再次尝试安装

root@fa9aaee571a8:/etc/apt# apt-get install vim

安装pymongo

root@fa9aaee571a8:/# pip install pymongo

Collecting pymongo

Downloading pymongo-3.5.1-cp34-cp34m-manylinux1_x86_64.whl (366kB)

100% |████████████████████████████████| 368kB 26kB/s

Installing collected packages: pymongo

Successfully installed pymongo-3.5.1

   

安装docmanager

root@fa9aaee571a8:/# pip install 'elastic2-doc-manager[elastic5]'

其他docmanager命令:

Target System

Install Command

MongoDB

pip install mongo-connector

Elasticsearch 1.x

pip install 'mongo-connector[elastic]'

Amazon Elasticsearch 1.x Service

pip install 'mongo-connector[elastic-aws]'

Elasticsearch 2.x

pip install 'mongo-connector[elastic2]'

Amazon Elasticsearch 2.x Service

pip install 'mongo-connector[elastic2-aws]'

Elasticsearch 5.x

pip install 'mongo-connector[elastic5]'

Solr

pip install 'mongo-connector[solr]'

安装mongo-connector

安装mongo-connector

root@fa9aaee571a8:/# pip install mongo-connector

查看安装文件

root@fa9aaee571a8:/# pip list

DEPRECATION: The default format will switch to columns in the future. You can use --format=(legacy|columns) (or define a format=(legacy|columns) in your pip.conf under the [list] section) to disable this warning.

elastic2-doc-manager (0.3.0)

elasticsearch (5.4.0)

mongo-connector (2.5.1)

pip (9.0.1)

pymongo (3.5.1)

setuptools (36.2.2)

urllib3 (1.22)

wheel (0.29.0)

测试mongo-connector

root@fa9aaee571a8:/# mongo-connector -m 10.12.20.9:27017 -t 10.12.20.3:9201 -d elastic2_doc_manager -n nstlStorage.SOURCE_V01

Logging to /mongo-connector.log.

导出容器

root@fa9aaee571a8:/# exit

[root@Ninemax-LPC3 ~]# docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

fa9aaee571a8 python:3.4.6 "bash" 2 hours ago Up 4 minutes mongo-connector

[root@Ninemax-LPC3 ~]# docker stop -t 0 fa9aaee571a8

fa9aaee571a8

[root@Ninemax-LPC3 ~]# docker export fa9aaee571a8 > ./mongo-connector.tar

[root@Ninemax-LPC3 ~]# ls |grep mongo-connector.tar

mongo-connector.tar

4.测试

导入镜像

[root@Ninemax-LPC3 ~]# docker import - mongo-cennector:2.0 < mongo-connector.tar

c1a26db626be25d8321b2d5d0715dae4c419048252aa6baa757f70b0c32eacc6

[root@Ninemax-LPC3 ~]# docker images

REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE

mongo-cennector 2.0 c1a26db626be About a minute ago 719 MB

python 3.4.6 c323ccfafc9b 6 weeks ago 679.5 MB

创建容器

[root@Ninemax-LPC3 ~]# docker run -t -i --name mongo-cennector2 --net=host mongo-cennector:2.0 bash

root@Ninemax-LPC3:/#

测试

root@fa9aaee571a8:/# mongo-connector -m 10.12.20.9:27017 -t 10.12.20.3:9201 -d elastic2_doc_manager -n nstlStorage.SOURCE_V01

Logging to /mongo-connector.log.

5.最后

这镜像贼鸡儿大,脑阔痛 (TvT)…… 哪天用dockefile构建个小的吧

镜像共享出来:docker pull registry.cn-qingdao.aliyuncs.com/ninemax/mongo-connector:python-1.0

© 著作权归作者所有

共有 人打赏支持
M
粉丝 0
博文 6
码字总数 7859
作品 0
海淀
程序员
docker部署webapp的例子

本文以 tcl-tennis 为例,说明部署 Node.js webapp 的步骤。 创建 Dockerfile 首先,clone 代码 根据 Docker 官网的帮助文档 Dockerizing a Node.js web app,创建 Dockerfile: 注意修改执行...

jacked
2016/01/04
154
0
利用docker和docker-compose 数据库 构建简单爬虫系统

一:简介和安装docker 对于较大型的爬虫需求可以利用服务器搭建docker 的python爬虫框架,这样可以充分利用服务器的资源而且可以限制cpu 内存的使用 监控爬虫程序的情况。 利用docker的另一个...

布咯咯_rieuse
2017/11/16
0
0
用 mongodb + elasticsearch 实现中文检索

而 elasticsearch 可以很好的支持各种语言的全文检索,但我们暂时又不想切换到 elasticsearch 作为后端数据库。 当然,可以在 web 应用中存储数据的时候,再主动写一份到 elasticsearch,但这...

楠木楠
2016/09/13
242
0
利用Docker部署mongodb集群--分片与副本集

环境 Docker version 1.6.2 mongodb 3.0.4 第一步 编写Dockerfile并生成镜像 主意包含两个Dockerfile镜像,一个mongod的,一个mongos(在集群中负责路由) 编写Mongod的Dockerfile: FROM ub...

robin-yao
2015/06/22
0
7
大数据实验室(大数据基础培训)——概要

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 1. 概要说明 本工程为大数据培训的指导教程,包含了培训实践各个环节的说明及相关代码。 1.1. 课程概要 名称 内容 第一天...

孤岛旭日
2016/05/06
97
0
如何使用容器实现生产级别的MongoDB sharding集群的一键交付

作者介绍 魏世江 希云联合创始人、CTO,负责基于Docker的自动化服务管理平台的后端研发工作。擅长Docker相关技术、PasS平台架构及企业自动化运维系统的设计及开发。创业之前在新浪SAE平台任技...

dockerer
2016/06/28
258
0
PySpark-MongoDB Connector

问题反馈 在使用中有任何问题,可以反馈给我,以下联系方式跟我交流 Author: Leo Wechat: Leo-sunhailin E-mail: 379978424@qq.com --- 目录 项目环境 下载方式 小问题 解决办法和过程 代码示...

NullSpider
2017/11/27
0
0
EdgeX Foundry 实践篇

概述 2017年4 月份, Linux 基金组织启动开源项目 EdgeX Foundry ,为物联网边缘计算开发一个标准化互操作框架。 EdgeX Foundry 项目构建于戴尔早期基于 Apache2.0 协议的 FUSE 物联网中间件...

武巅
07/09
0
0
mongo-connector启动异常

https://elasticsearch.cn/question/3362 使用mongo-connector同步es,刚部署好,昨天测试还OK,今天测试10万数据update时,第一次成功,后边就没反应了。mongo和es功能正常...

小明kiss
01/17
0
0
【docker】基于Dockerfile构建monogdb服务镜像

① 查看内容,包括写好的Dockerfile和若干脚本等。 从GitHub Dockerpool社区账户下载Mongodb镜像项目: git clone https://github.com/DockerPool/Mongodb.git 并修改文件 [root@docker1 Mo...

Mr_sheng
2017/12/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Laravel5.5 MySQL配置、读写分离及操作

Laravel 让连接不同数据库以及对数据库进行增删改查操作: 参考:http://laravelacademy.org/post/854.html 配置读写分离 应用的数据库配置位于 config/database.php(但是数据库用户及密码等...

MichaelShu
7分钟前
0
0
Linux 查看用户

存储帐号的文件:/etc/passwd 存储密码的文件:/etc/shadow 查看当前系统所有用户 grep bash /etc/passwd root修改普通用户的密码 sudo passwd user_name 然后连续两次输入新的用户密码即可...

yeahlife
14分钟前
0
0
Webpack使用nodemon实时打包编译

业务场景: 1.编写一个npm组件包并且link到了项目文件中 2.需要不断的修改并run build编译npm包并且在项目run dev 查看效果 3.问题: 每次改完npm包都要手动run build编译十分的麻烦且低效,可不...

JamesView
24分钟前
0
0
电脑炸了,浪费我好几天时间,还是简要记下来吧

我的小本本一直在兢兢业业的干活,然而前几天说炸就炸了...... 爆炸现场: 软件: windows10 pro + EIS11+ 360卫士 BIOS:N1DET98W 2.24 硬件: Xeon E3 1505-V5 nv-M3000M thinkpadP70:20E...

Oh_really
29分钟前
0
0
Git之branch和checkout

1.branch是查看、创建、删除分支 #>git branch --helpNAME git-branch - List, create, or delete branchesSYNOPSIS git branch [--color[=<when>] | --no-color] [......

汉斯-冯-拉特
30分钟前
0
0
Mybatis拦截器之数据权限过滤与分页集成

需求场景 最近项目有个数据权限的业务需求,要求大致为每个单位只能查看本级单位及下属单位的数据,例如:一个集团军下属十二个旅,那么军级用户可以看到所有数据,而每个旅则只能看到本旅部...

佛系程序猿灬
40分钟前
9
0
SpringCloud 微服务 (十六) 服务追踪 Zipkin

问题 在服务中,有一个接口,该A接口中又调用了其他服务的B、C、D接口,出现一个请求耗时大的问题,这时候并不知道该B、C、D接口中哪个接口造成的耗时量,然后比如确定C服务接口出现的耗时量大,但...

___大侠
今天
0
0
Java面试基础篇——第八篇:抽象类与接口的区别

1.抽象类 抽象类:如果一个类中包含有抽象方法,或这个类使用abstract关键字修饰,则称这个类是抽象类。 抽象方法是什么呢?抽象方法就是指用abstract关键字修饰的方法。 需要注意的是:抽象...

developlee的潇洒人生
今天
2
0
jsoup 相关资料

1.jsoup 2.Jsoup概述 3.jsoup入门 4.jsoup Java HTML Parser 1.11.3 API

IT追寻者
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部