文档章节

mongoDB高可用集群环境搭建

二两豆腐
 二两豆腐
发布于 2016/07/11 15:38
字数 2320
阅读 174
收藏 11
点赞 0
评论 0

在生产环境下,部署一台mongodb服务的话,会存在以下问题:

  • 单点问题

    生产环境是一个发杂的环境,在这个过程中会产生很多的问题,发生网络故障,服务器宕机,机房停电等,如果是部署单机服务的话,均会导致服务不可用的问题

  • 随着数据量的增加存储空间不足问题

    当我们的业务 数据越来越多,这样单台服务器的硬盘大小已经无法满足业务需求,硬盘容量不可能无限增大,这时候就需要部署多台服务器,分布式部署来应对

  • 海量数据访问速度问题

    所有的操作压力都在这台服务器上,导致服务器压力变大,甚至服务死掉,无法再提供服务,需要采用分而治之的策略

  • 服务宕机,以及其他未知原因导致数据永久性无法恢复问题

    由于一些特殊的原因,可能导致服务器数据的损坏,由于数据都是比较重要的数据,损坏以后无法恢复是不能接受的,所谓狡兔三窟,这种数据我们一定要有备份,只是采用何种备份策略的问题

 

为了保证服务的高可用,应对数据量的快速增长,出现问题能快速的从错误中恢复,本文接下来就对如何搭建一个高可用的mongodb集群一步一步的做一个详细的说明

一、Mongodb集群中的角色说明

  • 路由服务器(mongos)

    对外提供服务,屏蔽后台数据节点,是一个请求分发中心,我们使用的时候只需要连接mongos即可,它会准确的路由到相应的分片上,mongos可以部署多个。

  • 配置服务器(config server)

    存储多有的数据库配置,路由,分片信息,mongos本身没有物理存储分片服务器和数据路由信息,只缓存在内存中,配置服务器则可以实际存储这些数据。Mongos第一次启动或者关掉重启就会从config server 中加载配置信息,以后如果配置服务器信息变化,会通知到mongos更新自己的状态,这样mongos就能继续准确的路由。

  • 分片(shard)

    一台机器能力是有天花板的,并且数据量比较大的时候所有的请求都会在一台机器上,这样压力太大,1T的数据进行分成4片,每片承担250G,这样压力压力就分散。

  • 副本集(repl set)

    为了达到高可用的的目的,数据节点通常都会有备份节点或者副本集(stand by),对于每片构建replicat set副本保证分片的可靠性。生产环境通常采用两个副本加一个仲裁节点。

二、高可用集群搭建

  • 确定各个组件的数量

    Mongos 3个,configure server 3个,数据分为3片,数据分片中有两个副本外加一个仲裁节点,也就是副本集中有9个实例,以上所有 3+3+3*3=15个实例。

  • 物理机器部署

    由于没有那么多物理机器,实际上也没有必要这么多物理机器来进行部署这些实例,如果把一些实例放到同一台机器上,只需要端口不同即可。我们使用三台物理机,拓扑图如下:

 

 

 

 

 

 

 

 

     以上我们有三台机器,host 和ip分别是m1 192.168.1.140,m2 192.168.1.141,m2 192.168.1.142

    实例及端口分配

    Mongos        端口:27300

    Configure server  端口:27017

    Shard primary    端口:27018

    Shard arbiter    端口:27019

    Shard secondary   端口:27020

    文件夹分配:

    日志地址:/var/log/mongodb/

    配置地址:/etc/mongodb/conf/

    数据地址:/var/lib/mongodb/db/

    在以上文件夹中均建立 27017、27018、27019、27020、27300文件夹,用于存储各个实例的相关文件

            以上文件夹需要在三台服务器上均要创建。

  • 服务启动

        1、下载mongodb 3.2.6 压缩文件(可以在mongodb官网直接下载),上传到三台服务器,均解压到/usr/local/mongodb文件夹下

    2、实例配置及启动

    每台机器上均运行

/usr/local/mongodb/bin/mongod --configsvr --dbpath /var/lib/mongodb/db/27017/ --port 27017 --logpath /var/log/mongodb/27017/mongo.log --fork

 

    3、启动mongos

 

    在每台机器上运行

    (要确保其他机器上的端口打开可访访问,在测试环境可以把防火墙关闭了(service iptables stop))

    默认不是后台运行,后台运行需要如下方式

/usr/local/mongodb/bin/mongos --configdb 192.168.1.140:27017,192.168.1.141:27017,192.168.1.142:27017 --port 27300 --logpath /var/log/mongodb/27300/mongos.log  --chunkSize 5  --fork

    4、分片服务器启动

    每台服务器有三个分片 (shard1 ,shard2 ,shard3)

#在服务器m1(192.168.1.40运行)
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27018 --dbpath /var/lib/mongodb/db/27018/ --logpath /var/log/mongodb/27018/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27019 --dbpath /var/lib/mongodb/db/27019/ --logpath /var/log/mongodb/27019/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27020 --dbpath /var/lib/mongodb/db/27020/ --logpath /var/log/mongodb/27020/shard1.log --fork --nojournal --oplogSize 10

#在服务器m1(192.168.1.41运行)
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /var/lib/mongodb/db/27018/ --logpath /var/log/mongodb/27018/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27019 --dbpath /var/lib/mongodb/db/27019/ --logpath /var/log/mongodb/27019/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27020 --dbpath /var/lib/mongodb/db/27020/ --logpath /var/log/mongodb/27020/shard1.log --fork --nojournal --oplogSize 10
 
#在服务器m1(192.168.1.42运行)
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27018 --dbpath /var/lib/mongodb/db/27018/ --logpath /var/log/mongodb/27018/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27019 --dbpath /var/lib/mongodb/db/27019/ --logpath /var/log/mongodb/27019/shard1.log --fork --nojournal --oplogSize 10
/usr/local/mongodb/bin/mongod --shardsvr --replSet shard3 --port 27020 --dbpath /var/lib/mongodb/db/27020/ --logpath /var/log/mongodb/27020/shard1.log --fork --nojournal --oplogSize 10

    至此,15个服务全部启动完毕

    5、配置副本集

    设置shard1分片副本集(登录192.168.1.140)

>/usr/local/mongodb/bin/mongo 127.0.0.1:27018

  #使用admin数据库
  use admin
  #定义副本集配置

  config = { _id:"shard1", members:[
  {_id:0,host:"192.168.1.140:27018"},
  {_id:1,host:"192.168.1.140:27019"},
  {_id:2,host:"192.168.1.140:27020",arbiterOnly:true}
  ]
  }

  #初始化副本集配置

  rs.initiate(config); //只在初始化的时候运行一次

    设置shard2分片副本集(登录192.168.1.141)

>/usr/local/mongodb/bin/mongo 127.0.0.1:27018

  #使用admin数据库
  use admin
  #定义副本集配置

  config = { _id:"shard2", members:[
  {_id:0,host:"192.168.1.141:27018"},
  {_id:1,host:"192.168.1.141:27019"},
  {_id:2,host:"192.168.1.141:27020",arbiterOnly:true}
  ]
  }

  #初始化副本集配置

  rs.initiate(config); //只在初始化的时候运行一次

    设置shard3的副本集(登录192.168.1.142)

>/usr/local/mongodb/bin/mongo 127.0.0.1:27018

  #使用admin数据库
  use admin
  #定义副本集配置

  config = { _id:"shard3", members:[
  {_id:0,host:"192.168.1.142:27018"},
  {_id:1,host:"192.168.1.142:27019"},
  {_id:2,host:"192.168.1.142:27020",arbiterOnly:true}
  ]
  }

  #初始化副本集配置

  rs.initiate(config); //只在初始化的时候运行一次

    6、分片

    目前搭建了mongodb配置服务器、路由服务器,各个分片服务器,不过应用程序连接到 mongos 路由服务器并不能使用分片机制,还需要在程序里设置分片配置,让分片生效。

    进入任意一台mongos ,我进入的是141环境的mongos

/usr/local/mongodb/bin/mongo 192.168.1.141:27300

    进入以后,运行以下命令

db.runCommand( { addshard : "shard1/192.168.1.140:27018,192.168.1.140:27019,192.168.1.140:27020"});
db.runCommand( { addshard : "shard2/192.168.1.141:27018,192.168.1.141:27019,192.168.1.141:27020"});
db.runCommand( { addshard : "shard3/192.168.1.142:27018,192.168.1.142:27019,192.168.1.142:27020"});

    这样就分配好了三个片,可以通过以下方式进行查看

mongos> db.runCommand( { listshards : 1 } );

{
	"shards" : [
		{
			"_id" : "shard1",
			"host" : "shard1/192.168.1.140:27018,192.168.1.140:27019"
		},
		{
			"_id" : "shard2",
			"host" : "shard2/192.168.1.141:27018,192.168.1.141:27019"
		},
		{
			"_id" : "shard3",
			"host" : "shard3/192.168.1.142:27018,192.168.1.142:27019"
		}
	],
	"ok" : 1
}

    7、指定分片数据库和集合片键

    目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了,我们期望在实际中指定需要分片的数据库以及数据库的集合采用何种片键来进行自动分配

#指定testdb分片生效
db.runCommand( { enablesharding :"clusterDB"});
#指定数据库里需要分片的集合和片键
db.runCommand( { shardcollection : "clusterDB.testcol",key : {id: 1} } )

    8、测试

    我们设置clusterDB的 testcol集合需要分片,根据 id 自动分片到 shard1 ,shard2,shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片!

for (var i = 1; i <= 10000; i++)db. testcol .save({id:i,"testkey":"testval"});
#插入完成以后,可以运行以下命令,看看具体的分片信息
db.table1.stats();

 

    至此,一个高可用的mongodb集群就搭建起来了,文章比较长,有些也比较啰嗦,看到这个地方,感谢你的耐心,不过我相信你只要你跟着上面一步一步来做的话,自己也能搭建起来了一个强大的mongodb集群。

不过………… 这个集群里面还是缺了一个重要的步骤的,那就是认证,现在如果我们的集群是放在外网环境上的,那么任何人都能访问到我们的数据,接下来这篇文章《 mongodb 高可用集群搭建-认证 》,我们尝试把这个集群更改为带安全校验的。如果需要的话,请尽情点击。

 

© 著作权归作者所有

共有 人打赏支持
二两豆腐
粉丝 20
博文 88
码字总数 74946
作品 0
朝阳
高级程序员
CentOS7.X安装mongodb-3.4.2

安装mongodb 下载安装mongodb3.4.x 加入环境变量 创建数据目录 修改配置文件 启动关闭mongodb 开机启动mongodb Mongodb集群(cluster) 修改mongodb.conf 启动mongodb 初始化mongodb,启动副本集...

qq2233466866 ⋅ 06/11 ⋅ 0

Graylog日志监控集群搭建

场景及日志量 由于公司是物联网场景,设备每10秒都会上报Gps数据,后端猿对每个每个上传数据的处理都加入了日志,加上后端猿用Quartz写了许多无状态的后台服务,每10s跑一次,而且有多个环境...

秦时明月路 ⋅ 05/30 ⋅ 0

MongoDB 4.0 RC 版本强势登陆

MongoDB 因其灵活的文档模型、可扩展分布式设计广受开发者喜爱,在此基础上,MongoDB 4.0 推出了更强大的功能支持,目前4.0第一个RC版本已经发布,本文将介绍 MongoDB 4.0 核心的一些新特性。...

张友东 ⋅ 05/30 ⋅ 0

MongoDB一主一丛有用户认证的搭建

准备好两台测试服务器 主 10.0.0.3 从 10.0.0.4 一、两台服务器安装mongodb数据库 第一步:创建好目录 mkdir -p /datamaster/tools/ cd /datamaster/tools/ 第二步:下载完安装包并解压 #下载...

lsy950109 ⋅ 06/06 ⋅ 0

MongoDB 4.0 首个 RC 版发布,支持多文档事务

MongoDB 因其灵活的文档模型、可扩展分布式设计广受开发者喜爱,在此基础上,MongoDB 4.0 推出了更强大的功能支持,目前 4.0 第一个 RC 版本已经发布。 开始体验 MongoDB 4.0 RC:下载地址 ...

局长 ⋅ 06/05 ⋅ 0

CentOS 7 安装配置 mongodb 3.0.7

CentOS 7 安装配置 mongodb 3.0.7 安装环境 VMware 12 安装的 CentOS 7 x64 mongodb-linux-x8664-3.0.7.tgz 使用的用具xshell5,xftp5 安装配置 新建用户和用户组mongodb 通过xftp上传mongo...

lizer2016 ⋅ 2015/11/20 ⋅ 0

一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事

微服务架构 微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。互联网时代的产品通常有两类特点:需求变化快和用...

ityouknow ⋅ 05/16 ⋅ 0

大数据分析挖掘学习方向?数据分析师的就业前景怎么样?

加米谷数据分析挖掘课程明细,从理论到云端实操环境到项目实战,手把手教您从0掌握数据分析与挖掘技术,带您走进数据时代。 第一阶段(python基础) python入门:1、Python版本特性介绍2、P...

加米谷大数据 ⋅ 04/17 ⋅ 0

一文读懂Spring Boot、微服务架构和大数据治理之间的故事

微服务架构 微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。互联网时代的产品通常有两类特点:需求变化快和用...

纯洁微笑 ⋅ 05/10 ⋅ 0

介绍一款好用 mongodb 可视化工具

最近想自己搭建一个个人博客,所以学了下mongodb,mongodb是用命令行输入的,有些人可能不太习惯,我自己找了下mongodb的一些可视化工具,发现了一款adminmongo很好用,这里介绍给你们用一下...

simpower ⋅ 05/26 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

骰子游戏代码开源地址

因为阿里云现在服务器已经停用了,所以上面的配置已经失效。 服务端开源地址:https://gitee.com/goalya/chat4.git 客户端开源地址:https://gitee.com/goalya/client4.git 具体运行界面请参考...

算法之名 ⋅ 31分钟前 ⋅ 0

设计模式--装饰者模式

装饰者模式 定义 动态地给一个对象添加一些额外的职责。就增加功能来说,装饰模式相比生成子类更为灵活。 通用类图 意图 动态地给一个对象添加一些额外的职责。就增加功能来说,装饰模式相比...

gaob2001 ⋅ 今天 ⋅ 0

JavaScript零基础入门——(八)JavaScript的数组

JavaScript零基础入门——(八)JavaScript的数组 欢迎大家回到我们的JavaScript零基础入门,上一节课我们讲了有关JavaScript正则表达式的相关知识点,便于大家更好的对字符串进行处理。这一...

JandenMa ⋅ 今天 ⋅ 0

sbt网络问题解决方案

转自:http://dblab.xmu.edu.cn/blog/maven-network-problem/ cd ~/.sbt/launchers/0.13.9unzip -q ./sbt-launch.jar 修改 vi sbt/sbt.boot.properties 增加一个oschina库地址: [reposit......

狐狸老侠 ⋅ 今天 ⋅ 0

大数据,必须掌握的10项顶级安全技术

我们看到越来越多的数据泄漏事故、勒索软件和其他类型的网络攻击,这使得安全成为一个热门话题。 去年,企业IT面临的威胁仍然处于非常高的水平,每天都会看到媒体报道大量数据泄漏事故和攻击...

p柯西 ⋅ 今天 ⋅ 0

Linux下安装配置Hadoop2.7.6

前提 安装jdk 下载 wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz 解压 配置 vim /etc/profile # 配置java环境变量 export JAVA_HOME=/opt/jdk1......

晨猫 ⋅ 今天 ⋅ 0

crontab工具介绍

crontab crontab 是一个用于设置周期性被执行的任务工具。 周期性执行的任务列表称为Cron Table crontab(选项)(参数) -e:编辑该用户的计时器设置; -l:列出该用户的计时器设置; -r:删除该...

Linux学习笔记 ⋅ 今天 ⋅ 0

深入Java多线程——Java内存模型深入(2)

5. final域的内存语义 5.1 final域的重排序规则 1.对于final域,编译器和处理器要遵守两个重排序规则: (1)在构造函数内对一个final域的写入,与随后把这个被构造对象的引用赋值给一个引用...

江左煤郎 ⋅ 今天 ⋅ 0

面试-正向代理和反向代理

面试-正向代理和反向代理 Nginx 是一个高性能的反向代理服务器,但同时也支持正向代理方式的配置。

秋日芒草 ⋅ 今天 ⋅ 0

Spring 依赖注入(DI)

1、Setter方法注入: 通过设置方法注入依赖。这种方法既简单又常用。 类中定义set()方法: public class HelloWorldOutput{ HelloWorld helloWorld; public void setHelloWorld...

霍淇滨 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部