文档章节

MySQL集群搭建详解

英雄有梦没死就别停
 英雄有梦没死就别停
发布于 2017/08/09 09:27
字数 2554
阅读 18
收藏 3
点赞 0
评论 0

概述

MySQL Cluster 是MySQL 适合于分布式计算环境的高实用、可拓展、高性能、高冗余版本,其研发设计的初衷就是要满足许多行业里的最严酷应用要求,这些应用中经常要求数据库运行的可靠性要达到99.999%。MySQL Cluster允许在无共享的系统中部署“内存中”数据库集群,通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。

实际上,MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MySQL服务器集成。它包含一组计算机,每个都跑一个或者多个进程,这可能包括一个MySQL服务器,一个数据节点,一个管理服务器和一个专有的一个数据访问程序。

MySQL Cluster能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在Cluster 级别上的存储引擎上做这个最简单。以下为MySQL集群结构关系图,

 

 

MySQL从结构看,由3类节点(计算机或进程)组成,分别是:

管理节点:用于给整个集群其他节点提供配置、管理、仲裁等功能。理论上通过一台服务器提供服务就可以了。

数据节点:MySQL Cluster的核心,存储数据、日志,提供数据的各种管理服务。2个以上 时就能实现集群的高可用保证,DB节点增加时,集群的处理速度会变慢。

SQL节点(API):用于访问MySQL Cluster数据,提供对外应用服务。增加 API 节点会提高整个集群的并发访问速度和整体的吞吐量,该节点 可以部署在Web应用服务器上,也可以部署在专用的服务器上,也开以和DB部署在 同一台服务器上。

NDB引擎

MySQL Cluster 使用了一个专用的基于内存的存储引擎——NDB引擎,这样做的好处是速度快, 没有磁盘I/O的瓶颈,但是由于是基于内存的,所以数据库的规模受系统总内存的限制, 如果运行NDB的MySQL服务器一定要内存够大,比如4G, 8G, 甚至16G。NDB引擎是分布式的,它可以配置在多台服务器上来实现数据的可靠性和扩展性,理论上 通过配置2台NDB的存储节点就能实现整个数据库集群的冗余性和解决单点故障问题。

缺陷

  • 基于内存,数据库的规模受集群总内存的大小限制
  • 基于内存,断电后数据可能会有数据丢失,这点还需要通过测试验证。
  • 多个节点通过网络实现通讯和数据同步、查询等操作,因此整体性受网络速度影响,因此速度也比较慢

2.2 优点

  • 多个节点之间可以分布在不同的地理位置,因此也是一个实现分布式数据库的方案。
  • 扩展性很好,增加节点即可实现数据库集群的扩展。
  • 冗余性很好,多个节点上都有完整的数据库数据,因此任何一个节点宕机都不会造成服务中断。

实现高可用性的成本比较低,不象传统的高可用方案一样需要共享的存储设备和专用的软件才能实现,NDB 只要有足够的内存就能实现。

本文将搭建一个最简化的MySQL Cluster系统,配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点,这五个结点会分别安装在五个虚拟机上,虚拟机的名称和IP如下所示:

一、公共配置

请在三个虚拟机上分别配置此处的配置项。

1. 安装虚拟机

虚拟机操作系统安装CentOS 6.4的x86_64版本,使用NAT网络,并且还要安装vmware-tools,具体安装方法此处不详述。

2. 拷贝mysql cluster

下载以下版本的MySQL-Cluster:

http://cdn.mysql.com/Downloads/MySQL-Cluster-7.3/mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz

下载得到的压缩包拷贝至虚拟机的/root/Downloads目录,然后在shell中运行以下命令:

 
  1. cd /root/Downloads 
  2.  
  3. tar -xvzf mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz 
  4.  
  5. mv mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64 /usr/local/mysql 

3. 关闭安全策略

关闭iptables防火墙(或者打开防火墙的1186、3306端口),在Shell中运行以下命令:

 
  1. chkconfig --level 35 iptables off 

关闭SELinux,在Shell中运行以下命令:

 
  1. gedit /etc/selinux/config 

将config文件中的SELINUX项改为disabled,修改后的config文件的内容如下:

 
  1. # This file controls the state of SELinux on the system. 
  2.  
  3. # SELINUX= can take one of these three values: 
  4.  
  5. # enforcing - SELinux security policy is enforced. 
  6.  
  7. # permissive - SELinux prints warnings instead of enforcing. 
  8.  
  9. # disabled - No SELinux policy is loaded. 
  10.  
  11. SELINUX=disabled 
  12.  
  13. # SELINUXTYPE= can take one of these two values: 
  14.  
  15. # targeted - Targeted processes are protected, 
  16.  
  17. # mls - Multi Level Security protection. 
  18.  
  19. SELINUXTYPE=targeted 

最后重启系统

 

二、配置管理结点(192.168.124.141)

1. 配置config.ini配置文件

在shell中运行以下命令:

 
  1. mkdir /var/lib/mysql-cluster 
  2.  
  3. cd /var/lib/mysql-cluster 
  4.  
  5. gedit config.ini 

配置文件config.ini内容如下:

 
  1. [ndbd default] 
  2.  
  3. NoOfReplicas=2 
  4.  
  5. DataMemory=80M 
  6.  
  7. IndexMemory=18M 
  8.  
  9. [ndb_mgmd] 
  10.  
  11. NodeId=1 
  12.  
  13. hostname=192.168.124.141 
  14.  
  15. datadir=/var/lib/mysql-cluster 
  16.  
  17. [ndbd] 
  18.  
  19. NodeId=2 
  20.  
  21. hostname=192.168.124.142 
  22.  
  23. datadir=/usr/local/mysql/data 
  24.  
  25. [ndbd] 
  26.  
  27. NodeId=3 
  28.  
  29. hostname=192.168.124.143 
  30.  
  31. datadir=/usr/local/mysql/data 
  32.  
  33. [mysqld] 
  34.  
  35. NodeId=4 
  36.  
  37. hostname=192.168.124.144 
  38.  
  39. [mysqld] 
  40.  
  41. NodeId=5 
  42.  
  43. hostname=192.168.124.145 

2. 安装管理结点

安装管理节点,不需要mysqld二进制文件,只需要MySQL Cluster服务端程序(ndb_mgmd)和监听客户端程序(ndb_mgm)。在shell中运行以下命令:

 
  1. cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin 
  2.  
  3. cd /usr/local/bin 
  4.  
  5. chmod +x ndb_mgm* 

三、配置数据结点(192.168.124.142、192.168.124.143)

1. 添加mysql组和用户

在shell中运行以下命令:

 
  1. groupadd mysql 
  2.  
  3. useradd -g mysql mysql 

2. 配置my.cnf配置文件

在shell中运行以下命令:

 
  1. gedit /etc/my.cnf 

配置文件my.cnf的内容如下:

 
  1. [mysqld] 
  2.  
  3. basedir=/usr/local/mysql 
  4.  
  5. datadir=/usr/local/mysql/data 
  6.  
  7. socket=/usr/local/mysql/sock/mysql.sock 
  8.  
  9. user=mysql 
  10.  
  11. # Disabling symbolic-links is recommended to prevent assorted security risks 
  12.  
  13. symbolic-links=0 
  14.  
  15. [mysqld_safe] 
  16.  
  17. log-error=/var/log/mysqld.log 
  18.  
  19. pid-file=/var/run/mysqld/mysqld.pid 
  20.  
  21. [mysql_cluster] 
  22.  
  23. ndb-connectstring=192.168.124.141 

3. 创建系统数据库

在shell中运行以下命令:

 
  1. cd /usr/local/mysql 
  2.  
  3. mkdir sock 
  4.  
  5. scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 

4. 设置数据目录

在shell中运行以下命令:

 
  1. chown -R root . 
  2.  
  3. chown -R mysql.mysql /usr/local/mysql/data 
  4.  
  5. chown -R mysql.mysql /usr/local/mysql/sock 
  6.  
  7. chgrp -R mysql . 

5. 配置MySQL服务

在shell中运行以下命令:

 
  1. cp support-files/mysql.server /etc/rc.d/init.d/ 
  2.  
  3. chmod +x /etc/rc.d/init.d/mysql.server 
  4.  
  5. chkconfig --add mysql.server 

 

四、配置SQL结点(192.168.124.144、192.168.124.145)

1. 添加mysql组和用户

在shell中运行以下命令:

 
  1. groupadd mysql 
  2.  
  3. useradd -g mysql mysql 

2. 配置my.cnf配置文件

在shell中运行以下命令:

gedit /etc/my.cnf

配置文件my.cnf的内容如下:

 
  1. [client] 
  2.  
  3. socket=/usr/local/mysql/sock/mysql.sock 
  4.  
  5. [mysqld] 
  6.  
  7. ndbcluster 
  8.  
  9. datadir=/usr/local/mysql/data 
  10.  
  11. socket=/usr/local/mysql/sock/mysql.sock 
  12.  
  13. ndb-connectstring=192.168.124.141 
  14.  
  15. [mysql_cluster] 
  16.  
  17. ndb-connectstring=192.168.124.141 

3. 创建系统数据库

在shell中运行以下命令:

 
  1. cd /usr/local/mysql 
  2.  
  3. mkdir sock 
  4.  
  5. scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 

4. 设置数据目录

在shell中运行以下命令:

 
  1. chown -R root . 
  2.  
  3. chown -R mysql.mysql /usr/local/mysql/data 
  4.  
  5. chown -R mysql.mysql /usr/local/mysql/sock 
  6.  
  7. chgrp -R mysql . 

5. 配置MySQL服务

在shell中运行以下命令:

 
  1. cp support-files/mysql.server /etc/rc.d/init.d/ 
  2.  
  3. chmod +x /etc/rc.d/init.d/mysql.server 
  4.  
  5. chkconfig --add mysql.server 

五、Cluster环境启动

注意启动顺序:首先是管理节点,然后是数据节点,最后是SQL节点。

1. 启动管理结点

在shell中运行以下命令:

 
  1. ndb_mgmd -f /var/lib/mysql-cluster/config.ini 

还可以使用ndb_mgm来监听客户端,如下:

ndb_mgm

2. 启动数据结点

首次启动,则需要添加--initial参数,以便进行NDB节点的初始化工作。在以后的启动过程中,则是不能添加该参数的,否则ndbd程序会清除在之前建立的所有用于恢复的数据文件和日志文件。

 
  1. /usr/local/mysql/bin/ndbd --initial 

如果不是首次启动,则执行下面的命令。

 
  1. /usr/local/mysql/bin/ndbd 

3. 启动SQL结点

若MySQL服务没有运行,则在shell中运行以下命令:

 
  1. /usr/local/mysql/bin/mysqld_safe --user=mysql & 

4. 启动测试

查看管理节点,启动成功

 

六、集群测试

1. 测试一

现在我们在其中一个SQL结点上进行相关数据库的创建,然后到另外一个SQL结点上看看数据是否同步。

在SQL结点1(192.168.124.144)上执行:

 
  1. shell> /usr/local/mysql/bin/mysql -u root -p 
  2.  
  3. mysql>show databases; 
  4.  
  5. mysql>create database aa; 
  6.  
  7. mysql>use aa; 
  8.  
  9. mysql>CREATE TABLE ctest2 (i INT) ENGINE=NDB; //这里必须指定数据库表的引擎为NDB,否则同步失败 
  10.  
  11. mysql> INSERT INTO ctest2 () VALUES (1); 
  12.  
  13. mysql> SELECT * FROM ctest2; 

然后在SQL结点2上看数据是否同步过来了

经过测试,在非master上创建数据,可以同步到master上

查看表的引擎是不是NDB,>show create table 表名;

2. 测试二

关闭一个数据节点 ,在另外一个节点写输入,开启关闭的节点,看数据是否同步过来。

首先把数据结点1重启,然后在结点2上添加数据

在SQL结点2(192.168.124.145)上操作如下:

 
  1. mysql> create database bb; 
  2.  
  3. mysql> use bb; 
  4.  
  5. mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB; 
  6.  
  7. mysql> use aa; 
  8.  
  9. mysql> INSERT INTO ctest2 () VALUES (3333); 
  10.  
  11. mysql> SELECT * FROM ctest2; 

等数据结点1启动完毕,启动数据结点1的服务

 
  1. #/usr/local/mysql/bin/ndbd --initial#service mysqld start 

然后登录进去查看数据

 
  1. # /usr/local/mysql/bin/mysql -u root –p 

可以看到数据已经同步过来了,说明数据可以双向同步了。

七、关闭集群

1. 关闭管理节点和数据节点,只需要在管理节点(ClusterMgm--134)里执行:

 
  1. shell> /usr/local/mysql/bin/ndb_mgm -e shutdown 

显示

 
  1. Connected to Management Server at: localhost:1186 
  2.  
  3. 2 NDB Cluster node(s) have shutdown. 
  4.  
  5. Disconnecting to allow management server to shutdown. 

2. 然后关闭Sql节点(135,136),分别在2个节点里运行:

shell> /etc/init.d/mysql.server stop

Shutting down MySQL... SUCCESS!

注意:要再次启动集群,就按照第五部分的启动步骤即可,不过这次启动数据节点的时候就不要加”-initial”参数了。
 

© 著作权归作者所有

共有 人打赏支持
英雄有梦没死就别停
粉丝 8
博文 98
码字总数 46463
作品 0
郑州
后端工程师
Linux 系统运维学习方法汇总

本文转载自:http://freeloda.blog.51cto.com/2033581/1315694 大纲 一、前言 二、Linux 运维大环境说明 三、Linux 运维学习思路 四、Linux 运维大方向说明 五、Linux 运维学习必看书籍推荐 ...

woshiliwentong ⋅ 2014/03/18 ⋅ 0

《Linux云计算从入门到精通》系列实战笔记全放送

为了方便Linux云计算爱好者的学习查看,马哥Linx云计算团队特别整理了《Linux云计算从入门到精通》年度重磅大放送,囊括了整个学习过程的学习精华,内容全部由马哥Linux云计算学员撰写,欢迎...

898009427 ⋅ 2017/11/21 ⋅ 0

有经验JAVA程序员如何提升自己?

具有一到五年开发经验 需要学习内容很多 JVM/分布式/高并发/性能优化/Spring MVC/Spring Boot/Spring Cloud/MyBatis/Netty源码分析等等等 01、透彻理解Tomcat原理手写动静态资源的实现 02、分...

阿阳啊啊 ⋅ 2017/11/29 ⋅ 0

大数据之hadoop,国内首部:Zookeeper从入门到精通课程分享

对这个课程感兴趣的朋友可以加我QQ2059055336和我联系。 ZooKeeper是Hadoop的开源子项目(Google Chubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护...

八千里路 ⋅ 2014/05/08 ⋅ 0

云计算--培训课程大纲

第一阶段 Linux系统管理实战 01 打开计算机世界的大门 行业分析、计算机基础、 Windows server基础、网络基础 02 Linux基本管理 Linux安装、Linux常规命令、文本编辑器 03 Linux软件与文件系...

wy125629 ⋅ 2017/10/11 ⋅ 0

kafka_2.11-0.11.0.1集群搭建

本文搭建一个三节点的Kafka集群。该集群有三个Zookeeper、三个Kafka Broker。 一、准备工作 解压kafka安装包,获得如下目录: Kafka目录结构: 展示如下内容: 二、搭建Zookeeper集群 将目录...

周立_itmuch ⋅ 2017/11/15 ⋅ 0

Hive从入门到实战视频教程【40讲全】

1、Hive是什么,Hive的体系结构,Hive和Hadoop的关系 2、Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别 3、JDK安装 4、Hadoop集群搭建-1 5、Hadoop集群搭建-2 6、Hadoop集群搭建-3 ...

tom先生 ⋅ 2014/11/26 ⋅ 0

快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7)

快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7) 分享下载地址——https://pan.baidu.com/s/1jHVvIAi 密码: sirk 本课程从基础开始,紧抓重点、言简意赅、深入浅出的讲解Spark...

羞答答的 ⋅ 2017/10/17 ⋅ 0

《循序渐进Linux》第二版即将出版发行(附封面)

从《循序渐进Linux》第一版发布,到现在已经近6年了,6年的时间,技术发生了很大的变化,Linux系统的内核版本从2.6.9(RHEL4.x)已经更新到了现在的3.10(Centos7.x),第一版中的部分内容已经...

南非蚂蚁 ⋅ 2015/12/25 ⋅ 0

如何迅速掌握并提高linux运维技能

之前曾经写过一篇如何学习Linux的文章,得到了很多反馈,大家都在分享自己的学习经验和体会,并且也提出了不少意见和建议。学习这个事情其实是说起来容易,做起来就很难,虽然给大家提高了很...

南非蚂蚁 ⋅ 2016/10/25 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

如何使用serverchan微信推送告警

之前实现推送告警信息到微信的方法有如下几种: 1、通过企业公众号实现----收费: 2、通过QQ邮箱,在微信平台上开启收到邮件进行提醒; 3、第三方告警平台API,一般也是收费的; 不过最近看文...

问题终结者 ⋅ 10分钟前 ⋅ 0

TCP的RPC

RPC就是远程方法调用(Remote Process Call ),包含了客户端和服务端,涉及了对象的序列化传输。 1.服务端启动,注册远程调用的类2.客户端发送请求信息包含类、方法、参数的一些信息、序列化传...

Cobbage ⋅ 30分钟前 ⋅ 0

IOS-UI UI初步代码布局添加事件

ISO开发界面,UI是必须学习的一部分,其实很早之前想学来了,一直没有沉下心来学习。看到IOS的代码风格和布局就别扭的不行,跟java代码和android布局比较显得不是那么方便,所以一直到现在。...

京一 ⋅ 41分钟前 ⋅ 0

浅谈OpenDaylight的二次开发

OpenDaylight作为一款开源SDN网络控制器,依托于强大的社区支持以及功能特性,成为了目前主流的SDN网络控制器开发平台。在比较稳定的OpenDaylight Helium版本中,已经为开发者提供了大量的网...

wangxuwei ⋅ 50分钟前 ⋅ 0

API 开发中可选择传递 token 接口遇到的一个坑

在做 API 开发时,不可避免会涉及到登录验证,我使用的是jwt-auth 在登录中会经常遇到一个token过期的问题,在config/jwt.php默认设置中,这个过期时间是一个小时,不过为了安全也可以设置更...

等月人 ⋅ 50分钟前 ⋅ 0

Java NIO之文件处理

程序要操作本地操作系统的一个文件,可以分为以下三个部分: 对文件位置的操作 对文件的操作 对文件内容的操作 其中,对文件内容的操作在 Java NIO之Channel 中已经有了介绍,通过FileChann...

士别三日 ⋅ 55分钟前 ⋅ 0

Maven的pom.xml配置文件详解

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.......

小海bug ⋅ 今天 ⋅ 0

解决httpclient超时设置不生效的问题

最近公司有项目需要通过http调用第三方服务,且第三方服务偶有超时,故需要设置一定的超时时间防止不响应的情况出现。 初始设置如下: [java] view plain copy //超时设置 RequestConfig re...

Mr_Tea伯奕 ⋅ 今天 ⋅ 0

过滤器Filter和拦截器HandlerInterceptor

过滤器 依赖于servlet容器。在实现上基于函数回调,可以对几乎所有请求进行过滤,但是缺点是一个过滤器实例只能在容器初始化时调用一次。使用过滤器的目的是用来做一些过滤操作,获取我们想要...

hutaishi ⋅ 今天 ⋅ 0

Redis入门详解(转)

Redis入门详解 Redis简介 Redis安装 Redis配置 Redis数据类型 Redis功能 持久化 主从复制 事务支持 发布订阅 管道 虚拟内存 Redis性能 Redis部署 Redis应用场景 Redis总结 Redis简介: Redi...

xiaoyaoyoufang ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部