文档章节

MySQL Cluster

lee_ypp
 lee_ypp
发布于 2014/07/09 15:38
字数 2897
阅读 756
收藏 75

MySQL Cluster 是一种技术,其主要功能是在无共享的相关系统中部署内存中数据库的 Cluster 。在通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。

MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDBCluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。关于 Cluster 中这些组件的关系,请参见下图:


所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中,表(结构)则保存在“MySQL服务器”中。应用程序通过 “MySQL服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。通过将MySQL Cluster 引入开放源码世界,MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。

MySQL Cluster 基本概念 “NDB” 是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的特点。

MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集,仅取决于 Cluster本身内的其他数据。目前,MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中,Cluster的每个部分被视为1个节点。
管理(MGM)节点:这类节点的作用是管理MySQL Cluster内的其他节点,如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。
数据节点:这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。
SQL节点: 这是用来访问 Cluster数据的节点。对于MySQL Cluster,客户端节点是使用NDBCluster存储引擎的传统MySQL服务器。通常,SQL节点是使用命令“mysqld –ndbcluster”启动的,或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。注释:在很多情况下,术语“节点”用 于指计算机,但在讨论MySQL Cluster时,它表示的是进程。在单台计算机上可以有任意数目的节点,为此,我们采用术语“ Cluster主机”。

管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据,并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时,节点将关于这类事件的信息传输 到管理服务器,然后,将这类信息写入 Cluster日志。

此外,可以有任意数目的 Cluster客户端进程或应用程序。它们分为两种类型:

标准MySQL客户端:对于MySQL Cluster,它们与标准的(非 Cluster类)MySQL没有区别。换句话讲,能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问MySQL Cluster。

管理客户端:这类客户端与管理服务器相连,并提供了启动和停止节点、启动和停止消息跟踪(仅调试版本)、显示节点版本和状态、启动和停止备份等的命令。

下载所需的软件包:

MySQL-Cluster-gpl-client-7.1.18-1.el6.x86_64.rpm

MySQL-Cluster-gpl-management-7.1.18-1.el6.x86_64.rpm

MySQL-Cluster-gpl-server-7.1.18-1.el6.x86_64.rpm

MySQL-Cluster-gpl-storage-7.1.18-1.el6.x86_64.rpm

MySQL-Cluster-gpl-tools-7.1.18-1.el6.x86_64.rpm

系统环境:

系统:RHEL6.5 selinux and iptables disabled

管理节点:192.168.2.1

数据节点:192.168.2.3

sql节点:192.168.2.52

1.管理节点的配置:

#rpm -ivh MySQL-Cluster-gpl-management-7.1.18-1.el6.x86_64.rpm MySQL-Cluster-gpl-tools-7.1.18-1.el6.x86_64.rpm 

#mkdir /usr/mysql-cluster

#vim /usr/mysql-cluster/config.ini

[ndbd default]
noofreplicas=1     #该全局参数仅能在[NDBD DEFAULT]中设置,它定义了cluster中每个表保存的副本数。该参数还指定了节点组的大小。节点组指的是保存相同信息的节点集合
datamemory=50M #该参数定义了数据节点用于保存数据库记录的空间大小,全部空间均是分配在内存中的,确保你的数据节点具有足够的物理内存来容纳该值,由于我这是使用虚拟机测试,所以设置的偏小,你可以依照实际环境来定义此值

indexmemory=20M #该参数用于控制cluster中哈希(混编)索引所使用的存储量

[ndb_mgmd]
nodeid=1
hostname=192.168.2.1 #定义管理节点ip
datadir=/usr/mysql-cluster/ #它用于设置保存管理服务器输出文件的位置。这些文件包括cluster日志文件、进程输出文件、以及端口监督程序的pid文件

[ndbd]
nodeid=2
hostname=192.168.2.3
datadir=/usr/local/ndbd

[mysqld]
nodeid=3
hostname=192.168.2.52 #定义sql节点ip

2.数据节点的配置:

#rpm -ivh MySQL-Cluster-gpl-storage-7.1.18-1.el6.x86_64.rpm

#mkdir /usr/local/ndbd

#vim /etc/my.cnf

[mysqld]
ndbcluster
ndb-connectstring=192.168.2.1

[mysql_cluster]
ndb-connectstring=192.168.2.1

3.sql节点配置:

#rpm -e mysql-libs --nodeps

#yum localinstall MySQL-Cluster-gpl-client-7.1.18-1.el6.x86_64.rpm MySQL-Cluster-gpl-server-7.1.18-1.el6.x86_64.rpm

如果你的内存≤64M,则复制/usr/share/mysql/my-small.cnf为/etc/my.cnf

如果内存是128M,则复制/usr/share/mysql/my-medium.cnf为/etc/my.cnf

如果内存是512M,则复制/usr/share/mysql/my-large.cnf为/etc/my.cnf

如果内存是1-2G,则复制/usr/share/mysql/my-huge.cnf为/etc/my.cnf

如果内存是4G,则复制/usr/share/mysql/my-innodb-heavy-4G.cnf为/etc/my.cnf

修改/etc/my.cnf

[mysqld]
....
ndbcluster
ndb-connectstring=192.168.2.1
[mysql_cluster]
ndb-connectstring=192.168.2.1

配置完成,开始启动:

首先启动管理节点,然后启动存储节点,最后启动SQL节点

理节点:ndb_mgmd -f /usr/mysql-cluster/config.ini

数据节点:ndbd --initial            注: 仅在首次启动ndbd时,或在备份/恢复或配置变化后重启ndbd时使用“--initial”参数,这很重要。原因在于,该参数会使节点删除由早期 ndbd实例创建的、用于恢复的任何文件,包括恢复用日志文件

sql节点:service mysql start

4.管理节点测试:

#ndb_mgm

-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]    2 node(s)
id=2    @192.168.2.3  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 0, Master)
[ndb_mgmd(MGM)]    1 node(s)
id=1    @192.168.2.1  (mysql-5.1.56 ndb-7.1.18)
[mysqld(API)]    3 node(s)
id=3    @192.168.2.52  (mysql-5.1.56 ndb-7.1.18)

5.在线添加节点:

新增节点:数据结点:192.168.2.53(配置与数据节点192.168.2.3相同,即将其/etc/my.cnf拷贝至该主机下即可)

                sql节点:192.168.2.60(配置与sql节点192.168.2.52相同,即将其/etc/my.cnf拷贝至该主机下即可)

1)管理节点:

#vim /usr/mysql-cluster/config.ini 

[ndbd default]
noofreplicas=2
datamemory=50M
indexmemory=20M

[ndb_mgmd]
nodeid=1
hostname=192.168.2.1
datadir=/usr/mysql-cluster/

[ndbd]
nodeid=2
hostname=192.168.2.3
datadir=/usr/local/ndbd

[ndbd]            #加入新增数据节点
nodeid=4
hostname=192.168.2.53
datadir=/usr/local/ndbd



[mysqld]
nodeid=3
hostname=192.168.2.52

[mysqld]        #加入新增sql节点
nodeid=5
hostname=192.168.2.60

[mysqld]
        #加了个空闲连接,为以后的数据恢复所准备,需要时再加也可以各数据节点重新初始化


配置完成后就可以启动了:

启动前先关闭管理节点:

# ndb_mgm

ndb_mgm> shutdown

首先启动管理节点,然后启动存储节点,最后启动SQL节点。 ##!注意:添加的存储节点和SQL节点的安装操作上面已有示范,此处不再累赘。

管理节点重新加载配置:

ndb_mgmd -f /usr/mysql-cluster/config.ini --initial

数据节点重新初始化:

ndbd --initial

sql节点重启mysql:

service mysql restart

2)管理节点检测:

ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]    2 node(s)
id=2    @192.168.2.3  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 0, Master)
id=4    @192.168.0.53  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 1)

[ndb_mgmd(MGM)]    1 node(s)
id=1    @192.168.2.1  (mysql-5.1.56 ndb-7.1.18)

[mysqld(API)]    3 node(s)
id=3    @192.168.2.52  (mysql-5.1.56 ndb-7.1.18)
id=5    @192.168.2.60  (mysql-5.1.56 ndb-7.1.18)

id=6 (not connected, accepting connect from any host)

从以上的显示信息可以看到节点2和4做为一个数据组,两个节点的数据是一样的,互为冗余;两个sql节点可以操作,互为冗余。

3)建立集群数据:

在sql节点执行
#vi city.sql

create database linux;
use linux;
CREATE TABLE city (
ID int(11) NOT NULL auto_increment,
Name char(35) NOT NULL default '',
CountryCode char(3) NOT NULL default '',
District char(20) NOT NULL default '',
Population int(11) NOT NULL default '0',
PRIMARY KEY (ID)
ENGINE=NDBCLUSTER;        #指定MySQL为该表使用了NDB存储引擎,数据存储于各数据节点,不然 mysql使用默认的MyISAM存储引擎,所有的数据将会存储于本机,和单机一样。
INSERT INTO city VALUES (1,'Kabul','AFG','Kabol',1780000);
INSERT INTO city VALUES (2,'Qandahar','AFG','Qandahar',237500);
INSERT INTO city VALUES (3,'Herat','AFG','Herat',186800)

mysql < city.sql

现在你可以在各sql节点查看数据(可以发现数据是一样的)
mysql> show databases;

mysql> use linux
Database changed
mysql> select * from city;
+----+----------+-------------+----------+------------+
| ID | Name     | CountryCode | District | Population |
+----+----------+-------------+----------+------------+
|  3 | Herat    | AFG         | Herat    |     186800 |
|  1 | Kabul    | AFG         | Kabol    |    1780000 |
|  2 | Qandahar | AFG         | Qandahar |     237500 |
+----+----------+-------------+----------+------------+
3 rows in set (0.00 sec)

4)mysql cluster 备份恢复:

管理节点执行备份:
ndb_mgm> start backup
Waiting for completed, this may take several minutes
Node 2: Backup 1 started from node 1
Node 2: Backup 1 started from node 1 completed
StartGCP: 149 StopGCP: 152
sql节点删除City表中的所有数据(mysql > delete from city)执行恢复。由于数据分散在两个数据节点,因此在各数据节点执行恢复:(由于我使用的是rpm包方式安装,各数据节点没有ndb_restore命令,可以直接从管理节点scp)
#scp /usr/bin/ndb_restore 192.168.2.3:/usr/bin/
#scp /usr/bin/ndb_restore 192.168.2.53:/usr/bin/

数据节点2:

#ndb_restore -n 2 -b 1 -r /usr/local/ndbd/BACKUP/BACKUP-1/         ##-n指节点id   -b指备份id   -r指备份目录

Nodeid = 2

Backup Id = 1
backup path = /usr/local/ndbd/BACKUP/BACKUP-1/
Opening file '/usr/local/ndbd/BACKUP/BACKUP-1/BACKUP-1.2.ctl'
File size 12788 bytes
Backup version in files: ndb-6.3.11 ndb version: mysql-5.1.56 ndb-7.1.18
Stop GCP of Backup: 622
Connected to ndb!!
Opening file '/usr/local/ndbd/BACKUP/BACKUP-1/BACKUP-1-0.2.Data'
File size 27096 bytes
_____________________________________________________
Processing data in table: linux/def/city(9) fragment 0
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(3) fragment 0
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(6) fragment 0
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_4_3(5) fragment 0
_____________________________________________________
Processing data in table: westos/def/city(7) fragment 0
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(2) fragment 0
_____________________________________________________
Processing data in table: mysql/def/ndb_schema(4) fragment 0
Opening file '/usr/local/ndbd/BACKUP/BACKUP-1/BACKUP-1.2.log'
File size 52 bytes
Restored 1 tuples and 0 log entries

NDBT_ProgramExit: 0 - OK

数据节点4:

ndb_restore -n 4 -b 1 -r /usr/local/ndbd/BACKUP/BACKUP-1/
Nodeid = 4
Backup Id = 1
backup path = /usr/local/ndbd/BACKUP/BACKUP-1/
Opening file '/usr/local/ndbd/BACKUP/BACKUP-1/BACKUP-1.4.ctl'
File size 12788 bytes
Backup version in files: ndb-6.3.11 ndb version: mysql-5.1.56 ndb-7.1.18
Stop GCP of Backup: 622
Connected to ndb!!
Opening file '/usr/local/ndbd/BACKUP/BACKUP-1/BACKUP-1-0.4.Data'
File size 25756 bytes
_____________________________________________________
Processing data in table: linux/def/city(9) fragment 1
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(3) fragment 1
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(6) fragment 1
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_4_3(5) fragment 1
_____________________________________________________
Processing data in table: westos/def/city(7) fragment 1
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(2) fragment 1
Processing data in table: mysql/def/ndb_schema(4) fragment 1
Opening file '/usr/local/ndbd/BACKUP/BACKUP-1/BACKUP-1.4.log'
File size 52 bytes
Restored 4 tuples and 0 log entries

NDBT_ProgramExit: 0 - OK

这时在sql节点上查看可以发现数据已将恢复

mysql> show databases;

mysql> use linux

Database changed

mysql> select * from city;
+----+----------+-------------+----------+------------+
| ID | Name     | CountryCode | District | Population |
+----+----------+-------------+----------+------------+
|  3 | Herat    | AFG         | Herat    |     186800 |
|  1 | Kabul    | AFG         | Kabol    |    1780000 |
|  2 | Qandahar | AFG         | Qandahar |     237500 |
+----+----------+-------------+----------+------------+
3 rows in set (0.00 sec)

                 __leeypp@gmail.com                                       


© 著作权归作者所有

共有 人打赏支持
lee_ypp
粉丝 64
博文 45
码字总数 58692
作品 0
程序员
加载中

评论(3)

jeffsui
jeffsui
先收藏
lee_ypp
lee_ypp

引用来自“qianyunlai”的评论

正需要

希望能帮到你
钱途无梁
钱途无梁
正需要
MySQL Cluster 7.3.8/7.4.3 RC 发布

MySQL Cluster 7.3.8(5.6.22-ndb-7.3.8)发布,此版本是基于 MySQL Server 5.6,包括 存储引擎 7.3 版本的特性,修复了一些之前版本的 bug。从这里(http://dev.mysql.com/downloads/cluster/...

oschina
2015/01/22
3.3K
1
MySQL Cluster 7.2.7 GA 发布

MySQL Cluster 7.2.7 GA 发布了,下载地址: http://dev.mysql.com/downloads/cluster/7.2.html MySQL Cluster 7.2 系列是基于 MySQL 5.5 版本。MySQL Cluster 是 MySQL 适合于分布式计算环境......

oschina
2012/07/18
1K
0
MySQL Cluster 7.0.37 GA 发布

MySQL Cluster 7.0.37 GA 发布了,下载地址: http://dev.mysql.com/downloads/cluster/7.0.html MySQL Cluster 是 MySQL 适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存...

oschina
2013/02/02
975
1
MySQL Cluster 7.1.22 发布

MySQL Cluster 7.1.22 发布了,下载地址: http://dev.mysql.com/downloads/cluster/7.1.html MySQL Cluster 是 MySQL 适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储...

oschina
2012/05/24
420
0
MySQL Cluster(MySQL 集群) 初试

MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的...

红薯
2009/04/29
10.9K
12

没有更多内容

加载失败,请刷新页面

加载更多

Kafka如何做到1秒处理1500万条消息?

Apache Kafka 是一款流行的分布式数据流平台,它已经广泛地被诸如 New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统...

架构师springboot
12分钟前
4
0
如何清理Nexus Repository Manager

随着开发运维一体化的理念逐渐深入,持续集成流水线已经成为软件开发的标配。持续集成通过高度自动化的方式,使得构建发布变得非常简单,构建发布次数随之变的越来越多。我们在享受高频次的构...

JasonSE
24分钟前
0
0
聊聊storm的ack机制

序 本文主要研究一下storm的ack机制 实例 SentenceSpout public class AckSentenceSpout extends BaseRichSpout { private ConcurrentHashMap<UUID, Values> pending; private Spo......

go4it
34分钟前
0
0
《netty入门与实战》笔记-05:netty内置的channelHandler

Netty 内置了很多开箱即用的 ChannelHandler。下面,我们通过学习 Netty 内置的 ChannelHandler 来逐步构建我们的 pipeline。 ChannelInboundHandlerAdapter 与 ChannelOutboundHandlerAdap...

Funcy1122
54分钟前
3
0
帧动画(wifi信号动态动画)

准备六张wifi不同信号强度的素材图片,复制到drawable目录中 在drawable目录中新建frame文件,并编写代码 <animation-list xmlns:android="http://schemas.android.com/apk/res/android"> ...

lanyu96
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部