文档章节

MySQL_Cluster配置

dayinfinte
 dayinfinte
发布于 2014/06/03 18:55
字数 2450
阅读 19
收藏 0

MySQL_Cluster介绍:

我们大家都知道MySQL Cluster 是一种技术,其主要功能是在无共享的相关系统中部署内存中数据库的Cluster 。在通过共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。

MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDBCluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中,表(结构)则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。

通过将MySQL Cluster 引入开放源码世界,MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的Cluster 数据管理。

MySQL Cluster 基本概念 “NDB” 是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的

特点。

MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在Cluster 级别上的

存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集,仅取决于Cluster本

身内的其他数据。

目前,MySQL Cluster的Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中,

Cluster的每个部分被视为1个节点。

管理(MGM)节点:这类节点的作用是管理MySQL Cluster内的其他节点,如提供配置数据、启动并停

止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节

点。MGM节点是用命令“ndb_mgmd”启动的。

数据节点:这类节点用于保存Cluster的数据。数据节点的数目与副本的数目相关,是片段的倍数。例

如,对于两个副本,每个副本有两个片段,那么就有4个数据节点。不过没有必要设置多个副本。数据

节点是用命令“ndbd”启动的。

SQL节点:这是用来访问Cluster数据的节点。对于MySQL Cluster,客户端节点是使用NDB

Cluster存储引擎的传统MySQL服务器。通常,SQL节点是使用命令“mysqld –ndbcluster”启动的,

或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。注释:在很多情况下,术语“节点”用 于指

计算机,但在讨论MySQL Cluster时,它表示的是进程。在单台计算机上可以有任意数目的节点,为

此,我们采用术语“ Cluster主机”。

管理服务器(MGM节点)负责管理Cluster配置文件和Cluster日志。Cluster中的每个节点从管理服务

器检索配置数据,并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时,节点将关于

这类事件的信息传输 到管理服务器,然后,将这类信息写入Cluster日志。

此外,可以有任意数目的Cluster客户端进程或应用程序。它们分为两种类型:

标准MySQL客户端:对于MySQL Cluster,它们与标准的(非Cluster类)MySQL没有区别。换句

话讲,能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问

MySQL Cluster。

管理客户端:这类客户端与管理服务器相连,并提供了启动和停止节点、启动和停止消息跟踪(仅调试

版本)、显示节点版本和状态、启动和停止备份等的命令。

mysql cluster构建

从www.mysql.com上下载所需软件

MySQL-Cluster-gpl-client

MySQL-Cluster-gpl-management

MySQL-Cluster-gpl-server

MySQL-Cluster-gpl-storage

MySQL-Cluster-gpl-tools

环境:

系统:RHEL6.3 selinux and iptables disabled

管理节点:192.168.0.1

数据节点:192.168.0.2

sql节点:192.168.0.3


管理节点配置:

rpm -ivh MySQL-Cluster-gpl-management
rpm -ivh MySQL-Cluster-gpl-tools
mkdir -p /usr/local/mysql-cluster/
vi /usr/mysql-cluster/config.ini
[ndbd default]
NoOfReplicas=1 #该全局参数仅能在[NDBD DEFAULT]中设置,它定义了cluster中每个表保存的副本数。该参数还指了节点组的大小。节点组指的是保存相同信息的节点集合
DataMemory=30M #该参数定义了数据节点用于保存数据库记录的空间大小,全部空间均是分配在内存中的,确保你的数据节点具有足够的物理内存来容纳该值,由于我这是使用虚拟机测试,所以设置的偏小,你可以依照实际环境来定义此值
IndexMemory=10M #该参数用于控制cluster中哈希(混编)索引所使用的存储量

[ndb_mgmd]
nodeid=1 #cluster中的每个节点都有唯一的标识,由从1到63的整数表示 新版本中使用nodeid代替
hostname=192.168.0.254 #定义管理节点ip
datadir=/usr/local/mysql-cluster #它用于设置保存管理服务器输出文件的位置。这些文件包括
cluster日志文件、进程输出文件、以及端口监督程序的pid文件

[ndbd]
nodeid=2
hostname=192.168.0.2 #定义数据节点ip
datadir=/usr/local/mysql/ndbdata #该参数指定了存放跟踪文件、日志文件、pid文件以及错误日志的目录

[mysqld]
id=3
hostname=192.168.0.3 #定义sql节点ip

数据节点配置:

rpm -ivh MySQL-Cluster-gpl-storage
mkdir -p /usr/local/mysql/ndbdata
vi /etc/my.cnf
[mysqld]
ndbcluster #运行ndb集群引擎
ndb-connectstring=192.168.0.1 #指定管理节点
[mysql_cluster]
ndb-connectstring=192.168.0.1 #指定管理节点

sql节点配置:

rpm -ivh MySQL-Cluster-gpl-server
rpm -ivh MySQL-Cluster-gpl-client
如果你的内存≤64M,则复制/usr/share/mysql/my-small.cnf为/etc/my.cnf
如果内存是128M,则复制/usr/share/mysql/my-medium.cnf为/etc/my.cnf
如果内存是512M,则复制/usr/share/mysql/my-large.cnf为/etc/my.cnf
如果内存是1-2G,则复制/usr/share/mysql/my-huge.cnf为/etc/my.cnf
如果内存是4G,则复制/usr/share/mysql/my-innodb-heavy-4G.cnf为/etc/my.cnf
修改/etc/my.cnf
[mysqld]
....
ndbcluster (以下数据添加在[mysqld]区域的最下方)
ndb-connectstring=192.168.0.1
[mysql_cluster]
ndb-connectstring=192.168.0.1

首先启动管理节点,然后启动存储节点,最后启动SQL节点

管理节点:

ndb_mgmd -f /usr/local/mysql-cluster/config.ini

数据节点:

ndbd --initial

注: 仅在首次启动ndbd时,或在备份/恢复或配置变化后重启ndbd时使用“--initial”参数,这很重

要。原因在于,该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件,包括恢复用日志

文件

sql节点:

/etc/init.d/mysql start

管理节点测试:

ndb_mgm
-- NDB Cluster -- Management Client --ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------[ndbd(NDB)] 1 node(s)
id=2 @192.168.0.2 (mysql-5.1.44 ndb-7.1.4, Nodegroup: 0, Master)
[ndb_mgmd(MGM)] 1 node(s)
id=1 @192.168.0.1 (mysql-5.1.44 ndb-7.1.4)
[mysqld(API)] 1 node(s)
id=3 @192.168.0.3 (mysql-5.1.44 ndb-7.1.4)
ndb_mgm>

安全关闭和重启mysql cluster

在MGM节点所在的机器上,在Shell中简单地输入下述命令:

ndb_mgm -e shutdown

该命令将恰当地中止ndb_mgm、ndb_mgmd以及任何ndbd进程。使用mysqladmin shutdown或

其他方法,可中止SQL节点

重启时,可简单地运行下述命令:

在管理节点上:

ndb_mgmd -f /var/lib/mysql-cluster/config.ini

在每台数据节点上:

ndbd

注:正常重启NDBD节点时,不要用“--initial”选项调用该命令。

在SQL节点上:

/etc/init.d/mysql restart


管理节点重新加载配置:

ndb_mgmd -f /usr/local/mysql-cluster/config.ini --initial

各数据节点重新初始化:

ndbd --initial

各sql节点重启mysql:

/etc/init.d/mysql restart

建立集群数据:

在sql节点执行:

mysqladmin create world
vi city.sql
CREATE TABLE City (
ID int(11) NOT NULL auto_increment,
Name char(35) NOT NULL default '',
CountryCode char(3) NOT NULL default '',
District char(20) NOT NULL default '',
Population int(11) NOT NULL default '0',
PRIMARY KEY (ID)
) ENGINE=NDBCLUSTER; #指定MySQL为该表使用了NDB存储引擎,数据存储于各数据节点,不
然mysql使用默认的MyISAM存储引擎,所有的数据将会存储于本机,和单机一样
INSERT INTO City VALUES (1,'Kabul','AFG','Kabol',1780000);
INSERT INTO City VALUES (2,'Qandahar','AFG','Qandahar',237500);
INSERT INTO City VALUES (3,'Herat','AFG','Herat',186800);
mysql world < city.sql

现在你可以在各sql节点查看数据

mysql cluster 备份恢复

在管理节点执行备份:

ndb_mgm> start backup
Waiting for completed, this may take several minutes
Node 2: Backup 1 started from node 1
Node 2: Backup 1 started from node 1 completed
StartGCP: 149 StopGCP: 152
#Records: 2059 #LogRecords: 0
Data: 51272 bytes Log: 0 bytes

注:默认备份的数据在各数据节点的/usr/local/mysql/ndbdata/BACKUP目录下保存

删除City表中的所有数据,执行恢复

数据节点:

ndb_restore -n 2 -b 1 -r /usr/local/mysql/ndbdata/BACKUP/BACKUP-1/
-n指节点id -b指备份id -r指备份目录
Nodeid = 2
Backup Id = 1
backup path = /usr/local/mysql/ndbdata/BACKUP/BACKUP-1/
Opening file '/usr/local/mysql/ndbdata/BACKUP/BACKUP-1/BACKUP-1.2.ctl'
Backup version in files: ndb-6.3.11 ndb version: mysql-5.1.44 ndb-7.1.4
Stop GCP of Backup: 0
Connected to ndb!!
Opening file '/usr/local/mysql/ndbdata/BACKUP/BACKUP-1/BACKUP-1-0.2.Data'
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(3) fragment 0
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(6) fragment 0
_____________________________________________________
Processing data in table: world/def/City(7) fragment 0
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_4_3(5) fragment 0
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(2) fragment 0
_____________________________________________________
Processing data in table: mysql/def/ndb_schema(4) fragment 0
Opening file '/usr/local/mysql/ndbdata/BACKUP/BACKUP-1/BACKUP-1.2.log'
Restored 1 tuples and 0 log entries
NDBT_ProgramExit: 0 - OK
数据节点4:

注:由于我使用的是rpm包方式安装,各数据节点没有ndb_restore命令,可以直接从管理节点scp)

官方强烈建议在single user mode下进行恢复操作,以保证数据库的一致性,但问题是这种模式要

求断开其他sql节点,线上业务的sql节点不是轻易可以断的。

参考:西部开源技术中心 yakexi007@westos.org 根据其总结


© 著作权归作者所有

共有 人打赏支持
dayinfinte
粉丝 0
博文 3
码字总数 3352
作品 0
西安
系统管理员
私信 提问
mysql-NDBcluster安装配置说明

Mysql cluster介绍: MySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外...

Magicleesir
06/29
0
0
MySQL Cluster(MySQL 集群) 初试

MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的...

红薯
2009/04/29
11.2K
12
MySQLCluster部署配置文档

MySQLCluster部署配置文档 本文借鉴了网上其他人的文章,由于大家关于mysql cluster的文章基本都差了不多,这里我也就不写从哪里引用的了。 环境 OS版本:CentOS 6.3 Final MySQL 版本:MyS...

songknight
2014/04/21
0
0
[转载] MySQL Cluster 配置指南

网上看到一篇介绍 MySQL Cluster 配置指南的文章,发现真的很有参考价值,马上转录下来以供日后参考(本文出自 “ 持久之战的战场” 博客,请务必保留此出处 http://vdata.blog.51cto.com/27...

长平狐
2012/11/19
906
0
使用mysql cluster 部署完mysql负载均衡之后,数据库并不能同步

操作系统:windows 参照以下信息进行的配置: 1、环境规划(我是在虚拟机环境下安装的) win03 192.168.2.57(管理节点,存储节点,sql节点) win03 192.168.2.56(存储节点,sql节点) 2、安装...

Ziv_YO
2015/06/17
2.8K
2

没有更多内容

加载失败,请刷新页面

加载更多

如何通过 MySQL 的二进制日志恢复数据库数据

经常有网站管理员因为各种原因和操作,导致网站数据误删,而且又没有做网站备份,结果不知所措,甚至给网站运营和盈利带来负面影响。所以本文我们将和大家一起分享学习下如何通过 MySQL 的二...

吴伟祥
6分钟前
0
0
org.apache.catalina.startup.Catalina stopServer SEVERE: Could not contact localhost:8005. Tomcat may

org.apache.catalina.startup.Catalina stopServer SEVERE: Could not contact localhost:8005. Tomcat may 2017年07月21日 14:52:10 子木HAPPY阳VIP 阅读数:14134 标签: tomcatnginx 更多......

linjin200
7分钟前
0
0
线下工坊|Blockchain Coding Day:零基础教你开发DAPP(北京)

我们的目标是通过编程学习让你更了解区块链技术。这将对区块链开发初学者一次很好的体验。这里需要强调一下,编程零基础也能学会。 我们将以小组的形式,由教练带领学员完成DAPP开发。每位学...

HiBlock
44分钟前
2
0
查看内存情况

jinfo:可以输出并修改运行时的java 进程的opts。 jps:与unix上的ps类似,用来显示本地的java进程,可以查看本地运行着几个java程序,并显示他们的进程号。 jstat:一个极强的监视VM内存工具。...

Canaan_
45分钟前
2
0
基于对象特征的推荐

(本实验选用数据为真实电商脱敏数据,仅用于学习,请勿商用) 在上一期基于协同过滤的的推荐场景中,我们介绍了如何通过PAI快速搭建一个基于协同过滤方案的推荐系统,这一节会介绍一些如何基...

阿里云官方博客
53分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部