ubuntu14.04 LTS下Atlas2.2安装说明
ubuntu14.04 LTS下Atlas2.2安装说明
凯文加内特 发表于3年前
ubuntu14.04 LTS下Atlas2.2安装说明
  • 发表于 3年前
  • 阅读 2507
  • 收藏 5
  • 点赞 0
  • 评论 0

新睿云服务器60天免费使用,快来体验!>>>   

准备工作

本文档是在ubuntu14.04下安装2.2版本的atlas

官方文档很重要,请熟读。

wiki地址:https://github.com/Qihoo360/Atlas/wiki

QQ 群:326544838(可以加此群进行咨询)

1.所用软件:

Ubuntu14.04 LTS版

2.使用服务器地址:192.168.1.244

3.ubuntu14.04对应的安装文件选择Atlas-2.2-debian7.0-x86_64.deb

4.主库为192.168.1.160,从库为192.168.1.116,192.168.1.149,192.168.236

Atlas的整体架构

Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。

 

Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来,Atlas相当于连接它的客户端,在前端应用看来,Atlas相当于一个DB。Atlas作为服务端与应用程序通讯,它实现了MySQL的客户端和服务端协议,同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节,同时为了降低MySQL负担,它还维护了连接池。Atlas的整体架构,可参考下面这两幅图:

Atlas功能介绍

3.1 Atlas到底是个啥玩意?

数据库需要读写分离,一个数据库写数据,多个数据库读库程序连接数据库的时候,如果没有一个代理,那只能写程序去控制往哪个库写入,然后读哪个库的数据,这种场景下有了mysql-proxy,可以看看相关介绍它的文档。

Atlas是mysql-proxy的升级版,就是起到一个代理功能,在应用层和持久层加了一层,安装配置完atlas,atlas会暴露给应用层ip、端口、数据库名、账号、密码,应用层就可以连接数据库了。

数据库的jdbc连接地址(跟数据库连接一样)如:

String url = "jdbc:mysql://192.168.1.244:1234/altas_test?useUnicode=true&characterEncoding=utf-8&autoReconnect=true"// JDBC的URL

Connection conn = DriverManager.getConnection(url, "root""root");

说明:

192.168.1.244 是安装atlas的机器ip

1234 是atlas的接口,供应用层使用

Altas_test是主从库的的实例名

Root/root 是主从库的账号和密码,主从库的账号和密码必须一致

3.2 Atlas是否支持多字符集?

对多字符集的支持是我们对原版MySQL-Proxy的第一项改进,符合国情是必须的。并且支持客户端在连接时指定默认字符集。

3.3 Atlas是否支持事务操作?

支持,且处于事务状态的客户端中途退出时,Atlas会销毁该客户端使用的连接,让后台的mysql回滚事务,保证了事务的完整性。

3.4 自动读写分离挺好,但有时候我写完马上就想读,万一主从同步延迟怎么办?

SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。

3.5 主库宕机,读操作受影响么?

在Atlas中读操作不受影响,Atlas会将读请求转发到其他还存活的从库上。但此时写请求将会失败,因为主库宕机了。

3.6 检测后端DB状态会阻塞正常请求么?

不会, atlas中检测线程是异步进行检测的,即使有db宕机,也不会阻塞主流程。在Atlas中没有什么异常会让主流程阻塞。

3.7 想下线一台DB, 又不想停掉mysql server, 怎么办?

可以通过管理接口手动上下线后端db, Atlas会优先考虑管理员的意愿。

3.8 想给集群中增加一台DB, 不想影响线上正常访问可以吗?

通过管理接口可以轻松实现。

3.9 相比官方mysql-proxy, Atlas还有哪些改进?

A: 这实在是个难以回答的问题,性能,稳定性,可靠性,易维护性,我们做过几十项的改进,下面会尽量列一些较大的改动

3.10 Atlas支持mysqlprepare特性吗?

目前Atlas部分支持prepare功能,支持java,python,PHP(PDO方式)。

3.11 Altas支持多个主库的运行模式吗?

目前还未对于Atlas后面挂接多个主库的情形进行测试过,不建议这样使用。建议使用一主一从或一主多从的模式。

3.12 在使用Atlas的过程中,发现了Atlas存在的bug或者对Atlas有新的功能需求,如何反馈给开发者?

对于用户反馈的bug,我们非常重视。欢迎用户将bug的复现的环境、步骤和运行截图发邮件至zhuchao[AT]360.cn。同时如果用户在实际的应用场景中,对Atlas有新的功能需求,也可以向我们发邮件,我们将及时回复。另外有热心网友建了QQ群326544838,开发者也已经加入,方便讨论。

3.13 java程序连接Atlas出现乱码问题

把jdbc连接中的amp;删除掉,例如:将

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true
修改为:

jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true

3.14 监控主从同步之间的延迟?

Atlas不负责MySQL的主从同步操作,需要DBA自己管理。但热心的网友已经通过脚本实现了通过调用Atlas提供的接口,来监控主从之间的同步,并做上下线从库的操作。有需要的同学参看:

https://github.com/chenzhe07/Atlas_auto_setline

3.15 java程序连接Atlas发现不能读写分离,所有的请求都发向主库,这是为什么?

检查一下java框架,是不是默认将autocommit设置为0了,很多java框架将语句都封装在一个事务中,而Atlas会将事务请求都发向主库。

3.16 Atlassql语句黑名单过滤机制吗?

有的,Atlas会屏蔽不带where条件的delete和update操作,以及sleep函数。

安装atlas

github下载安装下载页地址:https://github.com/Qihoo360/Atlas/releases

下载Atlas-2.2-debian7.0-x86_64.deb文件(一开始安装的是Atlas-2.2-debian6.0-x86_64.deb文件,总是错误百出,安装7.0非常顺利,这是通过atlas群里边问的。)上传到/var/tmp路径下,执行如下命令:

cp /var/tmp/Atlas-2.2-debian7.0-x86_64.deb /home/atlas/

dpkg -i  Atlas-2.2-debian7.0-x86_64.deb 

 

 

配置atlas

安装完毕后,需要配置/usr/local/mysql-proxy/conf下的test.cnf,执行命令如下:

Vi /usr/local/mysql-proxy/conf/test.cnf

 

注:红色部分是需要修改的地方

#管理接口的用户名

admin-username = user

 

#管理接口的密码

admin-password = pwd

 

#实现管理接口的Lua脚本所在路径

admin-lua-script = /usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua

 

#Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔

proxy-backend-addresses =192.168.1.160:3306

 

#Atlas后端连接的MySQL从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔

proxy-read-only-backend-addresses = 192.168.1.116:3306@1 ,192.168.1.149:3306@1 ,192.168.1.236:3306@2

 

#设置Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true

daemon = true

 

#设置Atlas的运行方式,设为trueAtlas会启动两个进程,一个为monitor,一个为workermonitorworker意外退出后会自动将其重启,设为false时只有worker>,没有monitor,一般开发调试时设为false,线上运行时设为true

keepalive = true

 

#工作线程数,推荐设置与系统的CPU核数相等

event-threads = 4

 

#日志级别,分为messagewarningcriticalerrordebug五个级别

log-level = message

 

#日志存放的路径

log-path = /usr/local/mysql-proxy/log

 

#实例名称,用于同一台机器上多个Atlas实例间的区分

instance = test

#Atlas监听的工作接口IP和端口

proxy-address = 0.0.0.0:1234

 

#Atlas监听的管理接口IP和端口

admin-address = 0.0.0.0:2345

 

#连接池的最小空闲连接数,应设为event-threads的整数倍,可根据业务请求量大小适当调大或调小

min-idle-connections = 8

 

#分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项

#tables = person.mt.id.3

 

#用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,此设置项用于多个用户名同时访问同一个Atlas实例的情况,若只有一>个用户名则不需要设置该项

# For example, the username is: myuser, and the password is:mypwd (encrypted ciphertext is:HJBoxfRsjeI=). 

 

#pwds = root:+jKsgB3YAG8=, root:GS+tr4TPgqc=

pwds = root:DAJnl8cVzy8=

#默认字符集,若不设置该项,则默认字符集为latin1

charset = utf8

 

#允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允许列表中的IP连接

#client-ips = 127.0.0.1, 192.168.1

 

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置,否则可以不设置

#lvs-ips = 192.168.1.1

启动atlas

配置完毕后,执行如下命令:

/usr/local/mysql-proxy/bin/mysql-proxyd test start

 

 

看到如上信息,说明安装成功了,恭喜发财!

启动成功后,在atlas安装机器上测试与出从库的连通情况;

1.验证与主库的连通

 

看到上边图说明atlas与主库连通成功

与其他从库的连通用同样的方式,这里不一一列举。

管理

 执行如下命令:

 mysql -h127.0.0.1 -uuser -ppwd -P2345;

进入管理:

 

命令给的非常清楚了,不一一说了。

客户端连接测试

本实验使用的是jdbc,可以使用数据库连接池进行连接。

建立一个maven工程,添加mysql驱动依赖:

<dependency>

<groupId>mysql</groupId>

<artifactId>mysql-connector-java</artifactId>

<version>5.1.35</version>

</dependency>

测试类:

package com.heli.altas;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

public class DbUtil {

	class User {
		private int id;
		private String name;
		private String address;

		public String getAddress() {
			return address;
		}

		public void setAddress(String address) {
			this.address = address;
		}

		public int getId() {
			return id;
		}

		public void setId(int id) {
			this.id = id;
		}

		public String getName() {
			return name;
		}

		public void setName(String name) {
			this.name = name;
		}
	}

	class News {
		private int id;

		public int getId() {
			return id;
		}

		public void setId(int id) {
			this.id = id;
		}

		public int getUserId() {
			return userId;
		}

		public void setUserId(int userId) {
			this.userId = userId;
		}

		public String getTitle() {
			return title;
		}

		public void setTitle(String title) {
			this.title = title;
		}

		public String getContent() {
			return content;
		}

		public void setContent(String content) {
			this.content = content;
		}

		private int userId;
		private String title;
		private String content;

	}

	/**
	 * @Description: 写用户表
	 * @param
	 * @return void 返回类型
	 * @throws
	 */
	public static void insertUsers(List<User> users) {
		try {
			Connection conn = connection();
			conn.setAutoCommit(false);
			// 插入数据的代码
			String sql2 = "insert into user(name,address) values(?,?)";
			PreparedStatement pst = conn.prepareStatement(sql2);

			for (User user : users) {
				pst.setString(1, user.getName());
				pst.setString(2, user.getAddress());
				pst.addBatch();
			}
			// 执行批量更新
			pst.executeBatch();
			// 语句执行完毕,提交本事务
			conn.commit();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	/**
	 * @Description: 写新闻表测试
	 * @param
	 * @return void 返回类型
	 * @throws
	 */
	public static void insertNews(List<News> newss) {
		try {
			Connection conn = connection();
			conn.setAutoCommit(false);
			// 插入数据的代码
			String sql = "insert into news(user_id,title,content) values(?,?,?)";
			PreparedStatement pst = conn.prepareStatement(sql);

			for (News news : newss) {
				pst.setInt(1, news.getUserId());
				pst.setString(2, news.getTitle());
				pst.setString(3, news.getContent());
				pst.addBatch();
			}
			// 执行批量更新
			pst.executeBatch();
			// 语句执行完毕,提交本事务
			conn.commit();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	/**
	 * @Description:
	 * @param
	 * @return Connection 返回类型
	 * @throws
	 */
	private static Connection connection() throws ClassNotFoundException, SQLException {
		// 调用Class.forName()方法加载驱动程序
		Class.forName("com.mysql.jdbc.Driver");
		String url = "jdbc:mysql://192.168.1.244:1234/altas_test?useUnicode=true&characterEncoding=utf-8&autoReconnect=true"; // JDBC的URL
		Connection conn = DriverManager.getConnection(url, "root", "root");
		return conn;
	}

	public static void testBatchInsert(int threadNum, List<User> users, List<News> newss) throws Exception {
		// 创建一个可重用固定线程数的线程池
		ExecutorService pool = Executors.newFixedThreadPool(threadNum);
		// 创建实现了Runnable接口对象,Thread对象当然也实现了Runnable接口
		long start = System.currentTimeMillis();
		DbUtil dbUtil = new DbUtil();
		for (int i = 0; i < threadNum; i++) {
			// 将线程放入池中进行执行
			pool.execute(dbUtil.new MyThread(users, newss));
		}
		// 关闭线程池
		pool.shutdown();
		while (true) {
			if (pool.isTerminated()) {
				System.out.println("全部线程跑完了!");
				break;
			}
			Thread.sleep(200);
		}
		// 关闭线程池
		pool.shutdown();
		long end = System.currentTimeMillis();
		System.out.println("耗时" + (end - start) / 1000);
	}

	class MyThread extends Thread {
		List<User> users = new ArrayList<User>();
		List<News> newss = new ArrayList<News>();

		public MyThread(List<User> users, List<News> newss) {
			super();
			this.users = users;
			this.newss = newss;
		}

		@Override
		public void run() {
			// System.out.println(Thread.currentThread().getName() + "正在执行。");
			try {
				long start = System.currentTimeMillis();
				insertUsers(users);
				insertNews(newss);
				long end = System.currentTimeMillis();
				System.out.println(Thread.currentThread() + "耗时" + (end - start) / 1000);
				// Thread.sleep(0);
			} catch (Exception e) {
				e.printStackTrace();
			}

		}
	}

	/**
	 * 测试读
	 */
	public static void testQuery() {
		try {
			Connection conn = connection();
			String sql = "select u.name name ,n.title title ,n.content content from user u left join news n on u.id = n.user_id where u.id=?";
			PreparedStatement pst = conn.prepareStatement(sql);
			pst.setInt(1,1);
			ResultSet rs = pst.executeQuery();
			while (rs.next()) {
				String name = rs.getString("name");
				String title = rs.getString("title");
				String content = rs.getString("content");
				System.out.println(name + "====" + title + "====" + content);
			}
			rs.close();
			pst.close();
			conn.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public static void main(String[] args) throws Exception {
		// 初始化数据
		List<User> users = new ArrayList<User>();
		for (int i = 0; i < 0; i++) {
			User user = new DbUtil().new User();
			user.setName(UUID.randomUUID().toString().substring(0, 4));
			user.setAddress("北京10里店嘎啦胡同犄角户");
			users.add(user);
		}

		List<News> newss = new ArrayList<News>();
		for (int i = 0; i < 0; i++) {
			News news = new DbUtil().new News();
			news.setUserId(i);
			news.setTitle("自动读写分离挺好,但有时候我写完马上就想读,万一主从同步延迟怎么办?");
			news.setContent("SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。");
			newss.add(news);
		}

		// 单线程测试开始
		// insert(users);
		// 单线程测试结束

		// 多线程测试开始
		//testBatchInsert(100, users, newss);
		//多线程测试结束
		
		//测试读
		testQuery();

	}
}


8.1 重要说明

String url = "jdbc:mysql://192.168.1.244:1234/atlas_test"; 

// JDBC的URL,192.168.1.244为atlas的ip,端口是1234,atlas_test是主(写)库的实例名

Connection conn = DriverManager.getConnection(url, "root", "root");

//root/root是各个主从库的账号密码

常用命令

进入/usr/local/mysql-proxy/bin目录,执行下面的命令启动、重启或停止Atlas。

9.1 启动

sudo ./mysql-proxyd test start/usr/local/mysql-proxy/bin/mysql-proxyd test start

9.2 重启

sudo ./mysql-proxyd test restart

9.3 停止

sudo ./mysql-proxyd test stop

9.4 查看状态

可以使用ps -ef | grep mysql-proxy查看Atlas是否已经启动或停止

9.5 密码加密

进入 /usr/loca/mysql-proxy/bin/encrypt. 路径执行:

 

9.6 查看日志

tail /usr/local/mysql-proxy/log/test.log 

 

注意:

(1). 运行文件是:mysql-proxyd(不是mysql-proxy)。

(2). test是conf目录下配置文件的名字,也是配置文件里instance项的名字,三者需要统一。

执行命令:mysql -h127.0.0.1 -P1234 -u用户名 -p密码,如果能连上则证明Atlas初步测试正常,可以再尝试发几条SQL语句看看执行结果是否正确。

进入Atlas的管理界面的命令:mysql -h127.0.0.1 -P2345 -uuser -ppwd,进入后执行:select * from help;查看管理DB的各类命令。

10 安装错误解决

启动错误:

/usr/local/mysql-proxy/bin/mysql-proxy: error while loading shared libraries: libcrypto.so.6: cannot open shared object file: No such file or directory

解决办法:

换安装版本:

dpkg -i  Atlas-2.2-debian7.0-x86_64.deb 

 

启动错误:

loading module '/usr/local/mysql-proxy/lib/mysql-proxy/plugins/libproxy.so' failed: libmysqlclient.so.16: cannot open shared object file: Too many levels of symbolic links

解决办法:

安装依赖:

apt-get install mysql-client-5.6

 


  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 319
博文 663
码字总数 86580
×
凯文加内特
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: