文档章节

Memcached集群/分布式/高可用 及 Magent缓存代理搭建过程

ayoway
 ayoway
发布于 2016/06/23 22:59
字数 1802
阅读 157
收藏 0
点赞 0
评论 0

Memcached如何处理容错的?

不处理!:) 在memcached节点失效的情况下,集群没有必要做任何容错处理。如果发生了节点失效,应对的措施完全取决于用户。节点失效时,下面列出几种方案供您选择:

* 忽略它! 在失效节点被恢复或替换之前,还有很多其他节点可以应对节点失效带来的影响。

* 把失效的节点从节点列表中移除。做这个操作千万要小心!在默认情况下(余数式哈希算法),客户端添加或移除节点,会导致所有的缓存数据不可用!因为哈希参照的节点列表变化了,大部分key会因为哈希值的改变而被映射到(与原来)不同的节点上。

* 启动热备节点,接管失效节点所占用的IP。这样可以防止哈希紊乱(hashing chaos)

 

根据上面的说法,Memcached其中一个节点失效以后,memcached本身是没有任何策略维持失效转发的,这对于大型系统是一个无法接受的事实。

举例说明:

在客户端连接的部分写入多个服务器端的ip地址,客户端将会自动的把缓存数据分布的放在每个不同的机器上,如图所示:

缺陷说明:

如果其中一个缓存节点的机器down机,那么客户端存入的缓存数据将会丢失一部分,就是图中红色字体描述的“Losed 33% Cache Data”,也就是说那部分数据彻底没有了!如果是用户的关键性信息那么就玩大了,如图所示:

 

解决方案:采用缓存代理服务器

采用 Magent 缓存代理,防止单点现象,缓存代理也可以做备份,通过客户端连接到缓存代理服务器,缓存代理服务器连接缓存服务器,缓存代理服务器可以连接多台Memcached机器,如下图所示,配件清单如下:

Magent代理服务器:2台,分别为 192.168.1.2:12000、192.168.1.3:12000
Memcached主服务器:3台,分别为 192.168.1.4:11211、192.168.1.5:11211、192.168.1.6:11211 
Memcached备服务器:2台,分别为 192.168.1.7:11211、192.168.1.8:11211



 

搭建Memcahced服务器

在 192.168.1.4、192.168.1.5、192.168.1.6、192.168.1.7、192.168.1.8 上分别编译安装并运行Memcached ,

参考:CentOS6.3编译安装Memcached

搭建Magent代理服务器

在 192.168.1.2、192.168.1.3 上分别 编译安装 magent [CSDN下载 Magent]

#编译安装安装magent到 /usr/local/ 下

cd /usr/local/
mkdir ./magent
cd ./magent
wget -c http://memagent.googlecode.com/files/magent-0.6.tar.gz
tar xzvf ./magent-0.6.tar.gz
/sbin/ldconfig
sed -i "s#LIBS = -levent#LIBS = -levent -lm#g" Makefile
make
cp ./magent /usr/bin/magent

注意:编译的过程中遇到了好几处错误,错误解决过程,请参考

CentOS6.3编译安装Memcached集群分布式缓存代理Magent-0.6出错汇总

 

magent命令详解:

  -h this message
  -u uid
  -g gid
  -p port, default is 11211. (0 to disable tcp support)
  -s ip:port, set memcached server ip and port
  -b ip:port, set backup memcached server ip and port
  -l ip, local bind ip address, default is 0.0.0.0
  -n number, set max connections, default is 4096
  -D do not go to background
  -k use ketama key allocation algorithm
  -f file, unix socket path to listen on. default is off
  -i number, max keep alive connections for one memcached server, default is 20
  -v verbose

在 192.168.1.2、192.168.1.3 上分别运行 magent:

magent -u root -n 51200 -l 192.168.1.2 -p 12000 -s 192.168.1.4:11211 -s 192.168.1.5:11211 -s 192.168.1.6:11211 -b 192.168.1.7:11211 -b 192.168.1.8:11211

测试缓存数据的分布情况:

以前,我们用PHP连接多台Memcached服务器,做分布式缓存时,参考代码如下

$memcache = new Memcache;
$memcache->addServer('localhost', 11211);
$memcache->addServer('localhost', 11212);
$memcache->addServer('localhost', 11213);
for ($i = 0; $i < 1000; $i++)
{
	$memcache->set($i, $i, 0, 1000);
}

现在,代码还是那段代码,只不过连接的主机不是Memcached服务器了,而是 Magent代理服务器,给 addServer()方法传参时,传入的是Magent主机IP与端口!测试代码如下:

$mem = new \Memcache();

$host = '192.168.1.2';
$port = '12000 ';
$mem->connect($host, $port);

$key1 = 'snsgou1';
$value1 = '1';
$mem->add($key1, $value1);

$key2 = 'snsgou2';
$value2 = '2';
$mem->add($key2, $value2);

$key3 = 'snsgou3';
$value3 = '3';
$mem->add($key3, $value3);

$key4 = 'snsgou4';
$value4 = '4';
$mem->add($key4, $value4);

$key5 = 'snsgou5';
$value5 = '5';
$mem->add($key5, $value5);

$key6 = 'snsgou6';
$value6 = '6';
$mem->add($key6, $value6);

说明:

1、PHP连接magent,把缓存key1交给magent,magent根据自身的配置参数,再加上一定的哈希算法,会计算出key1存在3台主Memcached服务器的某一台上,然后以同样的算法,将key1也在2台备用的Memcached服务器中的某一台上,再存一份数据。即,主服务器是分布式存储的,同时,从服务器也是分布式存储的;

2、在PHP获取缓存数据key1时,magent一旦得知数据所存的那台主Memcached服务器挂掉了,它就会转向从备用的Memcached服务器中获取数据。注意:服务器的定位选择算法跟存的时候是一样的。

3、有个缺陷,当 down 掉的那台主Memcached服务器重新恢复正常后,Memcahed里是没有数据的,即数据全部丢失,但此时 备用的Memcached服务器 又不会将数据同步到 主服务器。

4、通过Memcached管理软件MemAdmin(点击下载)去查看上述数据分布情况,如下:

192.168.1.4 存有 snsgou6,snsgou3
192.168.1.5 存有 snsgou4,snsgou1
192.168.1.6 存有 snsgou5,snsgou2
192.168.1.7 存有 snsgou5,snsgou3,snsgou1
192.168.1.8 存有 snsgou4,snsgou6,snsgou2

5、PHP连接代理的时候,最好每次随机性只连一台,这样,一旦某台代理挂了(即连不上),可切换连另外一台代理服务器。而随机性地去连,又保证了一定的负载均衡。

6、本来我打算通过修改配置文件php.ini,使PHP系统的会话(Session)通过Magent代理保存到Memcached服务器中,修改方式参考:PHP如何将session保存到memcached中?如何分布式保存PHP session

但是呢,把Mangent代理服务器IP及端口贴到php.ini后(已重启了相关服务器),发现会话根本没保存到Memcached中,即PHP底层不识别Magent代理

http://www.javabloger.com/article/memcached-cluster-error-msag.html

magent编译安装及常见错误

magent做memcached集群

[张宴]Memcached的代理服务器软件:magent使用小记[原创]

magent 配置问题详解

 

 

 

本文转载自:http://www.php-note.com/article/detail/800

共有 人打赏支持
ayoway
粉丝 3
博文 44
码字总数 13558
作品 0
深圳
高级程序员
Ubuntu 16.04通过Magent搭建Memcached集群(转)

一、下载Magent 官网:https://code.google.com/archive/p/memagent/downloads 离线版本:(链接: https://pan.baidu.com/s/1kU9DLI3 密码: k6qg) 二、编译安装 说明:magent由于是10年的产...

easonjim
2017/09/23
0
0
Memcache集群代理服务magent + memcached for java应用

如题: 在3个虚拟集中搭建好memcache 缓存分布式集群,利用magent代理memcache 服务器分别为A,B,C ip 分别为:192.168.100.3,192.168.100.4,192.168.100.5. A,B作为缓存服务端口为11211,...

小乞丐
2012/11/04
4.4K
5
Memcached高可用方案收集(集群及分布式)

Memcached的集群方案有很多,不止magent一个,但是单靠集群软件去实现高可用感觉还是会缺少一步,最推荐的方案应该是软件加编码去实现高可用,至少能保证站点的99.5%的可运行行,以下是集群的...

easonjim
2017/09/23
0
0
Java开发中的Memcache原理及实现

一、 概述 1. Memcache Memcache(Memcached)是集群环境下的缓存解决方案。 Memcache 是danga.com的一个项目,最早是为 LiveJournal 服务的,目前全世界不少人使用这个缓存项目来构建自己大负...

李长春
2012/01/18
0
1
memcached 和它的代理

1.编译libevent ./configure --prefix=xxx make && make install 2.编译memcached ./configure --prefix=xxx make && make install 3.启动memcached 服务器端的命令为: # /usr/local/bin/m......

深蓝苹果
2013/12/24
306
2
memcached 集群客户端调用怎么写呢?

在linux上搭建了memcached 的集群 Magent缓存代理服务器:192.168.1.160:12000 主缓存服务器:192.168.1.108:11211 备份服务器:192.168.1.179:11211 客户端调用怎么写呢? String[] servers...

红番茄
2013/04/07
474
7
python访问memcached

python访问memcached memcached介绍 Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动...

laoba
05/21
0
0
Memcached:高性能分布式对象缓存系统

1 Memcached简介 1. Memcached是高性能分布式对象缓存系统,官方主页http://memcached.org/,主页上对它的介绍是:为来自数据库调用、API调用、或者页面渲染的结果的小块任意数据(字符串、对...

guzhoujiexing
06/26
0
0
关于java_memcached-release_2.6.6的问题

近期用到memcached缓存,关于java客户端的一点一些问题不解,因为没有找到关于这个的api。 第一关于权重的问题,分布式缓存,因为是客户端的集群模式,那么客户端连接只连接magent就ok。 这样...

小乞丐
2015/03/11
780
0
magent + memcached 集群测试

memcached 介绍: Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据 库驱动网站...

鎏金儿
2016/04/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

聊聊ribbon的超时时间设置

序 本文主要研究一下ribbon的超时时间设置 配置 实例 ribbon: ReadTimeout: 10000 ConnectTimeout: 10000 MaxAutoRetries: 0 MaxAutoRetriesNextServer: 1 eureka: enabled: ......

go4it
3分钟前
0
0
一行代码结果叹为观止,能做到这么极致的也只有python了

Python 这门语言非常的有趣,不仅可以做高大上的人工智能、大数据、机器学习。还可以用来做 Web、爬虫。还有其它很多的应用。今天我就给大家展示下一行 Python 代码都可以做些什么。 一行打印...

猫咪编程
7分钟前
0
0
KingShard使用

Windows下: win下clone下代码,根据文档 go build -o bin/kingshard.exe ./cmd/kingshard 编译不通过,需要注释掉: /*sc := make(chan os.Signal, 1)signal.Notify(sc,syscall...

mickelfeng
9分钟前
0
0
Linux 下 查找某个字符串

如果你想在当前项目下 查找 "test" 这个字符串,可以这样: grep -rn "test" * * : 表示当前目录所有文件,也可以是某个文件名-r 是递归查找-n 是显示行号-R ...

nsns
9分钟前
0
0
数据结构 之 B树与红黑树

https://blog.csdn.net/v_july_v/article/details/6530142 http://www.cnblogs.com/CarpenterLee/p/5503882.html...

晨猫
9分钟前
0
0
Linux查看服务器总内存和总硬盘大小

一、linux CPU大小; 其实应该通过Physical Processor ID来区分单核和双核。而Physical Processor ID可以从cpuinfo或者dmesg中找到. flags 如果有 ht 说明支持超线程技术 判断物理CPU的个数可...

浮躁的码农
9分钟前
0
0
Postfix命令行说明

Postfix tips and Troubleshooting Commands Here's a list of stuff I user everyday and other email admins will also be using, Let me know if I missed anything List/Print current m......

mingle
16分钟前
0
0
是时候使用Helm了:Helm, Kubernetes的包管理工具

目前我们的一个产品共有4套环境:dev环境、test环境、staging环境、production环境。 其中dev, test, staging环境在一个Kubernetes集群上以不同namespace部署,production环境部署在另一个Kub...

xiaomin0322
23分钟前
0
0
常见的redis的序列化方式

概括 一般redis的序列化方式主要有:字符串序列化、json序列化、xml序列化、jdk序列化,具体可查阅org.springframework.data.redis.serializer.RedisSerializer 的实现类,其中对于json序列化...

菜蚜
37分钟前
1
0
Linux bash入门

一、Linux Bash介绍 Bash是UNIX系统下的一个命令解析器,全称为Bourne-Again Shell是一个为GNU开源项目编写的Unix shell。bash功能强大,尤其是在处理自动循环或者耗时大的任务方面可以节省大...

老韭菜
41分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部