文档章节

redis(10)、redis集群twemproxy

haoran_10
 haoran_10
发布于 2016/07/15 16:37
字数 1051
阅读 48
收藏 1
点赞 0
评论 0

 

twemproxy is a fast, light-weight proxy for memcached and redis。是一个代理redis程序,redis cluster是无中心的基于哈希槽的方案,而twemporxy是自身启动一个代理程序,代理程序为中心,基于一致性哈希算法的方案。

 

官网是 https://github.com/twitter/twemproxy,很多公司用这个方案实现了redis集群,在没有redis cluster方案之前,redis作者也推荐使用twemproxy方案。

主要的优点有:

  • 速度快

  • 轻量级

  • 维护持久的服务器连接

  • 在后台低消耗缓存redis数据库的连接数

  • 启用请求和响应的管道

  • 支持代理到多个服务器

  • 同时支持多个服务器池

  • 多个服务器自动分享数据

  • 实现了完整的 memcached ascii 和 redis 协议.

  • 服务器池配置简单,通过一个 YAML 文件即可

  • 支持多个哈希模式,包括一致的哈希和分布

  • 可配置在失败时禁用某个节点

  • 通过统计监测端口的可观察性

  • 支持 Linux, *BSD, OS X and Solaris (SmartOS)

 

 

一、配置实现

(1)、twemproxy下载编译

wget https://github.com/twitter/twemproxy/archive/master.zip
unzip master.zip
cd twemproxy
autoreconf -fvi
./configure
make
make install

 

注:需要autoconf2.6.9以上版本 autoconf下载地址:http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz

 

(2)、单机redis启动

启动三个redis节点

9001、9002、9003

 

(3)、配置twemproxy nutcracker.yml

redis1:  
  listen: 127.0.0.1:8000                  #监听的端口
  redis: true                             #是否是Redis的proxy 
  hash: fnv1a_64                          #支持的hash算法
  distribution: ketama                    #具体的算法
  auto_eject_hosts: true                  #是否在结点无法响应的时候临时摘除结点 
  timeout: 4000                           #超时时间(毫秒) 
  server_retry_timeout: 2000              #重试的时间(毫秒)
  server_failure_limit: 3                 #结点故障多少次就算摘除掉 
  servers:                                #下面表示所有的Redis节点(IP:端口号:权重) 
   - 127.0.0.1:9001:1  
   - 127.0.0.1:9002:1  
   - 127.0.0.1:9003:1

 

 

(4)、启动twemproxy

 

src/nutcracker -d conf/nutcracker.yml

 

 

 

(5)、使用redis-cli测试

测试时发现,查看9001,9002,9003的aof文件时,不同的数据会分配到端口redis上,这个也正是基于一致性哈希算法,数据会分配到不同的节点中。也正是实现了数据分片。

 

 

二、nutcracker用法与命令选项

Options:
-h, –help                        : 查看帮助文档,显示命令选项
-V, –version                   : 查看nutcracker版本
-t, –test-conf                  : 测试配置脚本的正确性
-d, –daemonize              : 以守护进程运行
-D, –describe-stats         : 打印状态描述
-v, –verbosity=N            : 设置日志级别 (default: 5, min: 0, max: 11)
-o, –output=S                 : 设置日志输出路径,默认为标准错误输出 (default: stderr)
-c, –conf-file=S               : 指定配置文件路径 (default: conf/nutcracker.yml)
-s, –stats-port=N            : 设置状态监控端口,默认22222 (default: 22222)
-a, –stats-addr=S            : 设置状态监控IP,默认0.0.0.0 (default: 0.0.0.0)
-i, –stats-interval=N       : 设置状态聚合间隔 (default: 30000 msec)
-p, –pid-file=S                 : 指定进程pid文件路径,默认关闭 (default: off)
-m, –mbuf-size=N          : 设置mbuf块大小,以bytes单位 (default: 16384 bytes)

 

配置yml文件之后

nutcracker -t nutcracker.yml  可以检测配置文件是否正确

 

 

三、twemproxy缺点

  • 虽然可以动态移除节点,但该移除节点的数据就丢失了。 
  • redis集群动态增加节点的时候,twemproxy不会对已有数据做重分布.maillist里面作者说这个需要自己写个脚本实现 
  • 性能上的损耗(其实作为代理  必定会有损耗, twemproxy损耗属于很小的级别了)
  • 不支持针对多个值的操作,比如取sets的子交并补等(MGET 和 DEL 除外) 
  • 不支持Redis的事务操作 
  • 出错提示还不够完善 

 

 

四、最佳实践

  • twemproxy缺点中,动态移除不可用的节点,但是该节点的数据丢失了,这个缺点是最致命的,造成了CAP中的A缺失,可用性丢失,最好每个节点后面跟一个从节点,使用Keepalived+VIP,可以故障漂移,从节点自动升级为主节点。保证了高可用性。
  • 性能会稍微有些丢失,既然是代理就是没办法避免的。
  • 不能动态增加节点、删除节点,这个还要运维自行实现了,重启集群,不过这种操作本身也最好需要重启,分配新的集群集群。

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
haoran_10
粉丝 25
博文 88
码字总数 80846
作品 0
杭州
程序员
Redis ​集群迁移工具--Redis-Migrate-Tool

Redis 集群迁移工具,基于redis复制,快速,稳定。 github链接:https://github.com/vipshop/redis-migrate-tool 特点: 快速。 多线程。 基于redis复制。 实时迁移。 迁移过程中,源集群不影...

d_e_e_p_ ⋅ 2016/04/06 ⋅ 3

Redis集群技术及Codis实践

“高效运维最佳实践”是InfoQ在2015年推出的精品专栏,由触控科技运维总监萧田国撰写,InfoQ总编辑崔康策划。 前言 如开篇文章所言,高效运维包括管理的专业化和技术的专业化。前两篇我们主要...

mac_zhao ⋅ 2015/06/16 ⋅ 0

Redis学习笔记(11)——Redis缓存集群方案

由于单台Redis服务器的内存管理能力有限,使用过大内存的Redis又会使得服务器的性能急剧下降,一旦服务器发生故障将会影响更大范围业务,而Redis 3.0 beta1支持的集群功能还不适合生产环境的...

IT特种兵 ⋅ 2015/03/02 ⋅ 0

Redis+Twemproxy做代理部署集群

redis集群部署过程略。。。 部署Twemproxy 1. yum install autoconf automake libtool -y 2. wget https://github.com/twitter/twemproxy/archive/master.zip 3. unzip master.zip 4.cd twem......

小白的希望 ⋅ 06/07 ⋅ 0

架构设计:系统存储(18)——Redis集群方案:高性能

1、概述 通过上一篇文章(《架构设计:系统存储(17)——Redis集群方案:高可用》)的内容,Redis主从复制的基本功能和进行Redis高可用集群监控的Sentinel基本功能基本呈现给了读者。虽然本...

yinwenjie ⋅ 2016/12/31 ⋅ 0

为什么Codis比较慢,但我们还要用它呢?

为什么 Codis 比 twemproxy 慢? Codis 追求简洁的实现,我们没有针对内存进行优化,所以会比 twemproxy 还要多一倍拷贝。 Go 虽然使用 epoll,但是 IO 都不是直接完成的,而是通过 IO threa...

抚琴煮酒 ⋅ 2017/02/24 ⋅ 0

twemproxy + redis + sentinel 实现redis集群高可用

本文主要描述使用 twemproxy + redis + sentinel + 脚本 实现redis集群的高可用,篇幅有点长(实战配置文件/命令) 先贴个本文主要标题列表哈 redis简介 sentinel 功能 twemproxy特性 twempr...

dchuang ⋅ 2016/04/27 ⋅ 0

这可能是最全的 Redis 集群方案介绍了

这可能是最全的 Redis 集群方案介绍了 原创 2016-06-01 曾健生 运维帮 由于Redis出众的性能,其在众多的移动互联网企业中得到广泛的应用。Redis在3.0版本前只支持单实例模式,虽然现在的服务...

fdhay ⋅ 2016/06/02 ⋅ 0

Redis集群初步设计

1、需求背景 最近为满足业务推广活动的需求,需要对Redis集群做容灾,刚开始考虑采用最近比较火的开源方案codis。但考虑到可能会有很多坑,暂不推荐使用,作为后期预研方案。 我们之前一直在...

workming ⋅ 2015/04/24 ⋅ 0

Twemproxy测试Redis分片主从架构

Twemproxy 测试架构 1、twemproxy是twitter开发的一个redis代理proxy。通过Twemproxy可以使用多台服务器来水平扩张redis服务,可以有效的避免redis单点故障问题。 使用Twemproxy 对硬件资源配...

蓝宫卫 ⋅ 2017/04/22 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Java NIO之字符集

1 字符集和编解码的概念 首先,解释一下什么是字符集。顾名思义,就是字符的集合。它的初衷是把现实世界的符号映射为计算机可以理解的字节。比如我创造一个字符集,叫做sex字符集,就包含两个...

士别三日 ⋅ 36分钟前 ⋅ 0

Spring Bean基础

1、Bean之间引用 <!--如果Bean配置在同一个XML文件中,使用local引用--><ref bean="someBean"/><!--如果Bean配置在不同的XML文件中,使用ref引用--><ref local="someBean"/> 其实两种......

霍淇滨 ⋅ 42分钟前 ⋅ 0

05、基于Consul+Upsync+Nginx实现动态负载均衡

1、Consul环境搭建 下载consul_0.7.5_linux_amd64.zip到/usr/local/src目录 cd /usr/local/srcwget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip 解压consu......

北岩 ⋅ 45分钟前 ⋅ 0

Webpack 4 api 了解与使用

webpack 最近升级到了 v4.5+版 01 官方不再支持 node4 以下版本 官方不再支持 node4 以下版本官方不再支持 node4 以下的版本,所以如果你的node版本太低,先开始升级node吧!话说node10 ...

NDweb ⋅ 54分钟前 ⋅ 0

使用nodeJs安装Vue-cli

Vue脚手架就是一个Vue框架开发环境 脚手架的意思是帮你快速开始一个vue的项目,也就是给你一套vue的结构,包含基础的依赖库,只需要 npm install就可以安装,让我们不需要为了编辑或者一些其...

木筏笔歆 ⋅ 今天 ⋅ 0

【微信小程序开发实战】0x00.开发前准备工作

写在开始 本人资深后端码农一枚,近期项目需求,接触到了微信小程序,将学习过程整理成文分享给小伙伴们,由于是边学边整理难免有表述不对的地方,望大家及时指正,感谢。 本人微信号: dream...

dreamans ⋅ 今天 ⋅ 0

linux redis的安装和php7下安装redis扩展

安装redis服务器 (1)下载安装包: $ wget http://download.redis.io/releases/redis-2.8.17.tar.gz (2)编译程序: $ tar xzf redis-2.8.17.tar.gz $ cd redis-2.8.17 $ make $ cd src &&......

concat ⋅ 今天 ⋅ 0

Guava EventBus源码解析

一、EventBus使用场景示例 Guava EventBus是事件发布/订阅框架,采用观察者模式,通过解耦发布者和订阅者简化事件(消息)的传递。这有点像简化版的MQ,除去了Broker,由EventBus托管了订阅&...

SaintTinyBoy ⋅ 今天 ⋅ 0

http怎么做自动跳转https

Apache 版本 如果需要整站跳转,则在网站的配置文件的<Directory>标签内,键入以下内容: RewriteEngine on RewriteCond %{SERVER_PORT} !^443$ RewriteRule ^(.*)?$ https://%{SERVER_NAME......

Helios51 ⋅ 今天 ⋅ 0

Python爬虫,抓取淘宝商品评论内容

作为一个资深吃货,网购各种零食是很频繁的,但是能否在浩瀚的商品库中找到合适的东西,就只能参考评论了!今天给大家分享用python做个抓取淘宝商品评论的小爬虫! 思路 我们就拿“德州扒鸡”...

python玩家 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部