文档章节

关于 Multiget hole:spymemcached对此的实现方法

旁观者-郑昀
 旁观者-郑昀
发布于 2013/02/08 22:47
字数 667
阅读 127
收藏 0

Multiget的无底洞问题

Facebook在Memcached的实际应用中,发现了Multiget无底洞问 题,具体表现为:出于效率的考虑,很多Memcached应用都已Multiget操作为主,随着访问量的增加,系统负载捉襟见肘,遇到此类问题,直觉通 常都是通过增加服务器来提升系统性能,但是在实际操作中却发现问题并不简单,新加的服务器好像被扔到了无底洞里一样毫无效果。

……

问题是很多客户端,包括Libmemcached在内,在处理Multiget多服务器请求时,使用的是串行的方式!也就是说,先请求一台服务器,然后等待响应结果,接着请求另一台,结果导致客户端操作时间累加,请求堆积,性能下降。

那么,spymemcached 是如何实现 Multiget(即getBulk)的?
  1. 给一组 key,[1,2,3,4,5]
  2. 先算一下这些key都落在哪些节点上(通过 KetamaNodeLocator 的 public Iterator<MemcachedNode> getSequence(String k)。Now that we know how many servers it breaks down into.);
  3. 此时,得到一个map:<Node1,[1,3]>;<Node2,[2,4]>;<Node3,[5]>
  4. 遍历这个map,从每一个 mc node 读出对应的 keys(即单节点的multiget操作);一个Node一个Node串行的;
  5. 拼成一个大map<key,value>返回。
 
如火丁所言,此处不好优化,只能:
选择特殊键值进行散列,『保证相关的键只出现在一台服务器上』。
spymemcached 相关文章:
2) 电商课题V:分布式锁  (2012-11-17 22:16)
3) 电商课题:cookie防篡改  (2012-11-17 22:24)
4) 电商课题VI:分布式Session  (2012-11-17 22:30)
5) 电商课题:RBAC权限控制  (2012-11-17 22:47)
6) 电商课题:幂等性  (2012-11-22 23:52)
7) 电商课题:客户端的IP地址伪造、CDN、反向代理、获取的那些事儿  (2012-09-19 01:17) 9) 电商课题VII:支付交易一般性准则  (2012-12-14 01:38)
赠图一枚
http://ww1.sinaimg.cn/bmiddle/62a92ba0jw1e0hflmtsjnj.jpg

© 著作权归作者所有

旁观者-郑昀
粉丝 100
博文 77
码字总数 162700
作品 0
朝阳
私信 提问
PHP框架 Yii 1.0.8 发布

该版本修正了大量的bug,增加超过20个新的特性。重构了 yiic 命令脚本使之更容易被扩展。改进缓存组件以支持 multiget ;CCaptcha、CCompareValidator、CActiveRecord 等也得到了改进。 详细...

红薯
2009/08/10
256
0
MultiGet 很久不更新了吧

MultiGet 很久不更新了吧 不知道那个高手可以继续这个项目啊

李永波
2010/09/07
1K
4
缓存系列文章--7.无底洞问题(multiget hole)

转载请注明出处哈:http://carlosfu.iteye.com/blog/2269678 最近有点忙,一直没更新博客,继续坚持下去。 一、背景 1. 什么是缓存无底洞问题: 他们发现一个问题--memcached的连接效率下降了...

付磊-起扬
2015/12/14
0
0
memcache client缓存节点分配机制和连接读取缓存机制

//mc client//hashingAlg 默认是0private final long getHash(String key, Integer hashCode) { if (hashCode != null) { if (hashingAlg == CONSISTENT_HASH) return hashCode.longValue() ......

aduan
2014/04/25
684
0
memcached 1.4.37 发布,集中式缓存系统

memcached 1.4.37 发布了,带来了很多小修复和一个新的脚本 (scripts/memcached-automove) 。 memcached 是一套高性能、分布式内存对象缓存系统,通用性质,旨在用于通过减轻数据库负载加快动...

淡漠悠然
2017/06/06
1K
10

没有更多内容

加载失败,请刷新页面

加载更多

83、Mybatis和Hibernate重要区别

Mybatis;入门简单,程序容易上手开发,节省开发成本。Mybatis需要程序猿自己编写sql语句,是一个不完全的ORM框架,对sql修改和优化非常容易实现。 Mybatis适合开发需求变更频繁的系统,比如...

lianbang_W
今天
5
0
设计模式之状态模式

定义 Allow an object to alter its behavior when its internal state changes.The object will appear to change its class.(当一个对象内在状态改变时允许其改变行为,这个对象看起来像改...

陈年之后是青葱
今天
6
0
Python常用模块之os.path

os.path.abspath(path) 输入相对路径,返回绝对路径 Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:59:51) [MSC v.1914 64 bit (AMD64)] on win32Type "copyright", "credits" or "lic......

松鼠大帝
今天
11
0
001. JAVA程序运行原理分析

1. 先来看看JVM运行时数据区的结构 线程独占: 每个线程都有它独立的空间,随线程生命周期而创建和销毁。 线程共享: 所有线程能访问这块内存数据,随虚拟机GC 而创建和销毁。 JVM 用来存储加载...

紫穹
今天
24
0
SDN核心思想&Mininet

2.1ONF定义的SDN基本架构: 应用层:实现网络流量的灵活控制,使网络作为管道智能 控制层:网络虚拟化实现方式,核心技术OpenFlow 转发层新型创新架构,实现网络设备控制与转发分离 2与3之间...

Firefly-
昨天
22
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部