文档章节

MiniCDN技术架构步骤详解

臧教授
 臧教授
发布于 2017/07/14 10:13
字数 453
阅读 53
收藏 0

MiniCDN 使用了谷歌开源出来的 groupcache 框架,目前dl.google.com后台就用到了groupcache,性能而言远超那些squid或者nginx-proxy-cache.

groupcache 的数据获取过程很有意思,我把他翻译了过来

groupcache 的运行过程

原文地址

查找foo.txt的过程(节点#5 是N个节点中的一个,每个节点的代码都是一样的)

  1. 判断foo.txt是否内存中,并且很热门(super hot),如果在就直接使用它

  2. 判断foo.txt是否在内存中,并且当前节点拥有它(译者注:一致性hash查到该文件属于节点#5),如果是就使用它

  3. 在所有的节点中, 如果foo.txt的拥有者是节点#5,就加载这个文件。如果其他请求(通过直接的,或者rpc请求),节点#5会阻塞该请求,直接加载完毕,然后给所有请求返回同样的结果。否则使用rpc请求到拥有者的节点,如果请求失败,就本地加载(译者注:这种方式比较慢)

 

架构

  • M: Manager

    1. 负责维护Peer的列表,每个peer会去Manager同步这个列表。

    2. 所有的请求会先请求到manager, 然后由manager重定向到不同的peer

  • P: Peer

    1. 提供文件的下载服务

    2. Peer之间会根据从manager拿到的peer列表,同步文件

Manager 与 Peer 是一对多的关系

[M]
 |`------+--------+---......
 |       |        |[P]     [P]      [P]  ....

Run Manager

命令行启动

./minicdn -mirror http://localhost:5000 -addr :11000 -log cdn.log
  • 对网站http://localhost:5000进行镜像加速

  • 监听11000端口

  • 日志存储在cdn.log中

源站的所有下载地址,最好都改成这个http://localhost:5000/something

Run Peer

命令行启动

./minicdn -upstream http://localhost:11000 -addr :8001
  • 指定Server地址http://localhost:11000

  • 监听8001端口

© 著作权归作者所有

共有 人打赏支持
臧教授
粉丝 8
博文 24
码字总数 31409
作品 0
朝阳
程序员
私信 提问
简约的CDN--minicdn

MiniCDN 一般来说会推荐采用 qiniu 或者 upyun,又或者是 amazon 之类大公司的 cdn 服务,不过当需要一些自己实现的场景,比如企业内部软件的加速,就需要一个私有的 CDN 了。 极简内容分发系...

go-skyblue
2015/07/14
1K
0
Netty干货分享:京东京麦的生产级TCP网关技术实践总结

1、引言 京东的京麦商家后台2014年构建网关,从HTTP网关发展到TCP网关。在2016年重构完成基于Netty4.x+Protobuf3.x实现对接PC和App上下行通信的高可用、高性能、高稳定的TCP长连接网关。 早期...

JackJiang2011
2017/12/01
0
0
移动端IM中大规模群消息的推送如何保证效率、实时性?

本文原题为“大规模群消息推送如何保证实时性?”,来自瓜子二手车IM负责人:封宇,本次内容有修订,感谢原作者(原文链接在文末)。 1、编者注 众所周之,群聊是移动端IM的服务端技术难点所...

JackJiang2011
2017/11/20
0
0
移动端IM中大规模群消息的推送如何保证效率、实时性?

本文原题为“大规模群消息推送如何保证实时性?”,来自瓜子二手车IM负责人:封宇,本次内容有修订,感谢原作者(原文链接在文末)。 1、编者注 众所周之,群聊是移动端IM的服务端技术难点所...

JackJiang-
2017/11/20
544
0
IM消息送达保证机制实现(二):保证离线消息的可靠投递

1、前言 本文的上篇《IM消息送达保证机制实现(一):保证在线实时消息的可靠投递》中,我们讨论了在线实时消息的投递可以通过应用层的确认、发送方的超时重传、接收方的去重等手段来保证业务层...

JackJiang-
2016/11/18
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

Httpd 整合 Tomcat 步骤

环境:Tomcat8 + Httpd2.4 工作原理:借助于Tomcat的AJP连接器实现Apache与Tomcat的通信 配置步骤: 1. 配置httpd.conf 新增: Include conf/extra/mod_jk.conf 修改:添加 index.jsp <IfM...

ZeroneLove
11分钟前
0
0
Docker笔记3——容器命令(未写完,明天整理接着写)

未写完,明天整理接着写 新建并启动容器 docker run docker run [OPTIONS] IMAGE [COMMEND] [ARG...] OPTIONS: --name=[容器新名字] :为容器指定一个名称 -d:后台运行容器,并返回容器ID,...

HappyBKs
24分钟前
0
0
2018个人年终总结

感谢领导的信任和指导,新的一年获得了很多成长和提高,改掉了很多不好的习惯。 在这一年里,我在领导的帮助下,主要完成了以下功能: 1、完成上海银行版本投资营销相关功能的开发。 2、完成车...

万山红遍
今天
6
0
保密工作与linux系统的发展

保密工作从性质上可以分成商业方面的保密和国家安全方面的保密。由于自己从事的是IT方面的工作,工作中必然会接触涉及到计算机信息方面的相关文件。加上单位已近通过武器装备科研生产单位二级...

linux-tao
今天
2
0
Spark共享变量

概述 Spark程序的大部分操作都是RDD操作,通过传入函数给RDD操作函数来计算。这些函数在不同的节点上并发执行,但每个内部的变量有不同的作用域,不能相互访问,所以有时会不太方便,Spark提...

仟昭
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部