文档章节

varnish代理服务器部署

lee_ypp
 lee_ypp
发布于 2014/08/03 16:20
字数 1844
阅读 3920
收藏 157
点赞 15
评论 16

varnish

Varnish与Squid的对比

        说到Varnish,不能不提Squid,Squid是一个高性能的代理缓存服务器,它和varnish之间有诸多的异同点,这里分析如下:

下面是他们之间的相同点:
(1)都是一个反向代理服务器。
(2)都是开源软件。
下面是它们的不同点,也是Varnish的优点:
(1)Varnish的稳定性很高,两者在完成相同负荷的工作时,Squid服务器发生故障的几率要高于Varnish,因为使用Squid要经常重启。
(2)Varnish访问速度更快,Varnish采用了“Visual Page Cache”技术,所有缓存数据都直接从内存读取,而squid是从硬盘读取,因而Varnish在访问速度方面会更快。
(3)Varnish可以支持更多的并发连接,因为Varnish的TCP连接释放要比Squid快。因而在高并发连接情况下可以支持更多TCP连接。
(4)Varnish可以通过管理端口,使用正则表达式批量的清除部分缓存,而Squid是做不到的。

5) squid属于是单进程使用单核CPU,但Varnish是通过fork形式打开多进程来做处理,所以是合理的使用所有核来处理相应的请求。

(6)Varnish的性能更高,挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid,可见性能比以前更好。
当然,与传统的Squid相比,Varnish也是有缺点的,列举如下:

1)      varnish进程一旦Hang、Crash或者重启,缓存数据都会从内存中完全释放,此时所有请求都会发送到后端服务器,在高并发情况下,会给后端服务器造成很大压力。

2)      在varnish使用中如果单个url的请求通过HA/F5(负载均衡)每次请求不同的varnish服务器中,被请求varnish服务器都会被穿透到后端,而且同样的请求会在多台服务器上缓存,也会造成varnish的缓存的资源浪费,也会造成性能下降。

 

解决方案:

1)      上所述在访问量很大的情况下推荐使用varnish的内存缓存方式启动,而且后面需要跟多台squid服务器。主要为了防止前面的varnish服务、服务器被重启的情况下,前期肯定会有很多的穿透这样squid可以担当第二层CACHE,而且也弥补了varnish缓存在内存中重启都会释放的问题。

2)      这样的问题可以在负载均衡上做url哈希,让单个url请求固定请求到一台varnish服务器上,可以解决该问题。

注:上面的解决方法还需要全面的测试,没有经过证实。

    下面我们就来部署varnish:

    主机环境: rhel6 selinux and iptables disabled

   实验主机:www.westos.org bbs.westos.org  192.168.0.50     varnish    

                  server1.example.com                    192.168.0.1 apache

                  server2.example.com                    192.168.0.2 apache        (各主机做以上解析)

VCL处理流程图

处理过程大致分为如下几个步骤:

(1)Receive状态,也就是请求处理的入口状态,根据VCL规则判断该请求应该是Pass或Pipe,或者进入Lookup(本地查询)。

(2)Lookup状态,进入此状态后,会在hash表中查找数据,若找到,则进入Hit状态,否则进入miss状态。

(3)Pass状态,在此状态下,会进入后端请求,即进入fetch状态。

(4)Fetch状态,在Fetch状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地的存储。

(5)Deliver   状态, 将获取到的数据发送给客户端,然后完成本次请求。

1. 安装(192.168.0.50)

http://repo.varnish-cache.org/redhat/varnish-3.0/el6/x86_64/    

yum localinstall -y varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm

2. 配置

# vi /etc/varnish/default.vcl

###配置一个后端服务器

backend web1 {

  .host = "192.168.0.1";

  .port = "80";

}

###查看缓存命中情况

sub vcl_deliver {

   if (obj.hits > 0) {

  set resp.http.X-Cache = "HIT from westos cache";

   } 

   else {

  set resp.http.X-Cache = "MISS from westos cache";

   }

   return (deliver);

}

###配置varnish服务端口

# vi /etc/sysconfig/varnish

VARNISH_LISTEN_PORT=80

# service varnish start

3.测试缓存命中

# curl -I 192.168.0.50

HTTP/1.1 200 OK

Server: Apache/2.2.15 (Red Hat)

Last-Modified: Mon, 20 Aug 2012 15:22:19 GMT

ETag: "1c13aa-16-4c7b4135e08a6"Content-Type: text/html; charset=UTF-8

Content-Length: 22

Accept-Ranges: bytes

Date: Fri, 24 Aug 2012 14:30:40 GMT

X-Varnish: 766467032

Age: 0

Via: 1.1 varnish

Connection: keep-alive

X-Cache: MISS from westos cache #未命中

# curl -I 192.168.0.50

HTTP/1.1 200 OK

Server: Apache/2.2.15 (Red Hat)

Last-Modified: Mon, 20 Aug 2012 15:22:19 GMT

ETag: "1c13aa-16-4c7b4135e08a6"

Content-Type: text/html; charset=UTF-8

Content-Length: 22

Accept-Ranges: bytes

Date: Fri, 24 Aug 2012 14:30:54 GMT

X-Varnish: 766467033 766467032

Age: 14

Via: 1.1 varnish

Connection: keep-alive

X-Cache:HIT from westos cache #命中

###   通过 varnishadm 手动清除缓存

# varnishadm ban.url  .*$ #清除所有

# varnishadm ban.url  /index.html #清除index.html页面缓存

# varnishadm ban.url /admin/$ #清除admin目录缓存

4.定义多个不同域名站点的后端服务器

#vim /etc/varnish/default.vcl

backend web1 {

  .host = "192.168.0.1";

  .port = "80";

}

backend web2 {

  .host = "192.168.0.2";

  .port = "80";

}

#当访问www.westos.org域名时从web1上取数据,访问bbs.westos.org域名时到web2取数据,访问其他页面报错。

sub vcl_recv {

if (req.http.host ~ "^(www.)?westos.org") {

set req.http.host = "www.westos.org";

set req.backend = web1;

} elsif (req.http.host ~ "^bbs.westos.org") {

       set req.backend = web2;

  } else {       error 404 "westos cache";

  }

}

sub vcl_deliver { 

if (obj.hits > 0){ 

set resp.http.X-Cache = "HIT from westos cache"; 

else { 

set resp.http.X-Cache = "MISS from westos cache"; 

return (deliver); 

}

# service varnish reload

网页访问web:www.westos.org    web:bbs.westos.org则会显示不同的内容。

5.定义负载均衡

##添加虚拟主机

vim  /etc/httpd/conf/httpd.conf(192.168.0.2上的操作)

NameVirtualHost *:80 

<VirtualHost *:80> 

    DocumentRoot /var/www/html 

    ServerName   www.westos.org 

</VirtualHost> 

<VirtualHost *:80> 

    DocumentRoot /var/www/web2 (你要自己创建这么目录哦!)

    ServerName     bbs.westos.org 

</VirtualHost>

#echo bbs.westos.org > /var/www/web2/index.html

#service httpd restart

##定义健康检查

probe healthcheck {

 .url = "/index.html"; #   哪个 url需要varnish请求

 .interval = 5s; #检查的间隔时间

 .timeout = 1s;  #等待多长时间探针超时

 .window = 5; #维持5个sliding window的结果

 .threshold = 3; #至少有三次window是成功的,就宣告bachend健康

}

backend web1 {

  .host = "192.168.0.1";

  .port = "80";

   .probe = healthcheck;

}

backend web2 {

  .host = "192.168.0.2";

  .port = "80";

  .probe = healthcheck;

}

director lb round-robin { #把多个后端聚合为一个组,并检测后端健康状况

{ .backend = web1; }

{  .backend = web2; }

}sub vcl_recv {

if (req.http.host ~ "^(www.)?westos.org") {

set req.http.host = "www.westos.org";

set req.backend = lb;

return (pass); #为了测试方便,不进行缓存。

} elsif (req.http.host ~ "^bbs.westos.org") {

       set req.backend = web2;

  } else {

       error 404 "westos cache";

  }

}

# service varnish reload

这时web访问http://www.westos.org/就会显示不同的内容,即实现了负载均衡

6.varnish cdn推送平台

http://code.google.com/p/varnish-php-bansys/

#需要安装php支持

# unzip bansys.zip  -d /var/www/html

#mv /var/www/html/bsnsys/* ..

# vi /var/www/html/config.php #只保留如下设置,其余注释掉(注意:注释掉并不是删除掉,删除会造成推送网页的乱码!)

<?php

 $var_group1 = array(

                        'host' => array('192.168.0.50'),

                                                'port' => '6082',

                    );

 //varnish群组定义

 //对主机列表进行绑定

 $VAR_CLUSTER = array(

                         'www.westos.org' => $var_group1,

                     );

 //varnish版本 //2.x和3.x推送命令不一样

 $VAR_VERSION = "3";

?>

#bansys有两种工作模式,分别是:telnet和http模式。

#telnet模式需要关闭varnish服务管理端口的验证,注释掉/etc/sysconfig/varnish “ 文件中的 -S ${VARNISH_SECRET_FILE}”这行,重启varnish服务即可。

#如果是http模式需要对varnish做以下设置:

# vi /etc/varnish/default.vcl

acl westos {

#设置访问控制

        "127.0.0.1";

        "192.168.0.0"/24;

}

sub vcl_recv {

 if (req.request == "BAN") {

               if (!client.ip ~ westos) {

                       error 405 "Not allowed.";

               }

               ban("req.url ~ " + req.url);

                error 200 "ban added";

       }

}

修改httpd的端口号

#vim /etc/httpd/conf/httpd.conf                Listen 8080(大概是136行)

# service varnish reload

##推送是为了更新cache,让原网页失效,这样从外网访问内网的时候就是最新的数据。

              --leeypp@gmail.com





© 著作权归作者所有

共有 人打赏支持
lee_ypp
粉丝 64
博文 43
码字总数 58692
作品 0
程序员
加载中

评论(16)

小天堂1110
小天堂1110
mark一下
snail_pang
snail_pang

引用来自“cpp初学者”的评论

这货是一个静态 缓存工具么?
如果 是这样的话,我一般都是直接生成 纯静态 html,nginx输出,性能已经很牛B了.
估计要上这货的话,得亿级的访问量吧,一般网站还用不上.
所言甚是,此非屌丝程序,我等nginx已解决一切。
bluesyc
bluesyc
了解下
莲花子
莲花子
为什么不和 apache traffic server 比较呢
lee_ypp
lee_ypp

引用来自“cpp初学者”的评论

这货是一个静态 缓存工具么?
如果 是这样的话,我一般都是直接生成 纯静态 html,nginx输出,性能已经很牛B了.
估计要上这货的话,得亿级的访问量吧,一般网站还用不上.

varnish是大型互联网企业为了方便用户访问他们的网站而架设的缓存服务器,而跟你的局域网没有任何关系。但是你说的亿级访问量是对的 @cpp初学者
回去干活
回去干活
这货是一个静态 缓存工具么?
如果 是这样的话,我一般都是直接生成 纯静态 html,nginx输出,性能已经很牛B了.
估计要上这货的话,得亿级的访问量吧,一般网站还用不上.
stormcc
stormcc

引用来自“郑晨曦”的评论

这个跟nginx有啥区别啊?
nginx在做反向代理缓存的时候,只能够指定URL去清理缓存; varnish在这方面,可以根据正则来处理
Jean
Jean

引用来自“郑晨曦”的评论

这个跟nginx有啥区别啊?
强大的VCL
zcx2001
zcx2001
这个跟nginx有啥区别啊?
lee_ypp
lee_ypp

引用来自“stormcc”的评论

"(2)Varnish访问速度更快,Varnish采用了“Visual Page Cache”技术,所有缓存数据都直接从内存读取,而squid是从硬盘读取,因而Varnish在访问速度方面会更快。"
----varnish和squid都是可以使用纯内存cache或者磁盘cache的

这块可能我理解的有点问题,多谢赐教@stormcc
Linux Operation学习------Squid/Varnish

1、代理服务器Squid 1.1Squid服务器 反向代理工作机制:代替公网用户访问组织内部的web服务器 部署基于地区的CDN服务器 软件包:squid 系统服务:squid 主程序:/usr/sbin/squid 主配置文件:...

dscp_linux ⋅ 01/12 ⋅ 0

Web集群部署(Nginx+Keepalived+Varnish+LAMP+NFS)

Web集群部署(Nginx+Keepalived+Varnish+LAMP+NFS) 一、服务介绍 1.1 Nginx服务 Nginx是一个高性能的HTTP和反向代理服务器,也是一个支持IMAP/POP3/SMTP的代理服务器。Nginx即支持Web服务正...

PowerMichael ⋅ 2017/07/29 ⋅ 0

使用Varnish加速Web

使用Varnish加速Web 1.1 问题 通过配置Varnish缓存服务器,实现如下目标: 使用Varnish加速后端Apache Web服务 使用varnishadm命令管理缓存页面 使用varnishstat命令查看Varnish状态 1.2 方案...

天亮说再见 ⋅ 2017/11/07 ⋅ 0

用varnish做缓存服务器

一、目的 通过配置Varnish缓存服务器,实现如下目标: 使用Varnish加速后端Apache Web服务 使用varnishadm命令管理缓存页面 使用varnishstat命令查看Varnish状态 二、方案, 服务器规划见我的...

bentian1208 ⋅ 01/05 ⋅ 0

ASP.NET性能优化之反向代理缓存

到目前为止,我们讨论了把缓存存放在ASP.NET的输出缓存中(内存和硬盘),以及浏览器缓存中,而大型站点的另一种常用做法是将缓存部署在反向代理服务器上,这类缓存我们通常称之为反向代理缓...

晨曦之光 ⋅ 2012/06/08 ⋅ 0

squid和varnish缓存代理服务器

squid缓存代理服务器应用场景:web访问加速(适用于正/反向解析)正向:IP伪装、“×××”反向:代替公网用户访问web服务器 缓存区:硬盘软件包:squid-3.3.8-26.e17.x86_64.rpm系统服务:s...

夜流璃雨 ⋅ 01/05 ⋅ 0

利用Varnish和Nginx来使用WebSocket

大家都知道Nginx是一个阻塞web应用程序的前端web服务器。然而,目前Nginx不支持WebSocket。 我们可以用tcp模块编译Nginx,来代理WebSocket和HTTP通信,并使用不同的后端。这样的话,我们需要...

迷途d书童 ⋅ 2012/05/25 ⋅ 3

Squid代理服务器 、 Varnish服务器

代理服务器: 什么是代理服务器? 简单举个例子,假设百度的Web服务器在北京,当我们访问百度的服务器时,我们的请求并不是发送到北京的Web服务器,而是通过代理服务器来实现。 比如我们在上...

段超超 ⋅ 2017/12/06 ⋅ 0

系统原理分析架构-二-CDN内容分发网络

感谢朋友支持本博客,欢迎共同探讨交流,由于能力和时间有限,错误之处在所难免,欢迎指正! 如有转载,请保留源作者博客信息。 Better Me的博客:blog.csdn.net/tantexian 如需交流,欢迎大...

tantexian ⋅ 2016/02/29 ⋅ 0

linux基础知识

squid(代理服务器) ----------------------------------- client:192.168.4.1 virbr1 真实机 ----------------------------------- squid:192.168.4.5 network1 172.16.0.5 network2 -------......

木玛by ⋅ 2017/11/03 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

个人博客的运营模式能否学习TMALL天猫质量为上?

心情随笔|个人博客的运营模式能否学习TMALL天猫质量为上? 中国的互联网已经发展了很多年了,记得在十年前,个人博客十分流行,大量的人都在写博客,而且质量还不错,很多高质量的文章都是在...

原创小博客 ⋅ 今天 ⋅ 0

JavaScript零基础入门——(十一)JavaScript的DOM操作

JavaScript零基础入门——(十一)JavaScript的DOM操作 大家好,欢迎回到我们的JavaScript零基础入门。最近有些同学问我说,我讲的的比书上的精简不少。其实呢,我主要讲的是我在开发中经常会...

JandenMa ⋅ 今天 ⋅ 0

volatile和synchronized的区别

volatile和synchronized的区别 在讲这个之前需要先了解下JMM(Java memory Model :java内存模型):并发过程中如何处理可见性、原子性、有序性的问题--建立JMM模型 详情请看:https://baike.b...

MarinJ_Shao ⋅ 今天 ⋅ 0

深入分析Kubernetes Critical Pod(一)

Author: xidianwangtao@gmail.com 摘要:大家在部署Kubernetes集群AddOn组件的时候,经常会看到Annotation scheduler.alpha.kubernetes.io/critical-pod"="",以表示这是一个关键服务,那你知...

WaltonWang ⋅ 今天 ⋅ 0

原子性 - synchronized关键词

原子性概念 原子性提供了程序的互斥操作,同一时刻只能有一个线程能对某块代码进行操作。 原子性的实现方式 在jdk中,原子性的实现方式主要分为: synchronized:关键词,它依赖于JVM,保证了同...

dotleo ⋅ 今天 ⋅ 0

【2018.06.22学习笔记】【linux高级知识 14.4-15.3】

14.4 exportfs命令 14.5 NFS客户端问题 15.1 FTP介绍 15.2/15.3 使用vsftpd搭建ftp

lgsxp ⋅ 今天 ⋅ 0

JeeSite 4.0 功能权限管理基础(Shiro)

Shiro是Apache的一个开源框架,是一个权限管理的框架,实现用户认证、用户授权等。 只要有用户参与一般都要有权限管理,权限管理实现对用户访问系统的控制,按照安全规则或者安全策略控制用户...

ThinkGem ⋅ 昨天 ⋅ 0

python f-string 字符串格式化

主要内容 从Python 3.6开始,f-string是格式化字符串的一种很好的新方法。与其他格式化方式相比,它们不仅更易读,更简洁,不易出错,而且速度更快! 在本文的最后,您将了解如何以及为什么今...

阿豪boy ⋅ 昨天 ⋅ 0

Python实现自动登录站点

如果我们想要实现自动登录,那么我们就需要能够驱动浏览器(比如谷歌浏览器)来实现操作,ChromeDriver 刚好能够帮助我们这一点(非谷歌浏览器的驱动有所不同)。 一、确认软件版本 首先我们...

blackfoxya ⋅ 昨天 ⋅ 0

线性回归原理和实现基本认识

一:介绍 定义:线性回归在假设特证满足线性关系,根据给定的训练数据训练一个模型,并用此模型进行预测。为了了解这个定义,我们先举个简单的例子;我们假设一个线性方程 Y=2x+1, x变量为商...

wangxuwei ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部