文档章节

构建Nginx Cache高性能缓存系统

IamOkay
 IamOkay
发布于 2016/04/17 16:11
字数 701
阅读 172
收藏 27
点赞 1
评论 1

随着Nginx web服务器得到越来越多的SA的青睐,Nginx的cache功能已经具备Squid所拥有的Web缓存加速功能、清除指定URL缓存的功能。

而在性能上,Nginx对多核CPU的利用,胜过Squid不少。另外,在反向代理、负载均衡、健康检查、后端服务器故障转移、Rewrite重写、易用性上,Nginx也比Squid强大得多。

这使得一台Nginx可以同时作为负载均衡服务器与Web缓存服务器来使用。


一、 Nginx(Ngx_cache)安装:

ulimit -SHn 65535
安装pcre
yum install pcre pcre-devel -y
#下载并安装ngnix以及缓存清除模块
wget http://nginx.org/download/nginx-1.0.11.tar.gz
http://labs.frickle.com/files/ngx_cache_purge-1.4.tar.gz
tarz xvf ngx_cache_purge-1.4.tar.gz
tarz xvf nginx-1.0.11.tar.gz
useradd www
cd nginx-1.0.11/
./configure  --user=www  --group=www  --add-module=../ngx_cache_purge-1.4--prefix=/usr/local/nginx  --with-http_stub_status_module  --with-http_ssl_module
make && make install

配置ngnix.conf

user www www;
worker_processes 8;
error_log /data/logs/nginx/error.log crit;
pid /usr/local/nginx/nginx.pid;
worker_rlimit_nofile 65535;
events
{
use epoll;
worker_connections 65535;
}
http
{
      include mime.types;
      default_type application/octet-stream;
      charset utf-8;
      server_names_hash_bucket_size 128;
      client_header_buffer_size 32k;
      large_client_header_buffers 4 32k;
      client_max_body_size 300m;
 
      sendfile on;
      tcp_nopush on;
      keepalive_timeout 60;
      tcp_nodelay on;
      client_body_buffer_size 512k;
 
      proxy_connect_timeout 5;
      proxy_read_timeout 60;
      proxy_send_timeout 5;
      proxy_buffer_size 16k;
      proxy_buffers 4 64k;
      proxy_busy_buffers_size 128k;
      proxy_temp_file_write_size 128k;
 
      gzip on;
      gzip_min_length 1k;
      gzip_buffers 4 16k;
      gzip_http_version 1.1;
      gzip_comp_level 2;
      gzip_types text/plainapplication/x-javascript text/css application/xml;
      gzip_vary on;
 
     #缓存信息
      proxy_temp_path /data/proxy_temp_dir;
      proxy_cache_path /data/proxy_cache_dir levels=1:2 keys_zone=cache_one:200m inactive=1d max_size=30g;
 
upstreambackend_server {
      server 127.0.0.1:8800 weight=1 max_fails=2 fail_timeout=30s;
      server 127.0.0.1:8801 weight=1 max_fails=2 fail_timeout=30s;
}
server
{
      listen 80;
      server_name localhost;
      index index.html index.htm;
      root /data/webapps/www;
      location /
      {
          proxy_next_upstream http_502 http_504 error timeout invalid_header;
          proxy_cache cache_one;
          proxy_cache_valid 200 304 12h;
          proxy_cache_key $host$uri$is_args$args;
          proxy_set_header Host $host;
          proxy_set_header X-Forwarded-For $remote_addr;
          proxy_pass http://backend_server;
          expires 1d;
      }
      location ~ /purge(/.*)
      {
          auth_basic "TDT  Center  CACHE  Center";
          auth_basic_user_file /tmp/htpasswd;
          allow 127.0.0.1;
          allow 192.168.1.0/24;
          deny all;
          proxy_cache_purge cache_one $host$1$is_args$args;
      }
 
      location ~ .*\.(php|jsp|cgi)?$
      {
          proxy_set_header Host $host;
          proxy_set_header X-Forwarded-For $remote_addr;
          proxy_pass http://backend_server;
      }
  }
}

三、Nginx Cache测试:

#启动Nginx服务,/usr/local/nginx/sbin/nginx

#访问我们的WEB站点,然后在/data/proxy_cache_dir目录会看到缓存的子目录(以数字、字母组成)

四、如何清除缓存:

清除缓存有两种方法,第一种是直接通过nginx.conf配置文件定义的/purge虚拟目录去清除,第二种方法可以通过shell脚本去批量清除: 附上Shell脚本清空缓存的内容:

#! /bin/sh
#Auto Clean Nginx Cache Shell Scripts
#2013-06-12  wugk
#Define Path
CACHE_DIR=/data/www/proxy_cache_dir/
FILE="$*"
 
#To determine whether the input script,If not,then exit 判断脚本是否有输入,没有输入然后退出
if
  [  "$#" -eq "0" ];then
  echo "Please Insert clean Nginx cache File, Example: $0 index.html index.js"
  sleep 2 && exit
fi
  echo "The file : $FILE to be clean nginx Cache ,please waiting ....."
 
#Wrap processing for the input file, for grep lookup,对输入的文件进行换行处理,利于grep查找匹配相关内容
for i in `echo $FILE |sed 's//\n/g'`
do
  grep -ra  $i  ${CACHE_DIR}| awk -F':'  '{print $1}'  > /tmp/cache_list.txt
    for  j  in `cat/tmp/cache_list.txt`
  do
    rm  -rf  $j
    echo "$i  $j  is  Deleted Success !"
  done
done


© 著作权归作者所有

共有 人打赏支持
IamOkay
粉丝 187
博文 458
码字总数 369998
作品 0
海淀
程序员
加载中

评论(1)

引鸩怼孑
引鸩怼孑
79
《亿级流量网站架构核心技术》目录一览

举报   在2011年年底的时候笔者就曾规划写一本Spring的书,但是因为是Spring入门类型的书,框架的内容更新太快,觉得还是写博客好一些,因此就把写完的书稿放到了博客(jinnianshilongnia...

jinjiang2009
2017/03/14
0
0
Nginx编译安装和配置详解

一、Nginx简介 Nginx官网:http://nginx.org/ 1、简介 Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯...

斜视天花板
2014/04/24
0
0
web内容缓存 nginx高性能缓存详解

内容缓存是显著提高web站点的性能最有效的方法之一。下面来说说nginx高性能缓存。 内容缓存的基本原则 对GET请求进行缓存。 使用:浏览器缓存,内容分发网络和/或反向代理缓存。 HTTP缓存机制...

憬薇
2017/05/17
0
0
varnish、squid、nginx各自缓存的优缺点

◆Varnish 高性能、开源的反向代理服务器和内存缓存服务器。 优点: 1. 高性能; 2. 多核支持; 3. 支持0-60秒的精确缓存时间。 缺点: 1. 不具备自动容错和恢复功能,重启后数据丢失; 2. 在...

李丫头lmy
2017/03/28
0
0
高性能Web服务器Nginx的配置与部署研究(11)应用模块之Memcached模块的两大应用场景

本文来自:CSDN博客专栏《Nginx高性能Web服务器》 及Poechant技术博客,转载请注明出处。 一、应用场景1 (转载请注明:http://blog.csdn.net/poechant/article/details/7176921) 最近在一个...

晨曦之光
2012/04/24
130
0
LAMP网站架构分析

转自:http://www.williamlong.info/archives/1908.html LAMP(Linux-Apache-MySQL-PHP)网站架构是目前国际流行的Web框架,该框架包括:Linux操作系统,Apache网 络服务器,MySQL数据库,P...

长征4号
2017/07/05
0
0
高性能缓存服务器 nuster v1.7.10.1 发布

高性能缓存服务器 nusterv1.7.10.1 已发布。本次更新主要升级到 HAProxy v1.7.10, 更改了配置文件关键字,删除了 share 关键字, 为升级到HAProxy v1.8 进行了代码重构。这应该是 1.7 版本的最...

nuster
04/24
0
0
使用Nginx+Lua进行Web开发

Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器。因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。Lua由标准C编写而成,几乎在...

醉人的笑容你有没有
2016/04/17
613
0
Nuster 1.7.9.2 发布,基于 HAProxy 的高性能缓存服务器

Nuster 1.7.9.2 已发布。Nuster是一个基于HAProxy的高性能缓存服务器。Nuster完全兼容HAProxy,并且利用 HAProxy的ACL功能来提供非常细致的缓存规则,比如 请求地址为某某时缓存 请求参数中的...

fanta973
2017/12/15
592
8
六款优秀的 Linux Web 缓存软件

超文本传输 协议(HTTP)是互联网基本协议之一,主要用于分布式、协作式、超媒体的信息系统。通过HTTP,客户端向服务器端发送资源请求, 服务器端返回所请求资源如图像、样式表和JavaScript。...

红薯
2011/04/23
4.6K
5

没有更多内容

加载失败,请刷新页面

加载更多

下一页

TensorFlow 作用域与操作符的受限范围

variable_scope 影响变量和操作符 name_scope 只影响操作符 with tf.name_scope(""),使用空字符串将作用域返回到顶层 tf.variable_scope("") 相当于添加一个空层 import tensorflow as tf...

阿豪boy
3分钟前
0
0
Java面试基础篇——第六篇:常见Map类的区别

常见的map类有: HashMap, ConcurrentHashMap (Jdk1.8) , LinkedHashMap, TreeMap, Hashtable。 其中我们最常用的莫过于HashMap, 和并发情况下使用的ConcurrentHashMap了,它们的主要区别就在...

developlee的潇洒人生
4分钟前
0
0
崛起于Springboot2.X之前端模版freemaker(23)

1、配置文件 spring: freemarker: allow-request-override: false cache: true check-template-location: true charset: UTF-8 content-type: text/html ......

木九天
21分钟前
1
0
spring-boot:run启动时,指定spring.profiles.active

Maven启动指定Profile通过-P,如mvn spring-boot:run -Ptest,但这是Maven的Profile。 如果要指定spring-boot的spring.profiles.active,则必须使用mvn spring-boot:run -Drun.profiles=test......

夜黑人模糊灬
23分钟前
0
0
大数据分析挖掘技术学习:Python文本分类

引言 文本分类作为自然语言处理任务之一,被广泛应用于解决各种商业领域的问题。文本分类的目的是将 文本/文档 自动地归类为一种或多种预定义的类别。常见的文本分类应用如下: • 理解社交媒...

加米谷大数据
27分钟前
0
0
istio-0.8 指标监控,prometheus,grafana

配置: https://istio.io/docs/tasks/telemetry/metrics-logs/ https://istio.io/docs/tasks/telemetry/tcp-metrics/ envoy拦截请求>上报mixer>对接prometheus>grafana 效果截图: promethe......

xiaomin0322
29分钟前
0
0
公众号推荐

阿里技术 书籍:《不止代码》

courtzjl
32分钟前
0
0
关于改进工作效率

1.给不同的业务线建立需求群,所有的数据需求都在群里面提。 2.对于特别难搞定的事情,到对应的技术哪去做,有问题随时沟通。 3.定期给工作总结形成方法论。 4.学习新的技术,尝试用新的方法...

Avner
39分钟前
0
0
关于thinkphp 框架开启路径重写,无法获取Authorization Header

今天遇到在thinkphp框架中获取不到header头里边的 Authorization ,后来在.htaccess里面加多一项解决,记录下: <IfModule mod_rewrite.c> Options +FollowSymlinks -Multiviews Rewrite......

殘留回憶
43分钟前
0
0
centos 使用yum安装nginx后如何添加模块 10

centos 使用yum安装nginx后如何添加模块 10 centos6.2版本,使用yum来安装了nginx,但是最近需要重新添加模块,所以就傻了,询问下有人知道怎么重新添加模块吗? PS:俺是新手,需要高手救助...

linjin200
46分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部