文档章节

nginx proxy_store文件管理实现方案

shawn chen
 shawn chen
发布于 2014/12/15 13:17
字数 440
阅读 1130
收藏 13

1。源码下载地址:    

        https://github.com/cxwshawn/ngx_proxy_store_file_mgr

2。介绍:

    1)、nginx-conf目录:主要实现基于nginx.conf中操作redis数据库代码,基于lua实现;大致流程:

            获取cache锁是否是locked -> 如果是locked,说明文件管理进程正在做lru策略,直接proxy到上游,不操作本地文件;

                                                      -> 非locked, 那么设置redis中sorted set文件访问时间(即score)

        redis结构采用hash+sorted set; hash为md5(uri)->filepath, sortedset 为:md5(uri)+ngx.now()(score)排序;

    2)、src目录:主要采用golang实现的nginx proxy_store的文件管理,主要思想:

            目前只统计当磁盘剩余不超过20%时,通过redis中的sorted set排序结果取百分比的数量依次进行删除;

    3)、配置项:

        

    {

        "MaxFileLimit" : 100000,        最大文件数量,超过该数量时做LRU(未实现)

        "CheckInterval" : 20,    检测做LRU的时间间隔 

        "ExpireDays" : 7,  过期时间超过7day的文件均会删除

        "ErrorLog": true,  是否输出错误日志

        "AccessLog": false,  是否输入调试日志

        "SortedSetName": "defset",  redis中sortedset的名字与access_file.lua文件中的sorte set名字一致

        "HashName": "defhash",   redis中hash名字与access_file.lua文件中的hash名字一致

        "RedisAddr" : "127.0.0.1:6379", redis数据库的地址

        "RoutineCount" : 32   go lru的并发数

    }

    4)、如有问题,mail到cxwshawn@yeah.net


© 著作权归作者所有

shawn chen
粉丝 9
博文 25
码字总数 11754
作品 2
海淀
程序员
私信 提问
fastdfs 一个group内实现按照不同的项目,指定路径存储.

环境介绍: 1: 公司目前有5个项目 A B C D E 日后可能会有所增加. 2: 使用fastdfs存储这5各项目的文件,要求各各项目的文件分开存储,也就是每个项目的文件存储到一个固定的位置. 3: 三台机器i...

求学ing
2015/07/29
2.9K
0
Nginx 的 proxy_store 缓存

有这么一个情况, 有个运行Asp的应用,比较土,还是用本地 *.mdb 的数据库。这么一来,就不可能通过 Apache ::: asp 这样的插件令其运行在Linux的环境中。而且是相当烂的一个 asp 程序,连h...

范堡
2009/09/01
4.8K
2
FastDfs 学习进阶之环境安装及上传文件测试

一:环境介绍 10.63.13.138 tracker ,nginx proxy 10.63.13.143 storage,nginx 二:资源包准备 FastDFS官方论坛:http://www.csource.org 资源下载路径:http://sourceforge.net/projects/f......

天真花语
2018/07/03
0
0
Nginx的代理服务以及负载均衡

正向代理和反向代理的概念 正向代理服务器用来让局域网的客户机接入外网访问外网资源的 反向代理服务器用来让外网的客户接入局域网中的站点以访问站点中的资源 正向代理和反向代理两个概念主...

期待l
2018/08/09
0
0
nginx缓存cache的5种方

传统缓存之一(404) 这个办法是把nginx的404错误定向到后端,然后用proxy_store把后端返回的页面保存。 配置: location / { root /home/html/;#主目录 expires 1d;#网页的过期时间 error_...

范堡
2009/09/21
2.5K
4

没有更多内容

加载失败,请刷新页面

加载更多

Redis集群搭建

服务器资源 ip 账号 配置 操作系统 xxx.70 root/xxx 磁盘50G(/)+150G(/home)、内存16G、CPU 16core CentOS Linux release 7.2.1511 (Core) xxx.74 root/xxx 磁盘50G(/)+150G(/home)、......

jxlgzwh
9分钟前
2
0
avro

一、 ```我们已经接触过很多序列化框架(或者集成系统),比如protobuf、hessian、thrift等,它们各有优缺点以及各自的实用场景,Avro也是一个序列化框架,它的设计思想、编程模式都和thi...

hexiaoming123
11分钟前
3
0
QML TextInput的字体超出控件范围

本文链接:https://blog.csdn.net/chyuanrufeng/article/details/54691998 问题描述 :QML TextInput输入内容超过TextInput的大小 当输入过多的字符串时,会出现内容超过TextInput的大小,字...

shzwork
12分钟前
1
0
《Java 8 in Action》Chapter 10:用Optional取代null

1965年,英国一位名为Tony Hoare的计算机科学家在设计ALGOL W语言时提出了null引用的想法。ALGOL W是第一批在堆上分配记录的类型语言之一。Hoare选择null引用这种方式,“只是因为这种方法实...

HelloDeveloper
13分钟前
1
0
进击的 Java ,云原生时代的蜕变

作者| 易立 阿里云资深技术专家<br /> <br />导读:云原生时代的来临,与Java 开发者到底有什么联系?有人说,云原生压根不是为了 Java 存在的。然而,本文的作者却认为云原生时代,Java 依然...

阿里巴巴云原生
15分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部