文档章节

nginx proxy_store文件管理实现方案

shawn chen
 shawn chen
发布于 2014/12/15 13:17
字数 440
阅读 1134
收藏 13

1。源码下载地址:    

        https://github.com/cxwshawn/ngx_proxy_store_file_mgr

2。介绍:

    1)、nginx-conf目录:主要实现基于nginx.conf中操作redis数据库代码,基于lua实现;大致流程:

            获取cache锁是否是locked -> 如果是locked,说明文件管理进程正在做lru策略,直接proxy到上游,不操作本地文件;

                                                      -> 非locked, 那么设置redis中sorted set文件访问时间(即score)

        redis结构采用hash+sorted set; hash为md5(uri)->filepath, sortedset 为:md5(uri)+ngx.now()(score)排序;

    2)、src目录:主要采用golang实现的nginx proxy_store的文件管理,主要思想:

            目前只统计当磁盘剩余不超过20%时,通过redis中的sorted set排序结果取百分比的数量依次进行删除;

    3)、配置项:

        

    {

        "MaxFileLimit" : 100000,        最大文件数量,超过该数量时做LRU(未实现)

        "CheckInterval" : 20,    检测做LRU的时间间隔 

        "ExpireDays" : 7,  过期时间超过7day的文件均会删除

        "ErrorLog": true,  是否输出错误日志

        "AccessLog": false,  是否输入调试日志

        "SortedSetName": "defset",  redis中sortedset的名字与access_file.lua文件中的sorte set名字一致

        "HashName": "defhash",   redis中hash名字与access_file.lua文件中的hash名字一致

        "RedisAddr" : "127.0.0.1:6379", redis数据库的地址

        "RoutineCount" : 32   go lru的并发数

    }

    4)、如有问题,mail到cxwshawn@yeah.net


© 著作权归作者所有

shawn chen
粉丝 9
博文 25
码字总数 11754
作品 2
海淀
程序员
私信 提问
fastdfs 一个group内实现按照不同的项目,指定路径存储.

环境介绍: 1: 公司目前有5个项目 A B C D E 日后可能会有所增加. 2: 使用fastdfs存储这5各项目的文件,要求各各项目的文件分开存储,也就是每个项目的文件存储到一个固定的位置. 3: 三台机器i...

求学ing
2015/07/29
2.9K
0
Nginx 的 proxy_store 缓存

有这么一个情况, 有个运行Asp的应用,比较土,还是用本地 *.mdb 的数据库。这么一来,就不可能通过 Apache ::: asp 这样的插件令其运行在Linux的环境中。而且是相当烂的一个 asp 程序,连h...

范堡
2009/09/01
4.8K
2
FastDfs 学习进阶之环境安装及上传文件测试

一:环境介绍 10.63.13.138 tracker ,nginx proxy 10.63.13.143 storage,nginx 二:资源包准备 FastDFS官方论坛:http://www.csource.org 资源下载路径:http://sourceforge.net/projects/f......

天真花语
2018/07/03
0
0
Nginx的代理服务以及负载均衡

正向代理和反向代理的概念 正向代理服务器用来让局域网的客户机接入外网访问外网资源的 反向代理服务器用来让外网的客户接入局域网中的站点以访问站点中的资源 正向代理和反向代理两个概念主...

期待l
2018/08/09
0
0
nginx缓存cache的5种方

传统缓存之一(404) 这个办法是把nginx的404错误定向到后端,然后用proxy_store把后端返回的页面保存。 配置: location / { root /home/html/;#主目录 expires 1d;#网页的过期时间 error_...

范堡
2009/09/21
2.5K
4

没有更多内容

加载失败,请刷新页面

加载更多

SSH安全加强两步走

从 OpenSSH 6.2 开始已经支持 SSH 多因素认证,本文就来讲讲如何在 OpenSSH 下启用该特性。 OpenSSH 6.2 以后的版本多了一个配置项 AuthenticationMethods。该配置项可以让 OpenSSH 同时指定...

xiangyunyan
24分钟前
3
0
C或C++不是C/C++

http://www.voidcn.com/article/p-mucdruqa-ws.html

shzwork
今天
6
0
OSChina 周六乱弹 —— 如何将梳子卖给和尚

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @for_ :划水五分钟,专注两小时。分享Various Artists的单曲《贝多芬第8号钢琴奏鸣曲悲伤的第三乐章》: 《贝多芬第8号钢琴奏鸣曲悲伤的第三乐...

小小编辑
今天
176
8
ES5

什么是ES5:比普通js运行要求更加严格的模式 为什么:js语言本身有很多广受诟病的缺陷 如何:在当前作用域的顶部添加:"use strict" 要求: 1、禁止给未声明的变量赋值 2、静默失败升级为错误...

wytao1995
今天
7
0
c++ 内联函数调用快的原因

见图片分析

天王盖地虎626
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部