文档章节

Redis详解与常见问题解决方案

淡看江湖
 淡看江湖
发布于 2016/04/13 20:44
字数 2369
阅读 145
收藏 7

Redis简介

redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sortedset --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

安装:

安装Redis

官方网站:http://redis.io/

官方下载:http://redis.io/download 可以根据需要下载不同版本

windows版:https://github.com/ServiceStack/redis-windows

下载安装包:



解压启动Redis

解压redis64-2.8.17版本后,找到redis.windows.conf,修改配置文件内容,内容如下。



支持数据结构

redis提供五种数据类型:String,hash,list,set及zset(sortedset)。

Redis配置文件主要参数配置

1、指定Redis监听端口,默认端口为6379。

port 6379

2、绑定的主机地址

bind 127.0.0.1

3、当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能

timeout 300

4、指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose。

loglevel verbose

5、日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null。

logfilestdout

6、设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id。

databases 16

7、指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合。

save <seconds><changes>

8、Redis默认配置文件中提供了三个条件:

save 900 1

save 300 10

save 60 10000

分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。

9、指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大。

rdbcompression yes

10、指定本地数据库文件名,默认值为dump.rdb。

dbfilename dump.rdb

11、 指定本地数据库存放目录。

dir ./

12、设置当本机为slave服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步。

slaveof <masterip><masterport>

13、当master服务设置了密码保护时,slave服务连接master的密码。

masterauth <master-password>

14、设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭。

requirepass foobared

15、设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clientsreached错误信息。

maxclients 128

16、指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区。

maxmemory <bytes>

17、指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no。

appendonly no

18、指定更新日志文件名,默认为appendonly.aof

appendfilename appendonly.aof

19、指定更新日志条件,共有3个可选值:

no:表示等操作系统进行数据缓存同步到磁盘(快)

always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全)

everysec:表示每秒同步一次(折衷,默认值)

appendfsync everysec

20、 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启

glueoutputbuf yes

21、指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法。

hash-max-zipmap-entries 64

hash-max-zipmap-value 512

22、指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)。

activerehashingyes

23、slave根据指定的时间间隔向服务器发送ping请求。时间间隔可以通过 repl_ping_slave_period 来设置。默认10秒

repl-ping-slave-period10

24、当一个slave失去和master的连接,或者同步正在进行中,slave的行为有两种可能:

(1) 如果 slave-serve-stale-data 设置为 "yes" (默认值),slave会继续响应客户端请求,可能是正常数据,也可能是还没获得值的空数据。

(2) 如果 slave-serve-stale-data 设置为 "no",slave会回复"正在从master同步(SYNCwith master in progress)"来处理各种请求,除了 INFO 和 SLAVEOF 命令。

slave-serve-stale-datayes

25、Redis主从配置

redis支持master-slave的主从配置,配置方法是在从机的配置文件中指定slaveof参数为主机的ip和port即可。

slaveof 192.168.1.23 6379

26、 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件。

include /path/to/local.conf

include /path/to/other.conf

Redis中常见异常处理以及内存CPU优化

Redis常出现问题总结:

1、当出现修改--maxheap and --heapdir

在启动这两个版本时都会创建一个 RedisQFork.dat文件,我不确定 RedisQFork 文件是否变小一点, 但我确定, 你可以通过设置Redis启动参数 heapdir 来调整这个文件的位置。

我在 redis.windows.conf文件中搜索"heapdir",然后在默认注释掉的内容下面添加一行,指定Redis内存映射文件(memory mapped file)存放的路径:

2、redis常见异常处理

123# heapdir指定内存映射文件路径名,不能是文件名# heapdir <directory path(absoluteorrelative)>heapdir D:/temp/redis_heapdir/

具体文件和目录就请你根据自己的磁盘进行指定啦. 我的症状和情况是这样的, 16GB内存,Windows版64bit的Redis,启动Redis后就在C盘的C:\Windows\ServiceProfiles\NetworkService\AppData\Local\Redis目录下面生成一个16GB大小的 RedisQFork_8792.dat 文件(8792是本次启动的进程PID, 关闭redis 则此文件自动被删除). 本来当初为了省钱只上了64GB的固态硬盘,结果16G一吃下来,C盘就只有16GB空余空间,自从设置到D盘,重启以后,感觉强迫症就好多了。

3、常见异常处理

如果你遇到 java.net.SocketTimeoutException: Readtimed out exception的异常信息

请尝试在构造JedisPool的时候设置自己的超时值. JedisPool默认的超时时间是2秒(单位毫秒)

pool = new JedisPool(config, ip,port,RedisConfig.getTimeout());

4、Redis中CPU使用效率优化

将no-appendfsync-on-rewrite的配置设为yes可以缓解这个问题,设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入。

最好是不开启Master的AOF备份功能。

Redis也可以关闭自动持久化,注释掉这些save配置,或者save “”

如果后台保存到磁盘发生错误,将停止写操作。

stop-writes-on-bgsave-error yes。

使用LZF压缩rdb文件,这会耗CPU, 但是可以减少磁盘占用。

rdbcompression yes

保存rdb和加载rdb文件的时候检验,可以防止错误,但是要付出约10%的性能,可以关闭他,提高性能。

rdbchecksum yes

5、当出现以下错误时:

VirtualAlloc/COWAlloc fail! Out Of Memory allocating 42bytes!

修改:maxmemory 1024000000

maxheap 1024000000

Redis客户端常用命令

get key

set key value

clear

exists key

del key

dbsize

lpush key value

info all

info

monitor

hgetall key

redis 127.0.0.1:6379> info #查看server版本内存使用连接等信息

redis 127.0.0.1:6379> client list #获取客户连接列表

redis 127.0.0.1:6379> client kill 127.0.0.1:33441 #终止某个客户端连接

redis 127.0.0.1:6379> dbsize #当前保存key的数量

redis 127.0.0.1:6379> save #立即保存数据到硬盘

redis 127.0.0.1:6379> bgsave #异步保存数据到硬盘

redis 127.0.0.1:6379> flushdb #当前库中移除所有key

redis 127.0.0.1:6379> flushall #移除所有key从所有库中

redis 127.0.0.1:6379> lastsave #获取上次成功保存到硬盘的时间戳

redis 127.0.0.1:6379> monitor #实时监测服务器接收到的请求

redis 127.0.0.1:6379> slowlog len #查询慢查询日志条数

redis 127.0.0.1:6379> slowlog get #返回所有的慢查询日志,最大值取决于slowlog-max-len配置

redis 127.0.0.1:6379> slowlog get 2 #打印两条慢查询日志

redis 127.0.0.1:6379> slowlog reset #清空慢查询日志信息


本文转载自:http://www.l-ch.net

共有 人打赏支持
淡看江湖
粉丝 33
博文 82
码字总数 92173
作品 0
浦东
后端工程师
大规模 WebSocket 集群项目 AnyIM 实战

一、概述 WebSocket 应用场景非常广泛,例如社交聊天、弹幕、多玩家游戏、协同编辑、股票基金实时报价、体育实况更新、视频会议/聊天、实时定位、在线教育、智能家居等,这些场景都与我们的生...

Anoyi
2017/11/17
0
0
Redis-redis异常解决以及日常命令:MISCONF Redis

由于主动停止爬虫造成的报错 近期集成了scrapy_redis和bloomfilter,但是在运行几分钟后,redis出现报错: MISCONF Redis is configured to save RDB snapshots, but is currently not able...

中乘风
07/13
0
0
Nginx学习之九:实践学习指南

Nginx基础 1. nginx安装 2. nginx 编译参数详解 3. nginx安装配置+清缓存模块安装 4. nginx+PHP 5.5 5. nginx配置虚拟主机 6. nginx location配置 7. nginx root&alias文件路径配置 8. ngxht...

boonya
2014/07/09
0
0
IDE中显示 *.properties 为中文

之前做过几个开源项目(极速开发微信公众号weixinguide以及IJPay 让支付触手可及),Demo中有涉及到一些配置文件。有些同学下载了之后反馈说有乱码。一个一个的耐心去回复很浪费时间以及精力现...

Javen205
2017/08/22
0
0
Redis企业级缓存策略之——Redis主从

一:企业常见的Redis主从架构 ①一主多从 ②一主多从从 二:主从复制的优点 (1)高可用性 在一个Redis集群中,如果master宕机,slave可以介入并取代master的位置,因此对于整个Redis服务来说...

云云毓
2017/12/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Mybatis中jdbcType和javaType的对应关系 

Mybatis中jdbcType和javaType的对应关系 1 JDBC Type Java Type 2 CHAR String 3 VARCHAR String 4 LONGVARCHAR String 5 NUMERIC java.math.BigDecimal 6 DECIMAL java.math.BigDecimal 7 ......

DemonsI
15分钟前
2
0
Python中字符串和datetime

遇到的问题: 今天在写一个爬虫时,需要将今天的数据和昨天、一周前的数据做比较。所以就需要一个方法可以方便的计算出指定日期的前几天的日期。比如10月3号,则一周前的日期是9月26号。 问题...

akane_oimo
18分钟前
1
0
企业级 SpringBoot 教程 (四)SpringBoot 整合JPA

JPA全称Java Persistence API.JPA通过JDK 5.0注解或XML描述对象-关系表的映射关系,并将运行期的实体对象持久化到数据库中。 JPA 的目标之一是制定一个可以由很多供应商实现的API,并且开发...

itcloud
19分钟前
1
0
白话SpringCloud | 第六章:Hystrix监控面板及数据聚合(Turbine)

前言 前面一章,我们讲解了如何整合Hystrix。而在实际情况下,使用了Hystrix的同时,还会对其进行实时的数据监控,反馈各类指标数据。今天我们就将讲解下Hystrix Dashboard和Turbine.其中Hys...

oKong
29分钟前
1
0
Java JDK 11:现在可以使用所有新功能

删除了CORBA,Java EE和JavaFX支持,但添加了十几个主要新功能 目录 哪里可以下载JDK 11 Java 11 JDK中的新功能 从Java JDK 11中删除了什么 Java Development Kit(JDK)11现已普遍可用,可供...

GuoMengyue
31分钟前
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部