文档章节

在RedisTemplate中使用scan代替keys指令

xiaolyuh
 xiaolyuh
发布于 02/22 12:16
字数 1020
阅读 3.7K
收藏 6

SCAN 简介

SCAN 命令及其相关的 SSCAN 命令、 HSCAN 命令和 ZSCAN 命令都用于增量地迭代(incrementally iterate)一集元素(a collection of elements):

  • SCAN 命令用于迭代当前数据库中的数据库键。
  • SSCAN 命令用于迭代集合键中的元素。
  • HSCAN 命令用于迭代哈希键中的键值对。
  • ZSCAN 命令用于迭代有序集合中的元素(包括元素成员和元素分值)。

基本用法可以参考:http://doc.redisfans.com/key/scan.html

SCAN和KEYS的区别

当 KEYS 命令被用于处理一个大的数据库时, 又或者 SMEMBERS 命令被用于处理一个大的集合键时, 它们会锁定redis库, 可能会阻塞服务器达数秒之久。在高并发下会导致请求大量堆积进而导致服务雪崩。有些公司在生产环境直接禁用kyes *命令。但是在redis服务器key的数量不大的情况下,使用keys也是没啥问题的。

SCAN 命令及其相关的 SSCAN 命令、 HSCAN 命令和 ZSCAN 命令都用于增量地迭代 ,它们每次执行都只会返回少量元素,不会阻塞服务器, 所以这些命令可以用于生产环境, 而不会出现像 KEYS 命令、 SMEMBERS 命令带来的问题。

SCAN一样有它自己的问题:

  1. 因为是分段获取key,所以它会多次请求redis服务器,这样势必取同样的key,scan耗时更长。
  2. 在对键进行增量式迭代的过程中, 键可能会被修改, 所以增量式迭代命令只能对被返回的元素提供有限的保证。

SCAN cursor [MATCH pattern] [COUNT count]

使用SCAN代替KEYS

/**
 * redis扩展工具
 *
 * @author yuhao.wang3
 * @since 2020/2/21 23:35
 */
public abstract class RedisHelper {
    private static Logger logger = LoggerFactory.getLogger(RedisHelper.class);

    /**
     * scan 实现
     *
     * @param redisTemplate redisTemplate
     * @param pattern       表达式,如:abc*,找出所有以abc开始的键
     */
    public static Set<String> scan(RedisTemplate<String, Object> redisTemplate, String pattern) {
        return redisTemplate.execute((RedisCallback<Set<String>>) connection -> {
            Set<String> keysTmp = new HashSet<>();
            try (Cursor<byte[]> cursor = connection.scan(new ScanOptions.ScanOptionsBuilder()
                    .match(pattern)
                    .count(10000).build())) {

                while (cursor.hasNext()) {
                    keysTmp.add(new String(cursor.next(), "Utf-8"));
                }
            } catch (Exception e) {
                logger.error(e.getMessage(), e);
                throw new RuntimeException(e);
            }
            return keysTmp;
        });
    }
}

源码分析

我看到网上很多文章说这种实现方式cursor 只会被执行一次,其实这是错误的,使用这种方式cursor 会将所有的符合条件的key都返回回来,他只是将游标的移动给封装了起来而已,真正执行查询的语句起始在cursor.hasNext()里面,源码如下:

/*
 * (non-Javadoc)
 * @see java.util.Iterator#hasNext()
 */
@Override
public boolean hasNext() {

    assertCursorIsOpen();
	// 存放结果集的容器没有值,并且游标状态是未完成的时候进行Scan动作
    while (!delegate.hasNext() && !CursorState.FINISHED.equals(state)) {
        scan(cursorId);
    }

	// 如果结果容器还有值直接返回true,进行循环
    if (delegate.hasNext()) {
        return true;
    }
	
	// 如果结果容器没有值,但是游标不为0则表示还有值,需要进行下一次循环
    if (cursorId > 0) {
        return true;
    }

    return false;
}

private void scan(long cursorId) {
	// 进行scan操作
    ScanIteration<T> result = doScan(cursorId, this.scanOptions);
	// 结果集处理
    processScanResult(result);
}


private void processScanResult(ScanIteration<T> result) {

    if (result == null) {
		// 重置结果集容器
        resetDelegate();
		// 设置游标状态为完成
        state = CursorState.FINISHED;
        return;
    }
	// 获取当前游标位置
    cursorId = Long.valueOf(result.getCursorId());

    if (isFinished(cursorId)) {
		// 游标返回0,设置游标状态为完成
        state = CursorState.FINISHED;
    }

    if (!CollectionUtils.isEmpty(result.getItems())) {
		// 将查询结果放到容器中
        delegate = result.iterator();
    } else {
        resetDelegate();
    }
}

由上面源码我们可以看到游标的移动是在processScanResult()方法中完成。通过state来记录当前游标状态,大致过程为:

  1. 当存放结果集的容器没有值,并且游标状态是未完成的时候进行Scan动作
  2. 如果结果容器还有值直接返回true,进行循环
  3. 如果结果容器没有值,但是游标不为0则表示还有值,需要进行下一次循环

© 著作权归作者所有

xiaolyuh

xiaolyuh

粉丝 109
博文 154
码字总数 263287
作品 2
成都
高级程序员
私信 提问
加载中

评论(0)

在RedisTemplate中使用scan代替keys指令

这个命令千万别在生产环境乱用。特别是数据庞大的情况下。因为Keys会引发Redis锁,并且增加Redis的CPU占用。很多公司的运维都是禁止了这个命令的 当需要扫描key,匹配出自己需要的key时,可以...

物种起源-达尔文
2019/08/30
523
0
Redis中的Scan命令的使用

Redis中有一个经典的问题,在巨大的数据量的情况下,做类似于查找符合某种规则的Key的信息,这里就有两种方式, 一是keys命令,简单粗暴,由于Redis单线程这一特性,keys命令是以阻塞的方式执...

MSSQL123
2019/05/31
0
0
如何访问redis中的海量数据?避免事故产生

前言 有时候我们需要知道线上的redis的使用情况,尤其需要知道一些前缀的key值,让我们怎么去查看呢?今天分享一个小知识点 事故产生 因为我们的用户 token 缓存是采用了【user_token:userid...

Oo若离oO
2019/09/02
102
0
Spring 集成Redis

《整合 spring 4(包括mvc、context、orm) + mybatis 3 示例》一文简要介绍了最新版本的 Spring MVC、IOC、MyBatis ORM 三者的整合以及声明式事务处理。现在我们需要把缓存也整合进来,缓存我...

说回答
2017/12/14
60
0
Shiro总结一会话,缓存管理,RememberMe

Shiro 会话管理 所谓会话,即用户访问应用时保持的连接关系,在多次交互中应用能够识别出当前访问的用户是谁,且可以在多次交互中保存一些数据。如访问一些网站时登录成功后,网站可以记住用...

大笨象会跳舞吧
2019/03/20
243
0

没有更多内容

加载失败,请刷新页面

加载更多

如何从Joomla垃圾箱中删除文章

Joomla允许您删除文章,但是除非您采取其他步骤,否则它不会永久删除它们。 Joomla的垃圾桶类似于PC和Mac的垃圾桶。将项目发送到垃圾桶是可以撤消的操作。 在这个简短的教程中,我将向您展示...

六艺网络专注于Joomla
53分钟前
37
0
图解kubernetes命令执行核心实现

K8s中的命令执行由apiserver、kubelet、cri、docker等组件共同完成, 其中最复杂的就是协议切换以及各种流拷贝相关,让我们一起来看下关键实现,虽然代码比较多,但是不会开发应该也能看懂,祝你...

8小时
58分钟前
29
0
sh和bash之间的区别 - Difference between sh and bash

问题: When writing shell programs, we often use /bin/sh and /bin/bash . 在编写shell程序时,我们经常使用/bin/sh和/bin/bash 。 I usually use bash , but I don't know what's the d......

技术盛宴
今天
39
0
spring - 使用profile来管理环境信息

程序一般都会有开发环境、测试环境以及线上环境,这些环境下程序运行依赖的基础一般不同,例如在有数据源访问的程序中,开发时可能使用了嵌入式数据库,而到测试环境上会使用独立的mysql,正...

閒散人員
今天
21
0
如何实现项目流程自动化

多人协作复杂的任务,团队成员间的分工和沟通就非常必要。现在Zoho projects 项目管理软件中,配合使用蓝图功能,讲让工作事半功倍。 蓝图功能可以解决繁琐的邮件沟通问题,并使任务更加有序...

Zoho云服务
今天
37
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部