Redis中模糊查找key

发表于 阅读次数： 本文字数： 2.2k 阅读时长 ≈ 2 分钟
前言

项目中有个需求，我存了很多类似的key，比如user:1,user:2,user:3…等等这种的，我需要同时把这些user开头的key查出来，实现的方式有两种，有个keys *命令 ,还有个scan命令，下面记录一下这两种方式

KESY 命令

时间复杂度: O(N) , 假设Redis中的键名和给定的模式的长度有限的情况下，N为数据库中key的个数。

Redis Keys 命令用于查找所有符合给定模式 pattern 的 key

尽管这个操作的时间复杂度是 O(N), 但是常量时间相当低。例如，在一个普通笔记本上跑Redis，扫描100万个key只要40毫秒

生产环境使用 KEYS 命令需要非常小心。在大的数据库上执行命令会影响性能。这个命令适合用来调试和特殊操作，像改变键空间keyspace布局。不要在你的代码中使用 KEYS 。如果你需要一个寻找键空间中的key子集，考虑使用SCAN 或 集合结构sets

不推荐用keys命令的原因

1、Redis是单线程的，其所有操作都是原子的，不会因并发产生数据异常

2、使用高耗时的Redis命令是很危险的，会占用唯一的一个线程的大量处理时间，导致所有的请求都被拖慢

警告

在生产环境中执行 KEYS 命令的时，因为Redis是单线程的，KEYS 命令的性能随着数据库数据的增多而越来越慢，使用 KEYS 命令时会占用唯一的一个线程的大量处理时间，引发Redis阻塞并且增加Redis的CPU占用，导致所有的请求都被拖慢，可能造成Redis所在的服务器宕机，情况是很恶劣的，在实际生产运用的过程中请忽略掉。试想如果Redis阻塞超过10秒，如果有集群的场景，可能导致集群判断Redis已经故障，从而进行故障切换。

​ 如果所有的线程在Redis那取不到数据，情况严重时可能会导致应用程序出现雪崩的情况，一瞬间全去数据库取数据，数据库就宕机了。

SCAN 命令

Redis从2.8版本开始支持scan命令，可以用来分批次扫描Redis记录，这样肯定会导致整个查询消耗的总时间变大，影响服务使用，但不会影响redis服务卡顿，SCAN命令的基本用法如下：

1
命令格式 SCAN cursor [MATCH pattern] [COUNT count]

SCAN 命令提供三个参数，第一个是cursor(游标)，第二个是要匹配的正则，第三个是单次遍历的槽位

SCAN 命令及其相关的 SSCAN 命令、 HSCAN 命令和 ZSCAN 命令都用于增量地迭代（incrementally iterate）一集元素（a collection of elements）：

  • SCAN 命令用于迭代当前数据库中的数据库键。
  • SSCAN 命令用于迭代集合键中的元素。
  • HSCAN 命令用于迭代哈希键中的键值对。
  • ZSCAN 命令用于迭代有序集合中的元素（包括元素成员和元素分值）。

以上列出的四个命令都支持增量式迭代，它们每次执行都只会返回少量元素，所以这些命令可以用于生产环境，而不会出现像 KEYS 命令、SMEMBERS 命令带来的问题 —— 当 KEYS 命令被用于处理一个大的数据库时，又或者 SMEMBERS 命令被用于处理一个大的集合键时，它们可能会阻塞服务器达数秒之久。

不过，增量式迭代命令也不是没有缺点的：举个例子，使用 SMEMBERS 命令可以返回集合键当前包含的所有元素，但是对于 SCAN 这类增量式迭代命令来说，因为在对键进行增量式迭代的过程中，键可能会被修改，所以增量式迭代命令只能对被返回的元素提供有限的保证（offer limited guarantees about the returned elements）。

程序中使用scan

不过多的介绍命令式的scan，因为这个确实用的不是太多，如有需要可自行搜索相关文章，下面说一下程序中如何使用scan命令，我使用的是 spring data redis中的redisTemplete

1
redisTemplate.keys(pattern) // 这是keys命令的使用方式，但是不推荐用，原因上面说过了

下面是我项目中封装的一个scan方法

1
2
3
4
5
6
7
8
9
10
private Set<String> scanKeys(String keyPrefix) {
    return redisTemplate.execute((RedisCallback<Set<String>>) connection -> {
        Set<String> keysTmp = new HashSet<>();
        Cursor<byte[]> cursor = connection.scan(ScanOptions.scanOptions().match(keyPrefix + "*").count(5000).build());
        while (cursor.hasNext()) {
            keysTmp.add(new String(cursor.next()));
        }
        return keysTmp;
    });
}

一般我们用游标Cursor的时候都会进行关闭，但是这里一定不要关闭，否则会报异常

count是每次扫描的key个数，并不是结果集个数。count要根据扫描数据量大小而定，Scan虽然无锁，但是也不能保证在超过百万数据量级别搜索效率；count不能太小，网络交互会变多，count要尽可能的大。在搜索结果集1万以内，建议直接设置为与所搜集大小相同