【Redis】BigKey问题

面试题

海量数据里查询某一固定前缀的key

生产上如何限制 keys * / flushdb / flushall 等危险命令以防止误删误用?

MEMORY USAGE 命令用过吗?

BigKey问题,多大算big?如何发现?如何删除?如何处理?

BigKey你做过调优吗?惰性释放lazyfree了解过吗?

MoreKey问题,生产上Redis数据库有1000万条记录,如何遍历?

MoreKey案例

大批量往Redis中插入100万条测试数据

# 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

试试keys * 遍历查询花费多少秒?试试就逝世,足足花费了二十几秒!

生产上如何限制 keys * / flushdb / flushall 等危险命令以防止误删误用?

通过redis.conf配置文件设置禁用

不用keys * 应该用什么?SCAN

详情见官方文档:Redis SCAN 命令 递增地遍历key空间

SCAN cursor [MATCH pattern] [COUNT count]
  • cursor - 游标。

  • pattern - 匹配的模式。

  • count - 指定从数据集里返回多少元素,默认值为 10 。

什么是 Redis 增量遍历?SCAN 命令是一个基于游标的遍历器,每次被调用之后, 都会向用户返回一个新的游标, 用户在下次遍历时需要使用这个新游标作为 SCAN 命令的游标参数, 以此来延续之前的遍历过程。

SCAN 返回一个包含两个元素的数组, 第一个元素是用于进行下一次遍历的新游标, 而第二个元素则是一个数组, 这个数组中包含了所有被遍历的元素。当 SCAN 命令的游标参数被设置为 0 时, 服务器将开始一次新的遍历,而当服务器向用户返回值为 0 的游标时, 表示遍历已结束。

SCAN 命令是一个基于游标的迭代器,每次被调用之后, 都会向用户返回一个新的游标, 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数, 以此来延续之前的迭代过程。

非常特别,它不是从第一维数组的第零位一直遍历到末尾,而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历,是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

虽然 SCAN 命令不保证每次遍历所返回的元素数量, 但我们可以使用 COUNT 选项, 对命令的行为进行一定程度上的调整。 COUNT 选项的作用就是让用户告知遍历命令, 在每次遍历中应该从数据集里返回多少元素。虽然这个选项只是对增量式遍历命令的一种提示, 但是在大多数情况下, 这种提示都是有效的。

SCAN 返回一个包含两个元素的数组:

第一个元素是用于进行下一次迭代的新游标, 第二个元素则是一个数组, 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序

 

BigKey案例

多大算big

参考《阿里云Redisson开发规范》

string和二级结构

string是value,最大512MB,但是 ≥ 10KB 就是BigKey

list、hash、set、zset,个数超过5000就是BigKey(by the way,它们都可以存储超过40亿个元素)

危害

  1. 内存不均,集群迁移困难

  2. 大key导致超时删除

  3. 网络流量阻塞

如何产生

社交类:王心凌粉丝列表,典型案例粉丝逐步递增

汇总统计:某个报表,年月日经年累月的积累

如何发现

redis-cli --bigkeys

优点:给出每种数据结构Top 1 bigkey,同时给出每种数据类型的键值个数+平均大小

不足:想查询大于10kb的所有key,--bigkeys参数就无能为力了,需要用到memory usage来计算每个键值的字节数

redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys

# 每隔 100 条 scan 指令就会休眠 0.1s,ops 就不会剧烈抬升,但是扫描的时间会变长

redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

MEMORY USAGE key MEMORY USAGE key [SAMPLES count]

详情见官网:Redis MEMORY USAGE 命令 估计key的内存使用情况

MEMORY USAGE 命令给出一个 key 和它的值在 RAM 中所占用的字节数。

返回的结果是 key 的值以及为管理该 key 分配的内存总字节数。

对于嵌套数据类型,可以使用选项 SAMPLES,其中 count 表示抽样的元素个数,默认值为 5 。当需要抽样所有元素时,使用 SAMPLES 0

如何删除

参考《阿里云Redisson开发规范》

String

一般用del,过于庞大用unlink;

 

hash

使用hscan每次获取少量field-value,再使用hdel删除每个field。

命令:

阿里手册:

 

list

命令

阿里手册:

 

set

使用sscan每次获取部分元素,再使用srem命令删除每个元素

命令

阿里手册

 

zset

使用zscan每次获取部分元素,再使用 ZREMRANGEBYRANK 命令删除每个元素

命令

阿里手册

 

BigKey生产调优

redis.conf 配置文件 LAZY FREEING 相关说明

阻塞和非阻塞删除命令

优化配置

 

热门相关:苏医生,你笑起来很好看   娶一送一:爹地,放开我妈咪!   宝贝轻轻:总裁,用力爱!   重生真的很淡定   我有一张沾沾卡