Redis6.0的新特性

Redis 6.0版本中新出的多线程特性。

1 从单线程处理网络请求到多线程处理

在Redis 6.0中,非常受关注的第一个新特性就是多线程。这是因为,Redis一直被大家熟知的就是它的单线程架构,虽然有些命令操作可以用后台线程或子进程执行(比如数据删除、快照生成、AOF重写),但是,从网络IO处理到实际的读写命令处理,都是由单个线程完成的。

**Redis的多IO线程只是用来处理网络请求的,对于读写命令,Redis仍然使用单线程来处理。**这是因为,Redis处理请求时,网络处理经常是瓶颈,通过多个IO线程并行处理网络操作,可以提升实例的整体处理性能。而继续使用单线程执行命令操作,就不用为了保证Lua脚本、事务的原子性,额外开发多线程互斥机制了。

1.1 主线程和IO线程具体是怎么协作完成请求处理的?

可以把主线程和多IO线程的协作分成四个阶段。

1.1.1 阶段一:服务端和客户端建立Socket连接,并分配处理线程

首先,主线程负责接收建立连接请求。当有客户端请求和实例建立Socket连接时,主线程会创建和客户端的连接,并把 Socket 放入全局等待队列中。紧接着,主线程通过轮询方法把Socket连接分配给IO线程。

1.1.2 阶段二:IO线程读取并解析请求

主线程一旦把Socket分配给IO线程,就会进入阻塞状态,等待IO线程完成客户端请求读取和解析。因为有多个IO线程在并行处理。

1.1.3 阶段三:主线程执行请求操作

等到IO线程解析完请求,主线程还是会以单线程的方式执行这些命令操作。

主线程执行请求操作

1.1.4 阶段四:IO线程回写Socket和主线程清空全局队列

当主线程执行完请求操作后,会把需要返回的结果写入缓冲区,然后,主线程会阻塞等待IO线程把这些结果回写到Socket中,并返回给客户端。

和IO线程读取和解析请求一样,IO线程回写Socket时,也是有多个线程在并发执行,所以回写Socket的速度也很快。等到IO线程回写Socket完毕,主线程会清空全局队列,等待客户端的后续请求。

IO线程回写Socket和主线程清空全局队列

1.2 开启多线程

在Redis 6.0中,多线程机制默认是关闭的,如果需要使用多线程功能,需要在redis.conf中完成两个设置。

  1. 设置io-thread-do-reads配置项为yes,表示启用多线程。

io-threads-do-reads yes

  1. 设置线程个数

一般来说,线程个数要小于Redis实例所在机器的CPU核个数,例如,对于一个8核的机器来说,Redis官方建议配置6个IO线程。

io-threads 6

2 实现服务端协助的客户端缓存

和之前的版本相比,Redis 6.0新增了一个重要的特性,就是实现了服务端协助的客户端缓存功能,也称为跟踪(Tracking)功能。有了这个功能,业务应用中的Redis客户端就可以把读取的数据缓存在业务应用本地了,应用就可以直接在本地快速读取数据了。

不过,当把数据缓存在客户端本地时,我们会面临一个问题:如果数据被修改了或是失效了,如何通知客户端对缓存的数据做失效处理?

6.0实现的Tracking功能实现了两种模式,来解决这个问题。

2.1 普通模式

在这个模式下,实例会在服务端记录客户端读取过的key,并监测key是否有修改。一旦key的值发生变化,服务端会给客户端发送invalidate消息,通知客户端缓存失效了。

在使用普通模式时,服务端对于记录的key只会报告一次invalidate消息,也就是说,服务端在给客户端发送过一次invalidate消息后,如果key再被修改,此时,服务端就不会再次给客户端发送invalidate消息。

只有当客户端再次执行读命令时,服务端才会再次监测被读取的key,并在key修改时发送invalidate消息。这样设计的考虑是节省有限的内存空间。毕竟,如果客户端不再访问这个key了,而服务端仍然记录key的修改情况,就会浪费内存资源。

通过执行下面的命令,打开或关闭普通模式下的Tracking功能。

CLIENT TRACKING ON|OFF

2.2 广播模式

在这个模式下,服务端会给客户端广播所有key的失效情况,不过,这样做了之后,如果key 被频繁修改,服务端会发送大量的失效广播消息,这就会消耗大量的网络带宽资源。

所以,在实际应用时,我们会让客户端注册希望跟踪的key的前缀,当带有注册前缀的key被修改时,服务端会把失效消息广播给所有注册的客户端。

和普通模式不同,在广播模式下,即使客户端还没有读取过key,但只要它注册了要跟踪的key,服务端都会把key失效消息通知给这个客户端。

注册命令如下:

CLIENT TRACKING ON BCAST PREFIX user

普通模式和广播模式,需要客户端使用RESP 3协议,RESP 3协议是6.0新启用的通信协议。

2.3 RESP 2协议

对于使用RESP 2协议的客户端来说,就需要使用另一种模式,也就是重定向模式(redirect)。在重定向模式下,想要获得失效消息通知的客户端,就需要执行订阅命令SUBSCRIBE,专门订阅用于发送失效消息的频道_redis_:invalidate。同时,再使用另外一个客户端,执行CLIENT TRACKING命令,设置服务端将失效消息转发给使用RESP 2协议的客户端。

假设客户端B想要获取失效消息,但是客户端B只支持RESP 2协议,客户端A支持RESP 3协议。我们可以分别在客户端B和A上执行SUBSCRIBE和CLIENT TRACKING,如下所示:

//客户端B执行,客户端B的ID号是303
SUBSCRIBE _redis_:invalidate

//客户端A执行
CLIENT TRACKING ON BCAST REDIRECT 303

这样设置以后,如果有键值对被修改了,客户端B就可以通过_redis_:invalidate频道,获得失效消息了。

3 实例的访问权限控制列表功能(Access Control List,ACL)

3.1 从简单的基于密码访问到细粒度的权限控制

在Redis 6.0 版本之前,要想实现实例的安全访问,只能通过设置密码来控制,例如,客户端连接实例前需要输入密码。

此外,对于一些高风险的命令(例如KEYS、FLUSHDB、FLUSHALL等),在Redis 6.0 之前,我们也只能通过rename-command来重新命名这些命令,避免客户端直接调用。

Redis 6.0 提供了更加细粒度的访问权限控制,这主要有两方面的体现。

首先,6.0版本支持创建不同用户来使用Redis。在6.0版本前,所有客户端可以使用同一个密码进行登录使用,但是没有用户的概念,而在6.0中,我们可以使用ACL SETUSER命令创建用户。例如,我们可以执行下面的命令,创建并启用一个用户normaluser,把它的密码设置为“abc”:

ACL SETUSER normaluser on > abc

另外,6.0版本还支持以用户为粒度设置命令操作的访问权限。加号(+)和减号(-)就分别表示给用户赋予或撤销命令的调用权限。

假设我们要设置用户normaluser只能调用Hash类型的命令操作,而不能调用String类型的命令操作,我们可以执行如下命令:

ACL SETUSER normaluser +@hash -@string

除了设置某个命令或某类命令的访问控制权限,6.0版本还支持以key为粒度设置访问权限。

具体的做法是使用波浪号“~”和key的前缀来表示控制访问的key。例如,我们执行下面命令,就可以设置用户normaluser只能对以“user:”为前缀的key进行命令操作:

ACL SETUSER normaluser ~user:* +@all

4 启用RESP 3协议

Redis 6.0实现了RESP 3通信协议,而之前都是使用的RESP 2。在RESP 2中,客户端和服务器端的通信内容都是以字节数组形式进行编码的,客户端需要根据操作的命令或是数据类型自行对传输的数据进行解码,增加了客户端开发复杂度。

而RESP 3直接支持多种数据类型的区分编码,包括空值、浮点数、布尔值、有序的字典集合、无序的集合等。

所谓区分编码,就是指直接通过不同的开头字符,区分不同的数据类型,这样一来,客户端就可以直接通过判断传递消息的开头字符,来实现数据转换操作了,提升了客户端的效率。除此之外,RESP 3协议还可以支持客户端以普通模式和广播模式实现客户端缓存。

一条小咸鱼