Redis 常见集群方案

戳蓝字「TopCoder」关注我们哦！

编者注： 笔者整理了一份【Redis不完全指南】，包含了很多详细的知识点和Redis经典面试题，可关注「TopCoder」公众号，发送 Redis 来获取~

随着Redis中保存数据越来越多，单个Redis节点已不堪负重，需要引入Redis集群方案，Redis常见集群方案有： client分片方案、基于代理方案、redis cluster方案。

基于代理的方案一般也是基于分片或者redis cluster方案，不过对于client端来说是无感知的。 从本质上来说，这三种实现方案都是以分片为实现基础： 分片是分割数据到多个redis实例的过程，差别是分片动作发生在client端、代理端还是redis server端。

通过分片，通过利用多台机器内存/存储的和值，来构造更大的数据存储，这一思想在分布式中使用较为广泛，比如分库分表、ES路由等。

client分片方案

client分片是由客户端决定key写入或者读取的节点，包括jedis在内的一些客户端，实现了客户端分片机制。 客户端分片原理图如下：

client分片方案简单性能较高，分片方案对redis server端无感知，每个redis实例是独立的。 缺点是不支持动态增删节点，redis高可用需要redis本身机制来保证，比如redis sentinel，并且还需要让client感知到最新的master信息。

client分片一个经典实现是jedis中的SharedJedis，使用SharedJedis来实现分布式缓存,ShardedJedis通过一致性哈希来实现分布式缓存的，通过一定的策略把不同的key分配到不同的redis server上，达到横向扩展的目。 使用了SharedJedis，一些redis命令就不能再使用了，比如pipeline命令，因为一组rdis命令可能涉及多个redis实例。 关于pipeline更多资料可参考： 如何用好redis pipeline ，关于一致性哈希可参考： Redis常见问题指北 。

代理方案

可使用代理服务中间件比如Twemproxy，是一个twtter开源的一个redis和memcache代理服务器。 Twemproxy 通过引入一个代理层，可以将其后端的多台 Redis 或 Memcached 实例进行统一管理与分配，使应用程序只需要在 Twemproxy 上进行操作，而不用关心后面具体有多少个真实的 Redis 或 Memcached 存储。

Twemproxy支持失败节点自动删除（redis作为cache场景）、支持设置HashTag、可减少client直接与redis连接数、自动分片到后端多个redis实例上和避免单点等。 Twemproxy缺点是还不支持Redis的事务操作等。除了 Twemproxy ，还有一款代理中间件：Codis——豌豆荚开源的Redis分布式中间件，其和Twemproxy相比，有诸多激动人心的新特性，并支持从Twemproxy无缝迁移至Codis。

redis cluster方案

Redis cluster是Redis提供的分布式解决方案，集群通过分片（sharding）进行数据共享，并提供复制和故障转移功能。 Redis默认对key使用crc16算法计算hash，得到一个整数值，然后取余槽个数(默认16384)得到对应槽号。

Redis集群是由多个节点（Node）组成的，刚开始每个节点都是独立的，运行在只包含自己一个节点的集群中，将多个节点连接起来，就构成了一个包含多个节点可用的集群。 连接各个独立节点的功能是由  cluster meet <ip> <port>  完成的。

Redis集群通过分片来保存数据库中的键值对，集群的整个数据库被分为16384个槽（slot），数据库中每个键都属于16384个槽中的一个，每个节点处理0个或者最多16384个槽。 只有当16384个槽都有节点来存储，整个集群才会处于在线状态。 通过使用  culster addslots <slot> [slot ..]  命令将一个或者多个槽指派给某个节点负责。

在对数据库中16384个节点都进行指派后，集群就可以开始工作了，当客户端向集群中节点发送命令时，会首先计算数据库键对应的槽（涉及到crc16函数），并检查 clusterState.slots 数组，来判断该槽位号是否指派给了自己，如果指派给了自己则直接执行命令，否则会向客户单返回一个MOVE错误命令，引导客户端转向到正确的节点继续执行该命令。 MOVE错误命令中包含了正确节点的IP和PORT信息，格式为 moved <slot> <ip>:<port> 。 节点和单机数据库一个重要的区别就是cluster节点只能使用0号数据库，而单机Redis服务器没有这个限制。 节点除了将键值对保存在数据库里面之外，还会用clusterState结构中的slots_to_keys跳跃表来保存键和槽之间的关系。

对Redis进行重新分片的工作是由redis-trab负责执行的，重新分片的关键是如何将原来属于一个节点的数据转移到另一个节点上。 如果节点A正在转移槽i的数据到节点B，那么节点A没能在自己的服务器上找到指定的数据库键时，会向客户端返回一个ASK错误，指引客户端到节点B上去获取数据。 MOVE表示当前节点不处理要查询键对应的槽位号，需到另一个节点去继续查询； 而ASK错误只是在重新分片过程中使用的临时手段而已。