Redis主从复制原理图解

一、什么是主从复制

主从复制是指用户可以搭建多个服务器,其中几个服务器当做主服务器,提供写功能。其余的服务器当做从服务器,提供读功能。

每当主服务器收到写请求时,同时需要把数据发送给从服务器。保证主从服务器的数据保持「最终一致性」

利用这个机制,可以利用廉价的服务器搭建高可用,高并发集群。主从复制是搭建高可用集群的必备利器。

二、Redis怎么实现主从复制

2.1 slaveof

在Redis中可以使用slaveof命令让一个Redis实例去复制另一个Redis实例的内容。

「这里需要注意当A实例执行该命令去复制B实例的内容后,以前A实例的内容都将被B实例的内容覆盖」

同时在从服务器将被设置为只读,向从服务器发送写命令时,将被拒绝。(也可以在redis.conf中配置该命令,启动时就发起主从同步)

2.2 主从复制的原理V1

当从服务器发起slaveof命令后,主从服务器之间通过TCP长连接进行通信,主要是以下步骤:

图片[1]-Redis主从复制原理图解-不念博客

第一次完整的主从同步就完成了。然后主从之间会维持TCP连接,每次master收到新的写命令后,都会发给从服务器。

如果期间连接断了,当从服务器重新连上主服务器后,上述的步骤会重新来一遍。

可以发现这是很低效的,因为主服务器只需要把断连期间的写入命令发给从服务器就可以了,不需要重新生成RDB文件。(生成RDB文件是一个耗时操作,设计磁盘的读写)。

注意:从服务器在加载RDB文件过程中是阻塞的,无法处理客户端的请求。

2.3 主从复制的原理V2

基于上述原因(特别是断线时间特别短时),Redis推出了新的同步命令「psync」

psync将同步过程分为了两块:1、完整同步;2、部分同步。

「完整同步」也叫初次同步,也就是第一次主从同步。步骤跟v1上述是一致的。

「部分同步」主要用户断线重连后的同步,它可以将断线期间的写入命令发送给从服务器,而不需要整个RDB文件,极大的节约了资源。当从服务器重新连接了主服务器后,会发送psync命令,然后主服务器回复continue命名,并且发送缺少的写入命令到从服务器。

2.3.1 部分同步原理

redis完成部分同步功能主要依赖于以下部分:

1、主服务器的复制偏移量

2、从服务器的复制偏移量

3、命令缓存区(FIFO队列,默认大小1MB)

4、服务器运行Id

每次主服务器向从服务器传递N个字节命令后,就在把自己的偏移量+N。从服务器同理。

同时主服务器还会将命令写入到命令缓存区里。当从服务器重连是发生如下步骤:

图片[2]-Redis主从复制原理图解-不念博客

每个Redis都有自己的唯一标识Id。在启动时自动生成,由40个随机的十六进制字符组成。

当发送第一次主从同步时,master会将自己的id发送会从服务器,从服务器会将其保存起来。

断线重连时,从服务器请求同步时还会将这个id发送给主服务器,主服务器判断该id与自己的id是否一致,如果一致则继续执行部分同步的剩余步骤。否则执行完整同步。

2.4 心跳检测

主从服务器建立连接后,默认每隔1秒,从服务器会想主服务器发送REPLCONF_ACK <offset>报告自己的状态。

主服务器可以从这个命令中检测出几个问题:

1、主从之间的网络连接状态

如果主服务器在规则时间内没有收到从服务器的心跳命令,就可以认为主从之间出现了问题。这个时候如果配置了

min-slaves-to-write 3
min-slaves-max-lag 10

//如果从服务器数小于3或者3个服务器的心跳检测延迟值都大于等于10秒,主服务器将拒绝写命令

2、检测新的写命令是否丢失

每次主服务器收到从服务器心跳命令里的offset时,都会与自己的offset进行比较,如果小于自己的。

那么可以知道某次传递的「写命令在网络上丢失或者从服务器加载失败」,这个时候主服务器会主动将这部分缺少的命令发送给从服务器(需要缺失命令还在缓存区,如果不在猜测应该是发起一次完整同步,未验证过)。

3、辅助实现min-slaves

2.5 备注

主从服务器建立套接字连接后,从服务器首先会发起Ping命令检测套接字的读写是否正常。

收到主服务器的Pong命令后证明正常。

然后在判断主服务器是否需要身份认证,发起密码。

然后进行复制流程。

© 版权声明
THE END
喜欢就支持一下吧
点赞120赞赏 分享
评论 抢沙发
头像
欢迎光临不念博客,留下您的想法和建议,祝您有愉快的一天~
提交
头像

昵称

取消
昵称

    暂无评论内容