[发明专利]数据同步方法、装置和分布式存储系统

说明书

本公开提供了一种数据同步方法、装置和分布式存储系统，属于数据存储技术领域。本公开提供的数据同步方法、装置和分布式存储系统，主存储设备将日志信息发送至从存储设备后，无需再将数据操作请求中的数据发送至从存储设备，以使从存储设备更新本地数据，节约了主存储设备与从存储设备之间的网络消耗，节省网络带宽。主存储设备在接收到从存储设备返回的写日志成功消息达到或超过预设阈值后，在主存储设备上启动数据操作请求对应的数据操作，当主存储设备完成数据操作时，向客户端发送数据操作成功通知。主存储设备无需等待从存储设备均完成数据更新操作后，再向客户端发送数据操作成功通知，提高了数据操作的效率，从而提高了用户体验。

技术领域

本公开涉及数据存储技术领域，尤其是涉及一种数据同步方法、装置和分布式存储系统。

背景技术

随着高清视频、图像处理、视频监控等技术的发展，用户数据容量逐渐增大，同时用户对存储数据的可靠性和性能的要求也在同步提高。目前分布式存储系统为保证存储数据的可靠性，通常采用多副本存储的方式，即一份用户数据被保存多份，当其中一份数据损坏时，可以从其它副本中获取数据，保证数据的高可靠。因此，一份数据的多份副本之间需要保持数据的一致性，即多份副本的数据需要同步更新。

分布式存储系统设置有客户端和多个存储设备，客户端可以理解为分布式存储系统的数据处理接口，该客户端与分布式存储系统的用户接口连接，用于接收来自用户接口的读/写数据等数据操作任务或向用户接口提供读/写数据等数据操作任务的处理结果。如果客户端接收到写数据任务，首先确定此次写数据任务的主存储设备，向主存储设备发送写数据请求。主存储设备收到写数据请求后，先在本地写日志，将日志推送至各个从存储设备。从存储设备将接收到的日志内容写入本地日志中，然后向主存储设备发送写日志成功通知。主存储设备收到所有从存储设备的写日志成功通知后，才开始写数据。主存储设备首先向本地数据区写入此次更新的数据，然后将本次写的数据发送给从存储设备。从存储设备将接收到的数据写入本地数据区后，向主存储设备发送写数据成功通知。主存储设备接收到所有从存储设备发送的写数据成功通知后，才通知客户端此处写数据任务完成。

上述主存储设备将数据推送至从存储设备的数据同步方式，占用了主存储设备与从存储设备之间的网络带宽。主存储设备需等待所有从存储设备均完成写数据之后，才通知客户端写数据任务完成，容易造成长尾效应，影响数据操作的效率。并且，由于主存储设备需要等待写数据任务完成之后，才能继续为客户端提供其它服务，数据操作的效率低，也会影响用户的其它业务。

发明内容

有鉴于此，本公开的目的在于提供一种数据同步方法、装置和分布式存储系统，可以节约主存储设备与从存储设备之间的网络消耗，同时提高数据操作的效率。

为了实现上述目的，本公开采用的技术方案如下：

第一方面，本公开提供了一种数据同步方法，应用于分布式存储系统中的主存储设备，所述方法包括：

接收客户端的数据操作请求，所述数据操作请求的操作类型包括写数据类型和/或修改数据类型；

根据所述数据操作请求的操作类型在本地日志系统添加日志信息；

将所述日志信息发送至所述数据操作请求对应的从存储设备；

接收各个所述从存储设备返回的写日志成功消息；

如果接收到的所述写日志成功消息达到或超过预设阈值，在所述主存储设备上启动所述数据操作请求对应的数据操作；

当所述主存储设备完成所述数据操作时，向所述客户端发送数据操作成功通知。

第二方面，本公开提供了一种数据同步方法，应用于分布式存储系统中的从存储设备，所述方法包括：

接收主存储设备发送的日志信息；其中，所述日志信息为所述主存储设备根据客户端的数据操作请求生成的日志信息；