[发明专利]基于IPFS的分布式实时数据同步方法、节点设备及系统

说明书

本发明提供一种基于IPFS的分布式实时数据同步方法、节点设备及系统，所述系统包括：若干同步服务节点及集成SDK，其中，所述同步服务节点基于Fastdfs集群中的Fastdfs storage节点进行分布式部署，所述Fastdfs storage节点用于提供业务数据文件存储服务；针对每一Fastdfs storage节点，在同一主机进行IPFS节点的部署，所述IPFS节点用于为所述Fastdfs集群提供跨公网的私有p2p网络；所述集成SDK，通过Fastdfs文件消息监听服务、同步逻辑业务处理服务、消息主题服务为所述同步服务节点提供相对应业务功能，实现跨公网的不同内网之间的数据实时同步。本发明还提供一种基于IPFS的分布式实时数据同步方法，通过本发明解决了Fastdfs跨公网安全传输问题、Fastdfs实时传输问题和Fastdfs文件同步效率问题。

技术领域

本发明涉及分布式文件系统技术领域，具体涉及一种基于IPFS的分布式实时数据同步方法、节点设备及系统。

背景技术

Fastdfs分布式文件系统，致力于实现文件操作的高可用、高并发，特别适合中小文件的存储操作，以其特有的轻量级、分组存储与对等结构这三大特点，被国内各大企业广泛应用。Fastdfs由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。

在实际使用中，Fastdfs集群的Storage节点用来存储实际的数据，多个Storage可为一组，组内进行冗余备份、负载均衡，同组内服务器上的文件是完全相同的。文件上传、删除等操作可以在任意一台存储服务器(Storage Server)上进行。当上传文件到某一个存储服务器(Storage Server)时，存储服务器(Storage Server)会启动线程向同组内其他storage同步该文件。

一般情况下，Fastdfs storage节点部署在企业内网，当企业规模较大时，可能需要多个企业内网之间进行数据的存储和同步。但是这些同组内的存储服务器(StorageServer)一般都是部署在同一内网，没有对外开放接口，对于跨公网的ip传输方式是一个问题，即处于不同内网中的存储服务器(Storage Server)之间无法实现数据同步。假如直接暴露存储服务器(Storage Server)相关接口到公网访问，则数据和内网安全无法得到保证。同时由于其自身的内网同步机制为采用单线程直接同步文件，对于较大文件，跨公网传输时存在文件传输效率较低影响实时数据同步进度的问题。

发明内容

针对上述背景技术中提到的缺陷，本发明提出了一种基于IPFS的分布式实时数据同步方法、节点设备及系统，用以解决以下三个问题：Fastdfs跨公网以及安全通信问题、较大文件同步传输效率问题及Fastdfs实时数据同步的问题。

为了实现上述目的，本发明第一方面提供一种基于IPFS的分布式实时数据同步方法，包括以下步骤：

步骤S1，配置同步服务节点：在每个Fastdfs storage节点所属主机部署IPFS节点，以创建跨公网的私有p2p网络；

步骤S2，部署集成SDK，初始化所述集成SDK，加载Fastdfs存储目录到所述IPFS节点，通过IPFS节点订阅所有Fastdfs二级目录主题；

步骤S3，所述集成SDK实时监听Fastdfs storage 文件事件；

步骤S4，在所述集成SDK监听到Fastdfs storage 文件事件后，添加事件对应的文件所在的Fastdfs二级存储目录到IPFS节点，生成新的IPFS CID；

步骤S5，集成SDK依据监听到的Fastdfs storage 文件事件类型，判断是否将消息发布到特定订阅主题；所述特定订阅主题的消息内容包括事件类型、Fastdfs fileId、时间戳和IPFS CID；