[发明专利]一种基于星型分布式系统的文件同步方法

说明书

技术领域

本发明涉及计算机网络数字化处理技术领域，具体涉及一种基于星型分布式系统的文件同步方法。

背景技术

受网络条件、实施等各方面的影响，大型的应用系统一般需要采用分布式部署的策略，即将核心业务部署在中心节点上，非核心业务部署在分级节点上，中心节点通过网络与分支节点通信完成业务，分解高并发、带宽等给系统带来的限制。按该模式部署的系统，部分资源、文件不再集中式存储，而是存储在各分支节点上，也就是说各节点上都存储了部分完成业务所必须的资源、文件副本。这些文件资源副本在每一个节点上不尽相同，于是如何同步这些节点的文件副本就成为一个难题。

现有技术中，这种分布式系统一般采用星型的拓扑结构，各分支节点围绕中心节点展开业务流程和处理，自然文件的同步处理也需要建立在该拓扑结构的基础上，由中心节点采用监听器感知文件系统的变化并记录，各分支节点查询是否有更新，然后从中心文件系统同步文件。该系统的结构简单、容易实现、便于管理，连接点的故障容易监测和排除。但是其缺点也是明显的，中心结点是全网络的可靠瓶颈，同时在分支节点比较多的情况下，中心的高并发风险将给全系统的效率带来难以逾越的障碍。

发明内容

针对现有技术在文件同步方面所存在的缺陷，本发明在星型拓扑部署的分布式系统的基础上，提供了一种缓解高并发风险的文件同步方法，加快了文件同步业务在全系统内的流转。

本发明解决上述技术问题所采用的技术方案如下所描述：

一种基于星型分布式系统的文件同步方法，包括以下步骤：

(1)中心节点记录每一个分支节点需要同步的文件；

(2)系统启动时，中心节点初始化所有可用文件的下载源；

(3)分支节点每隔固定时间向中心节点查询自己的任务；

(4)中心节点收到任务请求之后，选定目标文件作为任务输出给分支节点，同时查询该目标文件可用的下载源，选择当前负载最小的节点，随目标文件一起返回分支节点；

(5)分支节点处理完毕之后，向中心节点汇报任务完成，同时将自己作为下载源一同汇报；

(6)中心节点收到任务处理完毕汇报后，更新相关任务的状态，同时将该分支节点作为目标文件的新的下载源。

进一步，步骤(3)中所述的固定时间为可配置项，根据单个文件同步处理的最大时间来配置。

进一步，步骤(4)中，中心节点任务输出方法包括以下步骤：

(a)中心节点收到任务请求之后，对请求的任务进行解析并查找相应的任务，如果中心节点找不到所请求的任务，则结束，否则转入步骤b；

(b)选定目标文件作为任务输出给分支节点，同时查询该目标文件可用的下载源，即任意一个能够提供该文件下载的节点，如果找不到可用的下载源，则结束，否则转入步骤c；

(c)判断全部节点是否满负载，如果是，则结束，否则选择当前负载最轻的节点，更新任务状态，目标节点负载加1，增加下载节点明细，随目标文件一起返回分支节点。

进一步，步骤(5)中，中心节点任务完成汇报方法包括以下步骤：

步骤1，中心节点收到任务处理完毕回报后，则检查该任务是否已成功完成，如果已经成功完成，则转入步骤2，否则转入步骤4；

步骤2，删除该任务，使下载负载节点减1，并删除下载节点负载明细，然后判断当前节点是否能够成为新的下载源，如果能，转入步骤3，否则直接结束；

步骤3，登记当前完成的节点为新的下载源，判断是否需要为当前节点初始化负载，如果需要，则初始化当前节点的空负载，不需要，则结束，如果当前节点不能成为新的下载源；

步骤4，更新任务状态为失败，使下载节点负载减1，并删除下载节点负载明细，结束。

进一步，步骤(6)中，中心节点任务更新的方法包括以下步骤：

1)中心节点遍历任务处理明细，检查任务处理时间是否超时，如果没有超时，则结束，否则转入步骤2；

2)更新任务状态为失败，使对应节点负载减1，并删除对应任务处理明细。

本发明的效果在于：本发明所述的方法由于建立在星型拓扑部署的分布式系统的基础上，采用以下策略控制文件同步：

1)中心节点提供任务完成处理策略，记录文件完成的分支节点为新的下载源，这样对单个文件可用的下载源比较多。

2)中心节点提供任务输出策略，选择当前负载最轻的分支节点作为下载源提供给请求任务方，这样各个可用下载源的负载基本均衡。