[发明专利]分布式数据处理方法、装置及设备

权利要求书

1.一种分布式数据处理方法，包括：

确定目标图数据中当前参与数据处理的活跃顶点集合；其中，所述目标图数据基于多个关联的目标事件的事件信息生成，所述目标图数据的每个顶点对应所述事件信息中的一个事件要素；

若第一分布式节点的外存中保存有所述活跃顶点集合中的任意活跃顶点，则根据与所述活跃顶点集合相匹配的目标数据处理模式确定待更新顶点；所述第一分布式节点为分布式系统中的任意分布式节点；

根据所述外存中的所述任意活跃顶点的第一数据，向所述待更新顶点所在的目标分布式节点发送第一更新消息，所述第一更新消息用于所述目标分布式节点对其外存中的所述待更新顶点的第二数据进行更新处理。

2.根据权利要求1所述的方法，所述确定目标图数据中当前参与数据处理的活跃顶点集合之前，还包括：

接收指定设备发送的分片数据和目标图数据的属性信息，所述分片数据由所述指定设备按照预设的数据划分方式对所述目标图数据进行划分处理所得；

将所述分片数据和所述属性信息保存至所述第一分布式节点的外存中；

或者，

若确定所述第一分布式节点具有预处理权限，则根据预设的数据划分方式对所述目标图数据进行划分处理，得到待分配给所在分布式系统中的每个分布式节点的分片数据；

将所述分片数据和所述目标图数据的属性信息发送给所述分布式系统中的每个分布式节点，以使所述分布式节点将所述分片数据和所述属性信息保存至外存中。

3.根据权利要求2所述的方法，所述顶点包括入点和出点，所述目标图数据的每条边连接具有关联关系的所述顶点；将所述目标图数据中的每条边确定为有向边，所述有向边由所述入点指向所述出点；所述有向边是所述入点的出边，所述有向边是所述出点的入边；

所述分片数据包括划分的顶点子集、所述顶点子集中各顶点的入边所对应的入边集合、所述顶点子集中各顶点的出边所对应的出边集合、所述顶点子集中每个顶点的主备份、与所述顶点子集中每个顶点构成所述有向边的顶点的镜像备份；其中，所述主备份包括相应顶点所对应的事件要素的要素数据，所述镜像备份用于传递消息；

所述属性信息包括所述目标图数据的边的第一数量、所述目标图数据中每个顶点的出边的第二数量。

4.根据权利要求3所述的方法，所述方法还包括：

根据预设的计算方式计算所述活跃顶点集合的稠密度；

根据所述稠密度，确定预设的推动数据处理模式和拉动数据处理模式中与所述活跃顶点集合相匹配的目标数据处理模式。

5.根据权利要求4所述的方法，所述根据预设的计算方式计算所述活跃顶点集合的稠密度，包括：

统计所述活跃顶点集合中活跃顶点的第三数量；

根据所述第二数量统计所述活跃顶点集合中各活跃顶点的出边的总数量，将所述总数量确定为第四数量；

根据预设的计算方式，基于所述第三数量和所述第四数量计算所述活跃顶点集合的稠密度；

所述根据所述稠密度，确定预设的推动数据处理模式和拉动数据处理模式中与所述活跃顶点集合相匹配的目标数据处理模式，包括：

根据所述第一数量确定比对稠密度，确定所述活跃顶点集合的稠密度是否不小于所述比对稠密度；

若是，则将所述拉动数据处理模式确定为所述目标数据处理模式；

若否，则将所述推动数据处理模式确定为所述目标数据处理模式。

6.根据权利要求4所述的方法，所述根据与所述活跃顶点集合相匹配的目标数据处理模式确定待更新顶点，包括：

若确定所述目标数据处理模式为所述推动数据处理模式，则根据所述第一分布式节点的外存中保存的所述出边集合和所述镜像备份，确定所述任意活跃顶点作为所述入点时所对应的目标出点；

将所述目标出点确定为所述待更新顶点；

所述根据所述外存中的所述任意活跃顶点的第一数据，向所述待更新顶点所在的目标分布式节点发送第一更新消息，包括：

从所述第一分布式节点的外存中获取所述任意活跃顶点的第一数据；

确定所述待更新顶点和所述待更新顶点的镜像备份所在的目标分布式节点；

根据所述任意活跃顶点的顶点信息和所述第一数据，向所述目标分布式节点发送第一更新消息。