[发明专利]分布式数据处理方法、装置及设备

说明书

本说明书实施例提供了一种分布式数据处理方法、装置及设备，其中方法包括：确定目标图数据中当前参与数据处理的活跃顶点集合，若第一分布式节点的外存中保存有活跃顶点集合中的任意活跃顶点，则确定预设的多个数据处理模式中与活跃顶点集合相匹配的目标数据处理模式；根据目标数据处理模式，确定与任意活跃顶点具有关联关系的待更新顶点；根据第一分布式节点的外存中的该任意活跃顶点的第一数据，向待更新顶点所在的目标分布式节点发送第一更新消息，以使目标分布式节点根据第一更新消息对其外存中的待更新顶点的第二数据进行更新处理。

本专利申请是申请号：202111218593.5，申请日：2021年10月20日，发明名称“分布式数据处理方法、装置及设备”的中国专利申请的分案申请。

技术领域

本文件涉及数据处理技术领域，尤其涉及一种分布式数据处理方法、装置及设备。

背景技术

由于单机内的数据处理方式不涉及网络通信和数据交互，因此具有数据处理简单方便、性能高等优点。基于此优点，单机内的数据处理方式也成为了当前主流的数据处理方式。然而，随着互联网技术的飞速发展，各行各业的数据规模呈现剧增态势，数据处理需要较多资源，当前主流的单机内的数据处理方式由于资源有限，已无法满足当前大数据的处理需求。

发明内容

本说明书一个或多个实施例提供了一种分布式数据处理方法。该方法包括确定目标图数据中当前参与数据处理的活跃顶点集合。其中，所述目标图数据基于多个关联的目标事件的事件信息生成。所述目标图数据的每个顶点对应所述事件信息中的一个事件要素。若第一分布式节点的外存中保存有所述活跃顶点集合中的任意活跃顶点，则根据与所述活跃顶点集合相匹配的目标数据处理模式确定待更新顶点。所述第一分布式节点为分布式系统中的任意分布式节点。根据所述外存中的所述任意活跃顶点的第一数据，向所述待更新顶点所在的目标分布式节点发送第一更新消息。所述第一更新消息用于所述目标分布式节点对其外存中的所述待更新顶点的第二数据进行更新处理。

本说明书一个或多个实施例提供了一种分布式数据处理装置。该装置包括第一确定模块，确定目标图数据中当前参与数据处理的活跃顶点集合。其中，所述目标图数据基于多个关联的目标事件的事件信息生成。所述目标图数据的每个顶点对应所述事件信息中的一个事件要素。该装置还包括第三确定模块，若第一分布式节点的外存中保存有所述活跃顶点集合中的任意活跃顶点，则根据与所述活跃顶点集合相匹配的目标数据处理模式确定待更新顶点。所述第一分布式节点为分布式系统中的任意分布式节点。该装置还包括发送模块，根据所述外存中的所述任意活跃顶点的第一数据，向所述待更新顶点所在的目标分布式节点发送第一更新消息。所述第一更新消息用于所述目标分布式节点对其外存中的所述待更新顶点的第二数据进行更新处理。

本说明书一个或多个实施例提供了一种分布式数据处理设备。该设备包括处理器。该设备还包括被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使所述处理器确定目标图数据中当前参与数据处理的活跃顶点集合。其中，所述目标图数据基于多个关联的目标事件的事件信息生成。所述目标图数据的每个顶点对应所述事件信息中的一个事件要素。若第一分布式节点的外存中保存有所述活跃顶点集合中的任意活跃顶点，则根据与所述活跃顶点集合相匹配的目标数据处理模式确定待更新顶点。所述第一分布式节点为分布式系统中的任意分布式节点。根据所述外存中的所述任意活跃顶点的第一数据，向所述待更新顶点所在的目标分布式节点发送第一更新消息。所述第一更新消息用于所述目标分布式节点对其外存中的所述待更新顶点的第二数据进行更新处理。