[发明专利]一种数据处理的方法、装置及系统

说明书

技术领域

本发明涉及通信领域，尤其涉及一种数据处理的方法、装置及系统。

背景技术

随着社交网络、万维网络、知识图谱、生物信息网络等应用的发展，图数据规模日益增大，导致大规模图数据的处理成为焦点。现有技术通常采用基于BSP(Bulk Synchronous Process，块同步处理)模型的分布式图数据处理系统来实现对大规模图数据的处理。

在现有的基于BSP模型的分布式图数据处理系统中，计算节点将分配给自身的图数据分成多次迭代来进行处理，在每一次迭代中，计算节点首先从消息库中获取上一次迭代中其他计算节点发送至该计算节点的所有消息，以及从节点库中获取该计算节点的当前值，然后调用用户预设的函数信息，从而根据该计算节点的当前值及用户预设的函数信息来更新该计算节点的当前值，或者，根据获取到的所有消息、该计算节点的当前值及用户预设的函数信息来更新该计算节点的当前值并将更新后的当前值发送至与该计算节点相关联的其他计算节点。

但在上述实现方法中，计算节点需要将上一次迭代中其他计算节点发送至该计算节点的所有消息均存储在消息库中，以便在本次迭代中通过其他计算节点发送的所有消息来更新此计算节点的当前值。这样，当图数据规模较大时，将其他计算节点发送的所有消息均缓存在消息库，会占用较大的内存空间，而分布式图数据处理系统的内存资源有限，若将其他节点发送的所有消息均缓存在消息库，可能导致其他数据无法存储在消息库中，从而降低了对分布式图数据处理系统的内存资源的利用率。

发明内容

本发明的实施例提供一种数据处理的方法、装置及系统，用于提高对分布式图数据处理系统的内存资源的利用率。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供了一种计算节点，包括：接收单元，用于接收第二计算节点发送的第一报告消息；其中，所述第一报告消息携带所述第二计算节点处理的第一图顶点的第一值，及与所述计算节点处理的与所述第一图顶点关联的第二图顶点的顶点标识；处理单元，用于确定所述第二图顶点的状态信息是否为已发送状态；其中，所述第二图顶点的状态信息用于记录所述计算节点是否向所述第二计算节点发送所述第二图顶点的消息的状态；所述处理单元，还用于在确定所述第二图顶点的状态信息为已发送状态时，获取所述第二图顶点的第二值；其中，所述第二图顶点的第二值为所述计算节点向所述第二计算节点发送的值；所述处理单元，还用于根据所述第二图顶点的第二值及第一规则，或者根据所述第一图顶点的第一值，所述第二图顶点的第二值及第一规则更新所述第二图顶点的第二值；所述处理单元，还用于删除所述第一报告消息。

在第一方面的第一种可能的实现方式中，所述处理单元，具体用于在确定图数据与所述第一图顶点的第一值无关时，根据所述第二图顶点的第二值及第一规则更新所述第二图顶点的第二值；所述处理单元，具体用于在确定所述图数据与所述第一图顶点的第一值有关时，根据所述第一图顶点的第一值，所述第二图顶点的第二值及第一规则更新所述第二图顶点的第二值。

结合第一方面，或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，还包括：所述处理单元，还用于在确定所述第二图顶点的状态信息为未发送状态时，确定所述第二图顶点的第一值；发送单元，用于向所述第二计算节点发送第二报告消息，并将所述第二图顶点的状态信息标记为已发送状态；其中，所述第二报告消息携带有所述第二图顶点的第一值及所述第一图顶点的顶点标识；所述处理单元，还用于根据所述第二图顶点的第一值及第一规则，或者根据所述第一图顶点的第一值，所述第二图顶点的第一值及第一规则更新所述第二图顶点的第一值。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述处理单元，具体用于在确定所述图数据与所述第一图顶点的第一值无关时，根据所述第二图顶点的第一值及第一规则更新所述第二图顶点的第一值；所述处理单元，具体用于在确定所述图数据与所述第一图顶点的第一值有关时，根据所述第一图顶点的第一值，所述第二图顶点的第一值及第一规则更新所述第二图顶点的第一值。

结合第一方面，或第一方面的第一至第三任一种可能的实现方式，在第一方面的第四种可能的实现方式中，还包括：存储单元，用于存储所述第二图顶点的列表；所述列表记录有所述第二图顶点的第二值及所述第二图顶点的当前值。