[发明专利]分布式图计算系统数据切分方法和系统

摘要

本发明提供一种分布式图计算系统数据切分方法和系统，该方法包括确定待处理数据中的每个数据节点与自身的各第一相邻节点间的相似性度量值；获得各第一相邻节点的标签的出现次数，并确定是否存在出现次数相同的至少两个标签；若存在，则确定与至少两个标签分别对应的各第二相邻节点，并根据所述数据节点与各第二相邻节点间的相似性度量值，确定所述数据节点的标签；将具有同一标签的数据节点划分到同一社区，将属于同一社区的数据节点存储在同一处理主机中。充分考虑了数据节点间的相似性特征以及基于标签实现了数据节点的社区划分，节省了运算开销，而且关系密切的数据节点被分配到同一处理主机中，减少了在不同处理主机间的通信开销。

主权项

一种分布式图计算系统数据切分方法，其特征在于，包括：根据预设算法，确定待处理数据中的每个数据节点与自身的各第一相邻节点间的相似性度量值；根据所述各第一相邻节点的标签，获得每个所述标签在所述各第一相邻节点中的出现次数，所述标签包括节点标识ID；根据所述出现次数，确定所述各第一相邻节点的标签中是否存在出现次数相同的至少两个标签；若存在，则确定与所述至少两个标签分别对应的各第二相邻节点，并根据所述数据节点与所述各第二相邻节点间的相似性度量值，确定所述数据节点的标签；将所述待处理数据中具有同一标签的数据节点划分到同一社区，并将属于同一社区的数据节点存储在同一处理主机中；所述将所述待处理数据中具有同一标签的数据节点划分到同一社区之后，还包括：将所述待处理数据中的各个社区按照社区规模从大到小的顺序进行排序，所述社区规模为所述社区中包含的数据节点的个数；所述将属于同一社区的数据节点存储在同一处理主机中，包括：根据各处理主机的预设存储顺序以及所述各个社区的排序，分别确定所述各个社区应该存入的处理主机，所述存储顺序是指所述各处理主机存储所述各个社区的先后顺序；将所述各个社区依次存入对应的各处理主机中；所述根据各处理主机的预设存储顺序以及所述各个社区的排序，分别确定所述各个社区应该存入的处理主机之后，还包括：分别以所述各个社区中的每个社区作为待处理社区，确定所述待处理社区中包含的数据节点分别与所述各处理主机中的每个处理主机中预先保存的数据节点间的匹配程度；从所述各处理主机中确定与所述待处理社区对应的目标处理主机，所述目标处理主机中预先保存的数据节点与所述待处理社区中包含的数据节点的匹配程度最高；确定所述目标处理主机与根据所述各处理主机的预设存储顺序以及所述各个社区的排序确定的所述待处理社区应该存入的处理主机是否相同；若相同，则将所述待处理社区存入所述应该存入的处理主机中；若不相同，则将所述待处理社区存入所述目标处理主机中。