[发明专利]一种图计算预处理的装置、方法及系统

摘要

本发明实施例提供了一种图计算预处理的装置、方法及系统，涉及分布式数据处理领域，用以降低网络消耗。所述图转换器，包括：接收单元，用于接收原始图文件地址；获取单元，用于获取大顶点统计阈值；获取单元，还用于根据原始图文件地址读取原始图文件；确定单元，用于根据大顶点统计阈值，在原始图文件中确定出大顶点；处理单元，用于将大顶点与大顶点的边数记录到大顶点表中；发送单元，用于将大顶点表发送至图均衡器；接收单元，还用于接收图均衡器发送的大顶点分配表；处理单元，还用于按照预设规则并根据所述大顶点分配表，将各顶点分配至对应的存储空间。本发明实施例适用于图计算预处理的场景。 1

主权项

1.一种图转换器，其特征在于，包括：

接收单元，用于接收主控节点发送的原始图文件地址；

获取单元，用于获取大顶点统计阈值；

所述获取单元，还用于根据所述接收单元接收的所述原始图文件地址读取原始图文件；

确定单元，用于根据所述获取单元读取的所述大顶点统计阈值，在所述原始图文件中确定出大顶点；

处理单元，用于将所述确定单元确定的所述大顶点与所述大顶点的边数记录到大顶点表中；

发送单元，用于将所述大顶点表发送至图均衡器；

所述接收单元，还用于接收所述图均衡器发送的大顶点分配表；所述大顶点分配表用于记录大顶点与存储空间之间映射关系；

所述处理单元，还用于按照预设规则并根据所述大顶点分配表，将各顶点分配至对应的存储空间，以使得所述存储空间所在的计算节点对所述原始图文件进行计算；其中，所述预设规则包括将第一顶点分配至与其相邻的大顶点对应的存储空间；所述第一顶点是所述原始图文件中不是大顶点，且与大顶点相邻的顶点。

2.根据权利要求1所述的图转换器，其特征在于，

所述获取单元，具体用于从本地获取预先设定的所述大顶点统计阈值；

或者，

所述获取单元，具体用于接收所述主控节点发送的所述大顶点统计阈值。

3.根据权利要求1所述的图转换器，其特征在于，

所述处理单元，具体用于依次读取所述原始图文件中的各顶点，并确定所述顶点是否为大顶点；

所述处理单元，具体用于在所述顶点是大顶点的情况下，根据大顶点分配表，将所述顶点分配至与其对应的存储空间；

所述处理单元，具体用于在所述顶点不是大顶点的情况下，确定所述顶点是否为第一顶点；

所述处理单元，具体用于在所述顶点是第一顶点的情况下，将所述顶点分配至所述大顶点分配表中与所述顶点相邻的大顶点对应的存储空间；

所述处理单元，具体用于在所述顶点不是第一顶点的情况下，将所述顶点分配至任一可选的存储空间。

4.根据权利要求1‑3任一项所述的图转换器，其特征在于，

所述获取单元，具体用于根据所述原始图文件地址，依次读取所述原始图文件中每一顶点；

所述确定单元，具体用于将边数大于或者等于所述大顶点统计阈值的顶点确定为大顶点。

5.根据权利要求1‑3任一项所述的图转换器，其特征在于，

所述获取单元，具体根据所述原始图文件地址，依次读取所述原始图文件中每一顶点，并为每一顶点分配顶点用户身份标识ID；

所述确定单元，具体用于将边数大于或者等于所述大顶点统计阈值的顶点确定为大顶点；所述顶点ID用于唯一标识一个顶点；

所述确定单元，具体用于将所述原始图文件中的每一顶点和与其对应的顶点ID，生成图名字字典；所述图名字字典用于记录所述原始图文件中各顶点与顶点ID间的映射关系；

所述处理单元，具体用于根据所述图名字字典及确定出的大顶点，将所述大顶点的顶点ID与所述大顶点的边数记录到大顶点表中。

6.根据权利要求5所述的图转换器，其特征在于，

所述接收单元，还用于接收所述主控节点发送的图转换标志位；

所述确定单元，还用于根据所述接收单元接收的所述图转换标志位确定是否对所述原始图文件进行转换；

所述获取单元，具体用于在所述图转换器确定对所述原始图文件进行转换的情况下，根据所述原始图文件地址，依次读取所述原始图文件中每一顶点，为每一顶点分配顶点ID。

7.一种图均衡器，其特征在于，包括：

接收单元，用于接收图转换器发送的大顶点表；所述大顶点表记录有原始图文件中的大顶点与其对应的边数；

发送单元，用于向主控节点发送资源请求消息；

所述接收单元，还用于接收所述主控节点发送的资源响应消息；所述资源响应消息携带对所述原始图文件进行计算的所有计算节点的信息；

所述发送单元，还用于向元数据服务器发送存储空间请求消息；所述存储空间请求消息携带所述计算节点的信息；

所述接收单元，还用于接收所述元数据服务器发送的所述存储空间响应消息；所述存储空间响应消息携带存储空间信息；

处理单元，用于根据所述大顶点表中各大顶点的边数以及所述存储空间信息，生成大顶点分配表；所述大顶点分配表记录有大顶点与存储空间之间的映射关系；

所述发送单元，还用于将所述处理单元生成的所述大顶点分配表发送至所述图转换器；

所述大顶点分配表，用于使图转换器按照预设规则将各顶点分配至对应的存储空间，其中，所述预设规则包括将第一顶点分配至与其相邻的大顶点对应的存储空间，所述第一顶点是所述原始图文件中不是大顶点，且与大顶点相邻的顶点。

8.根据权利要求7所述的图均衡器，其特征在于，

所述资源响应消息包括：执行节点列表；所述执行节点列表用于记录对原始图文件进行计算的所有计算节点的信息。

9.根据权利要求7或8所述的图均衡器，其特征在于，

所述处理单元，具体用于确定第一存储空间；所述第一存储空间是未分配大顶点的存储空间中存储空间最大的存储空间；

所述处理单元，具体用于确定是否存在未确定存储空间的大顶点；

所述处理单元，具体用于在确定存在未确定存储空间的大顶点的情况下，确定是否存在第一大顶点；所述第一大顶点是未确定存储空间的大顶点中边数不大于所述第一存储空间的剩余存储空间的任一大顶点；所述第一存储空间的剩余存储空间是所述第一存储空间的大小减去已分配至所述第一存储空间的大顶点的边数得到的值；

所述处理单元，具体用于在不存在所述第一大顶点的情况下，将所述第一存储空间确定为已分配大顶点的存储空间，并继续执行所述图均衡器确定第一存储空间；

所述处理单元，具体用于在存在所述第一大顶点的情况下，将所述第一大顶点与所述第一存储空间的映射关系存储至所述大顶点分配表，将所述第一大顶点确定为已确定存储空间的大顶点,并继续执行确定是否存在未确定存储空间的大顶点，直至确定不存在未确定存储空间的大顶点为止。

10.一种图计算预处理的方法，其特征在于，包括：

图转换器接收主控节点发送的原始图文件地址，并获取大顶点统