[发明专利]图数据划分方法及装置

摘要

本发明公开了一种图数据划分方法及装置，其中，该方法包括根据图定义的数据和计算模型UPPS对算法进行建模；通过二维数据划分方法对建模中的数据进行划分，并获取划分后冗余度最小的数据；根据估测公式估测确定最佳的第三维层数；以及根据冗余度最小的数据对第三维层数的每一层进行划分，获得数据的分布方式。该方法实现了通过增加适量的层间通讯量减少每一层内数据划分块数，减少分布式图数据处理时的通讯量，提升计算效率。

主权项

1.一种图数据划分方法，其特征在于，包括以下步骤：根据图定义的数据和计算模型UPPS对算法进行建模；通过二维数据划分方法对所述建模中的数据进行划分，并获取划分后冗余度最小的数据；根据估测公式估测确定最佳的第三维层数；以及根据所述冗余度最小的数据对所述第三维层数的每一层进行划分，获得数据的分布方式；其中，所述计算模型UPPS具体包括：在一张数据图作为基本的操作单元，区分不可以划分的数据DShare和可以划分的数据DColle，其中DColle为一个长度为SC的向量；提供4种操作类型，分别为：Update、Push、Pull和Sink，其中，所述Update的操作为获取每个图的点或边并对所述每个图的所有数据进行更新，所述Push的操作为用源点和边的数据更新汇点，所述Pull的操作为用汇点和边的数据更新源点，所述Sink的操作为用源点和汇点的数据更新边；所述根据估测公式估测确定最佳的第三维层数具体包括：根据所述计算模型UPPS中的4种操作类型确定每一层通讯量的估测公式；根据所述估测公式确定每一层的最终通讯量，选择通讯量最小的作为所述第三维层数。