[发明专利]图计算的类别型变量存储方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，公开了图计算的类别型变量存储方法、装置、设备及存储介质。图计算的类别型变量存储方法包括：获取节点属性的多个预置的类别型变量，预置的类别型变量的取值为整数；对多个预置的类别型变量进行统计，得到类别型变量的总个数N，N为正整数；根据预置算法计算每个预置的类别型变量的存储比特数K_i，K为大于0的正整数，i的取值范围为小于等于N的正整数；根据每个预置的类别型变量的存储比特数K_i和预置顺序对每个预置的类别型变量的取值进行存储；当检测到读取节点属性的至少一个预置的类别型变量时，按照预置顺序读取至少一个预置的类别型变量的取值。本发明通过比特位存储类别型变量，提高了节点属性的存储资源利用率。

技术领域

本发明涉及节点存储领域，尤其涉及一种图计算的类别型变量存储方法、装置、设备及存储介质。

背景技术

图数据挖掘是关系挖掘和群体画像中的重要方法。图数据由节点和边组成，图中的节点用于表示发生连接的主体，边用来表示主体之间的关联，边越密集，边权重越大，表示关联越强。图数据主要由节点属性和边属性构成，在图计算中涉及大量节点属性的数据存储。

节点属性的数据存储包括大量类别型变量，例如，判定节点属于哪一种特定类别，其类别从1到n，n为大于1的正整数，类别型变量的取值一般以整数的形式来表示。在典型的图计算环境中，对于分布式图处理框架GraphX或者Giraph，通常以int32类型或者int64类型方式对节点属性的类别型变量进行存储，也就是单个类别型变量占用32比特或者64比特的内存空间。

目前大规模图数据往往包含亿级节点，采用现有技术中存储节点属性的算法会耗费大量内存，因此，如何减少存储节点属性导致消耗大量存储资源，是大规模图计算需要解决的关键问题。

发明内容

本发明的主要目的在于解决了大规模图计算中采用整型存储节点属性的类别型变量导致消耗大量存储资源的技术问题。

为实现上述目的，本发明第一方面提供了一种图计算的类别型变量存储方法，包括：获取节点属性的多个预置的类别型变量，所述预置的类别型变量的取值为整数；对多个预置的类别型变量进行统计，得到所述预置的类别型变量的总个数N，所述N为正整数；根据预置算法计算每个预置的类别型变量的存储比特数K_i，所述K_i为正整数，i的取值范围为小于等于所述N的正整数；根据每个预置的类别型变量的存储比特数K_i和预置顺序对每个预置的类别型变量的取值进行存储；当检测到读取所述节点属性的至少一个预置的类别型变量时，按照所述预置顺序读取至少一个预置的类别型变量的取值。

可选的，在本发明第一方面的第一种实现方式中，所述根据预置算法计算每个预置的类别型变量的存储比特数K_i，所述K_i为正整数，i的取值范围为小于等于所述N的正整数包括：确定每个预置的类别型变量指示的预置类别总数量n，n为正整数，所述预置类别包括至少一个整数值；根据比特数计算公式对每个预置的类别型变量进行计算，得到每个预置的类别型变量的存储比特数K_i，所述K_i为正整数，i的取值范围为小于等于所述N的正整数，所述比特数计算公式如下：K_i＝ceil(log₂n)，其中，log₂n表示以2为底n的对数，ceil表示向上取整。

可选的，在本发明第一方面的第二种实现方式中，所述根据每个预置的类别型变量的存储比特数K_i和预置顺序对每个预置的类别型变量的取值进行存储包括：读取节点标签数据存储空间，所述节点标签数据存储空间用于存储所述节点属性的多个预置类型变量的取值，所述预置类型变量包括类别型变量；根据每个预置的类别型变量的存储比特数K_i对所述节点标签数据存储空间按照预置顺序进行划分，得到划定的存储比特位区间；将多个预置的类别型变量的取值按照所述预置顺序写入到所述划定的存储比特位区间上。