[发明专利]一种基于Spark计算指标月度环比的方法和装置

权利要求书

1.一种基于Spark计算指标月度环比的方法，其特征在于，包括：

根据企业标识和月份对原始数据去重，得到所述企业标识下非缺失月份的指标数据集；

根据所述企业标识和非缺失月份，识别出对应所述企业标识的起止月份；

根据所述起止月份，生成所有月份；

根据生成的所有月份，结合所述企业标识下非缺失月份的指标数据集，构建出企业标识为key，月份和指标为value的所有月份的指标数据集；

根据构建出的指标数据集，计算所述企业标识对应的指标月度环比。

2.根据权利要求1所述计算指标月度环比的方法，其特征在于，所述根据生成的所有月份，结合所述企业标识下非缺失月份的指标数据集，构建出企业标识为key，月份和指标为value的所有月份的指标数据集包括：

根据生成的所有月份，将所述所有月份中每一个月份和所述企业标识，0构成元组存入要返回的月度环比集合中，以构建包含所述起止月份的所有月份指标为0的数据集；

根据构建的包含所述起止月份的所有月份指标为0的数据集，结合所述企业标识下非缺失月份的指标数据集，得到企业标识为key，月份和指标为value的所有月份的指标数据集。

3.根据权利要求2所述的计算指标月度环比的方法，其特征在于，所述根据构建出的数据集，计算所述企业标识对应的指标月度环比包括：

将所述企业标识下所有月份和指标放入一个集合；

将所述集合根据日期排序；

根据排序后的集合，计算所述企业标识对应的指标月度环比。

4.根据权利要求1或2或3所述的计算指标月度环比的方法，其特征在于，在计算所述企业标识对应的指标月度环比之前，将环比变量设置为无穷大。

5.根据权利要求1所述的基于Spark计算指标月度环比的方法，其特征在于，所述计算所述企业标识对应的指标月度环比包括：

在运算环比变量时，判断分母是否为0；

如果分母为0，则不作环比运算，如果分母不为0，则作环比运算，并将运算结果赋值给环比变量后，与所述企业标识和对应的月份组合起来写入数据库。

6.一种基于Spark计算指标月度环比的装置，其特征在于，包括去重模块，起止月份识别模块，所有月份生成模块，构建模块，计算模块，其中：

所述去重模块用于根据企业标识和月份对原始数据去重，得到所述企业标识下非缺失月份的指标数据集；

所述起止月份识别模块用于根据所述企业标识和非缺失月份，识别出对应所述企业标识的起止月份；

所述所有月份生成模块用于根据所述起止月份，生成所有月份；

所述构建模块用于根据生成的所有月份，结合所述企业标识下非缺失月份的指标数据集，构建出企业标识为key，月份和指标为value的所有月份的指标数据集；

所述计算模块用于根据构建出的指标数据集，计算所述企业标识对应的指标月度环比。

7.根据权利要求6所述的基于Spark计算指标月度环比的装置，其特征在于，所述构建模块具体用于：

根据生成的所有月份，将所述所有月份中每一个月份和所述企业标识，0构成元组存入要返回的月度环比集合中，以构建包含所述起止月份的所有月份指标为0的数据集；

根据构建的包含所述起止月份的所有月份指标为0的数据集，结合所述企业标识下非缺失月份的指标数据集，得到企业标识为key，月份和指标为value的所有月份的指标数据集。

8.根据权利要求7所述的基于Spark计算指标月度环比的装置，其特征在于，所述计算模块具体用于：

将所述企业标识下所有月份和指标放入一个集合；

将所述集合根据日期排序；

根据排序后的集合，计算所述企业标识对应的指标月度环比。

9.根据权利要求6或7或8所述的基于Spark计算指标月度环比的装置，其特征在于，在计算模块计算所述企业标识对应的指标月度环比之前，将环比变量设置为无穷大。

10.根据权利要求6所述的基于Spark计算指标月度环比的装置，其特征在于，所述计算模块具体用于：

在运算环比变量时，判断分母是否为0；

如果分母为0，则不作环比运算，如果分母不为0，则作环比运算，并将运算结果赋值给环比变量后，与所述企业标识和对应的月份组合起来写入数据库。