[发明专利]数据宽表优化处理方法、系统、设备及介质

说明书

本发明公开了一种数据宽表优化处理方法、系统、设备及介质，根据宽表中的字段属性将字段定义为属性字段、维度字段和度量指标字段；将数据宽表中度量指标字段所组成的度量指标表作为输入，计算度量指标表中各度量指标字段的信息熵，进而计算各度量指标字段的权重；根据度量指标字段的权重对宽表的度量指标字段进行重新排序，完成数据宽表优化处理。本发明能够客观分析宽表中度量指标字段的信息量大小，为宽表拆分提供参考指标并提升宽表稳定性。

技术领域

本发明属于数据处理领域，具体涉及一种基于熵值法的数据宽表优化处理方法、系统、设备及介质。

背景技术

随着大数据数据仓库的广泛应用，分析人员依赖定制的宽表数据进行面向主题的数据分析工作。通常在数据汇总层生成宽表，宽表将众多相关数据包括维度表、实时、已有指标或者是其他相关表关联在一起形成的一张数据表，更易于分析人员使用，但宽表数据通常存在部分冗余字段，宽表结构十分庞大，数据字段甚至可高达上百列，新建的宽表可能有数据质量差的情况。由于宽表数据输入存在大量依赖，在表重做时占用大量资源、运行缓慢。

发明内容

本发明的目的在于提供一种基于熵值法的数据宽表优化处理方法、系统、设备及可读存储介质，以克服现有技术存在的缺陷，本发明能够客观分析宽表中度量指标字段的信息量大小，为宽表拆分提供参考指标并提升宽表稳定性。

为达到上述目的，本发明采用如下技术方案：

数据宽表优化处理方法，所述方法包括：

根据宽表中的字段属性将字段定义为属性字段、维度字段和度量指标字段；

将数据宽表中度量指标字段所组成的度量指标表作为输入，计算度量指标表中各度量指标字段的信息熵，进而计算各度量指标字段的权重；

根据度量指标字段的权重对宽表的度量指标字段进行重新排序，完成数据宽表优化处理。

进一步地，所述宽表为面向业务主题的宽表，所述宽表的创建过程具体为：

确定宽表的数据边界，将业务主题所涉及属性、维度、度量指标关联形成宽表，对已形成宽表的业务主题主次关系进行分析，对业务主题之外的字段进行拆分，形成面向业务主题的宽表。

进一步地，所述计算度量指标表中各度量指标字段的信息熵，进而计算各度量指标字段的权重，具体为：

对度量指标字段数据进行归一化处理，得到归一化数据集；

计算归一化数据集中每个度量指标字段的改良贡献度；

根据改良贡献度计算信息熵，进而计算信息冗余度；

根据信息冗余度计算各度量指标字段的权重。

进一步地，所述归一化处理如下式所示：

其中：x_j表示度量指标字段j；x_jmin表示同维度度量指标字段最小值；x_jmax表示同维度度量指标字段最大值；

所述改良贡献度计算公式如下：

其中：p_ij表示第i行数据中度量指标字段j的贡献度；x_ij表示第i行数据中度量指标字段j的值；m表示度量指标字段的总数量。

进一步地，所述信息熵计算公式如下：

其中，n表示宽表的总数据条数；

所述信息冗余度计算公式如下：