[发明专利]数据齐备度分析系统和数据齐备度分析方法

说明书

一种数据齐备度分析系统和数据齐备度分析方法，该数据齐备度分析系统包括存储装置、栏位数据描述档产生模块和广义数据齐备度分析模块。存储装置用以存储多个原生数据。栏位数据描述档产生模块产生多个原生数据所对应的多个栏位数据描述档。广义数据齐备度分析模块根据产生的栏位数据描述档判断原生数据的一致性指标的分数。广义数据齐备度分析模块根据每一栏位数据描述档的分类标签，从原生数据中取得要进行分析的标签的数据，并取得要进行分析的标签的数据所对应的完整性指标的分数、正确性指标的分数、有效性指标的分数和精炼度指标的分数。一种数据齐备度分析方法亦在此公开。

技术领域

本发明的实施例主要涉及一种数据齐备度分析技术，特别涉及一种通过不同齐备度分析模块和指标来分析不同面向数据的数据齐备度的数据齐备度分析技术。

背景技术

随着数据数据搜集更加便利，可利用的数据数据量急速增加，且数据分析技术也跟着蓬勃发展。有效的大数据数据分析结果需仰赖良好的数据品质，因此数据品质是数据分析上重要的课题。现行的数据品质诊断做法可分为数据分析专家自行利用程序语言分析，或使用市面上分析套装软件。然而，目前针对数据品质(齐备度)的分析方法尚不够全面，诊断的流程尚未标准化，亦缺乏针对后续应用检视进而再优化的面向。

发明内容

有鉴于上述问题，本发明的实施例提供了一种数据齐备度分析系统和数据齐备度分析方法。

根据本发明的一实施例提供了一种数据齐备度分析系统，包括一存储装置、一栏位数据描述档产生模块和一齐备度分析模块。存储装置用以存储多个原生数据。栏位数据描述档产生模块耦接上述存储装置，且用以产生上述多个原生数据所对应的多个栏位数据描述档。广义数据齐备度分析模块耦接上述存储装置和上述栏位数据描述档产生模块，以取得上述多个原生数据和上述多个栏位数据描述档。广义数据齐备度分析模块可根据上述多个栏位数据描述档判断原生数据的一一致性指标的分数。广义数据齐备度分析模块可根据每一上述栏位数据描述档的分类标签，从上述多个原生数据中取得要进行分析的标签的数据，并取得要进行分析的标签的数据所对应的一完整性指标的分数、一正确性指标的分数、一有效性指标的分数和一精炼度指标的分数。广义数据齐备度分析模块可根据上述一致性指标的分数，以及要进行分析的标签的数据所对应的上述完整性指标的分数、上述正确性指标的分数、上述有效性指标的分数和上述精炼度指标的分数，判断要进行分析的标签的数据所对应的数据齐备度。

在一些实施例中，数据齐备度分析系统还包括一原生数据齐备度分析模块。原生数据齐备度分析模块耦接上述存储装置和上述栏位数据描述档产生模块，以取得上述多个原生数据和上述多个栏位数据描述档。原生数据齐备度分析模块可根据上述多个原生数据和上述多个栏位数据描述档，取得每一上述原生数据所对应的上述完整性指标的分数、上述正确性指标的分数、上述有效性指标的分数和上述精炼度指标的分数。原生数据齐备度分析模块可根据每一上述原生数据所对应的上述完整性指标的分数、上述正确性指标的分数、上述有效性指标的分数和上述精炼度指标的分数，判断每一上述原生数据的数据齐备度。

在一些实施例中，数据齐备度分析系统还包括一特定数据齐备度分析模块。特定数据齐备度分析模块耦接上述存储装置和上述栏位数据描述档产生模块，以取得上述多个原生数据和上述多个栏位数据描述档。特定数据齐备度分析模块可根据一特定模板，从上述多个原生数据中取得特定数据，以及取得上述特定数据所对应的上述完整性指标的分数、上述正确性指标的分数、上述有效性指标的分数、上述精炼度指标的分数、一配适度指标的分数和一数据量指标的分数。特定数据齐备度分析模块可根据上述特定数据所对应的上述完整性指标的分数、上述正确性指标的分数、上述有效性指标的分数、上述精炼度指标的分数、上述配适度指标的分数和上述数据量指标的分数，判断上述特定数据的数据齐备度。

在本发明的实施例中，配适度指标用以判断上述特定数据所包含的内容，是否满足上述特定模板所需要的内容。

在本发明的实施例中，数据量指标用以根据一学习曲线判断上述特定数据所包含的内容的数据量是否足够。