[发明专利]一种资讯数据质量检测方法和装置

说明书

本发明公开了一种资讯数据质量检测方法和装置，属于数据质量技术领域，检测方法包括如下步骤：基于多个质量维度对资讯数据质量分别进行数据属性质量分析量化和数据环境质量分析量化，所述质量维度包括资讯数据的准确性、完整性、一致性、有效性和及时性；根据每个所述质量维度的数据属性质量分析量化结果和数据环境质量分析量化结果和相对应的权重，采用加权平均计算方式获得每个质量维度的数据质量；根据每个质量维度的所述质量相加求得资讯数据的综合数据质量。本发明在资讯数据质量检测过程中分析了数据属性质量分析量化和数据环境质量分析量化两方面的影响，从而使资讯数据质量检测结果更加全面、准确。

技术领域

本发明涉及数据质量技术领域，尤其涉及一种资讯数据质量检测方法和装置。

背景技术

广义上的资讯数据是指一切可公开的数据，包括新闻资讯、证券发行上市信息、行业数据等，数据质量检测评估一直是行业的一个难题，尤其针对资讯结构化数据获取综合的数据质量等级评估等方面。

当前存在的数据质量检测评估方法，大部分都是仅仅考虑数据属性，如数据波动性测量、数据合法性检验、数据时效性检验、业务属性稽核等，并从数据准确性、完整性、一致性、有效性、及时性五个维度分析数据的质量特性，测量过程依赖对数据的理解和数据的存储方式，而没有综合考虑资讯数据发布源头、数据提供方等环境因素以及数据本身业务属性的影响情况。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种资讯数据质量检测方法和装置，能够进行数据属性质量分析量化和数据环境质量分析量化，使资讯结构数据质量的检测结果更加全面和准确。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种资讯数据质量检测方法，包括如下步骤：

基于多个质量维度对资讯数据质量分别进行数据属性质量分析量化和数据环境质量分析量化，所述质量维度包括资讯数据的准确性、完整性、一致性、有效性和及时性；

根据每个所述质量维度的数据属性质量分析量化结果和数据环境质量分析量化结果和相对应的权重，采用加权平均计算方式获得每个质量维度的数据质量；

根据每个质量维度的所述质量相加求得资讯数据的综合数据质量。

进一步的，基于多个质量维度对资讯数据质量进行数据属性质量分析量化的方法包括如下步骤：

基于资讯数据的业务特性，获取资讯数据质量检测的属性量化指标；

根据所述属性量化指标，构建评测数据属性质量的量化指标和权重矩阵。

进一步的，基于数据属性质量的所述量化指标的覆盖选取情况，每个所述质量维度的数据属性质量分析量化的数据质量公式表示如下：

式中，w_i代表第i个数据数据属性质量评估指标的权重；r_i代表第i个数据数据属性质量评估指标的权重，覆盖的取1，否则取0.2；s_i代表第i个数据属性质量评估指标的通过率，指标未覆盖时取默认值0.95；n代表数据属性质量评估指标的个数；w_j代表第j个数据数据属性质量评估指标的权重；r_j代表第j个数据数据属性质量评估指标的权重，覆盖的取1，否则取0.2。

进一步的，基于多个质量维度对资讯数据质量进行数据环境质量分析量化的方法包括如下步骤：

基于资讯数据的数据环境因素，构建评测数据环境质量的量化模型，所述数据环境因素包括数据发布机构级别、数据发布稳定性、数据获取容易程度、数据生产难度和数据直接来源服务能力；

采用专家评审法，对所述量化模型中的每个所述数据环境因素进行等级评分量化以及权重分配。