[发明专利]一种数据质量的评估方法及装置

说明书

本发明公开了一种数据质量的评估方法及装置，该方法和装置能够解决现有技术中因采用统一的评估标准来对不同任务所需要处理的数据的质量进行评估而导致的评估不合理问题，从而提高了数据质量评估的灵活性与合理性。其中，数据质量的评估方法包括：接收输入的针对已采集数据的多个数据行或每个数据行中各个字段值的约束条件信息，约束条件信息与第一任务处理已采集的数据的需求相对应且用于生成数据质量评估任务；接收输入的用于设置数据质量评估任务与第一任务相对执行顺序的操作指令，并基于确定的相对执行顺序执行数据质量评估任务与第一任务，以使数据质量评估任务对第一任务处理的数据进行针对性的质量评估。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据质量的评估方法及装置。

背景技术

随着大数据技术的不断发展，“数据即资产”的概念获得了人们的广泛认可，对数据的重视程度也在不断提升。然而，并不是所有的数据都能成为“资产”，数据是否真正有价值与数据质量有着密切的关系。对数据质量的有效评估，不仅是一项基础的数据处理工作，同时也是数据链路下游的数据清洗、数据挖掘等环节的基础，是用户开发上层应用、挖掘数据价值、制定正确决策的必要前提。

目前在采集数据时往往是针对不同的应用场景，但是在对采集到的数据进行质量评估时通常采用统一的评估标准进行，而并未考虑到不同的应用场景下对于数据质量的要求可能不相同。同时，在对数据进行质量评估之后，被评估为不合格的数据会被不予使用或删除，导致部分数据资源浪费。

可见，现有技术中，使用统一的数据质量评估标准对不同应用场景下的数据进行评估无法满足不同场景对于数据质量的需求；同时一旦数据质量评估未通过，该数据就无法被使用，导致数据资源的浪费。

发明内容

本发明提供了一种数据质量的评估方法及装置，该方法和装置能够解决现有技术中因采用统一的评估标准来对不同任务所需要处理的数据的质量进行评估而导致的评估不合理问题，从而提高了数据质量评估的灵活性与合理性。

第一方面，本发明实施例提供了一种数据质量的评估方法，应用于对第一任务所处理的已采集数据进行数据质量评估，所述已采集数据包括多个数据行，所述多个数据行中的每个数据行包括多个字段值，当所述第一任务被调度执行时，所述方法包括：

接收输入的针对所述已采集数据的多个数据行或每个数据行中各个字段值的约束条件信息，所述约束条件信息与所述第一任务处理所述已采集的数据的需求相对应且用于生成数据质量评估任务；

接收输入的用于设置所述数据质量评估任务与所述第一任务相对执行顺序的操作指令，并基于确定的相对执行顺序执行所述数据质量评估任务与所述第一任务，以使所述数据质量评估任务对所述第一任务处理的数据进行针对性的质量评估，不同的第一任务与对应的数据质量评估任务之间的相对执行顺序不相同。

本发明实施例中，已采集的数据可以认为包括多个数据行且每个数据行包括多个字段值，第一任务可以认为是需要对已采集的数据进行处理的任务。那么当第一任务被调度执行时，可以根据第一任务的实际需求来设置已采集数据的约束条件，例如满足上述约束条件的数据才可用于第一任务，而不满足上述约束条件的数据则无法用于第一任务；或者，满足上述约束条件才表明第一任务执行成功，而不满足上述约束条件则表明第一任务执行失败。同时还可以设置由上述约束条件所构成的数据质量评估任务与第一任务的相对执行顺序，例如，数据质量任务先于第一任务被执行或第一任务先于数据质量任务被执行，具体情况视第一任务的类型而定，使得数据质量评估任务能够针对性的对第一任务所需要处理的数据进行质量评估。该方法中按照第一任务所需要处理数据的实际需求来生成相对应的数据质量评估任务，并可以根据第一任务的具体类型来设置第一任务与数据质量评估任务的相对执行顺序，从而解决了现有技术中因采用统一的评估标准来对不同任务所需要处理的数据的质量进行评估而导致的评估不合理问题，从而提高了数据质量评估的灵活性与合理性。