[发明专利]一种基于政府数据的质量检测方法

说明书

本发明特别涉及一种基于政府数据的质量检测方法。该基于政府数据的质量检测方法，在数据库中对质量检测规则进行定义，创建规则模型和分布式质量检测任务，完成质量检测任务后统计质量检测结果，向问题责任人和监督人同时发送提醒通知，对检测数据进行评分，并生产质量检测报告。该基于政府数据的质量检测方法，通过对数据的检测，分析，告警，督查，评分等工作高效且有效的保证了数据的准确规范，不仅可以快速准确的定位问题数据的位置以及问题的原因，还能提供快速处理的界面操作，为更好的理解数据、利用数据、挖掘数据价值提供了支持。

技术领域

本发明涉及数据质量检测技术领域，特别涉及一种基于政府数据的质量检测方法。

背景技术

政府数据覆盖社会管理与公众服务的方方面面，并且具有较高的权威性。各级政府掌握着社会80％的数据，是最大的数据保有者，大量的数据资源急需政府和社会开放、共享和利用。

政府数据本身作为一种信息资源，过程中存在着采集、加工、分析、保存、传输等操作，其中就可能会导致数据的异常甚至错误，而政府数据又必须具有权威性和准确性，且存在着行业多样、数据量大、变化快的特征。因此，对大量的、千差万别的政府数据的高效、通用的质量检测，问题可视化处理对帮助政府和社会更快、更直观地认识数据、理解数据、利用数据显得尤为重要。

基于上述情况，本发明提出了一种基于政府数据的质量检测方法，对数据问题进行有效检测，使得在保证政府数据准确性和规范性上成为可能，使得政府和社会快速、直观地发现问题数据成为可能；提供图形化的问题数据展示和处理，使得在快速统计问题数据，处理问题数据和监督问题处理情况成为可能。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于政府数据的质量检测方法。

本发明是通过如下技术方案实现的：

一种基于政府数据的质量检测方法，其特征在于：在数据库中对质量检测规则进行定义，创建规则模型和分布式质量检测任务，完成质量检测任务后统计质量检测结果，向问题责任人和监督人同时发送提醒通知，对检测数据进行评分，并生产质量检测报告。

本发明基于政府数据的质量检测方法，采用Druid数据库连接池实现，监控Druid数据库连接池连池和SQL执行情况，每次调用的连接和释放，保证合理的资源利用；同时，建立一个大的数据库SQL生成工厂，在质量检测任务执行时根据数据源的类型选择对应工厂，保证在不同的数据库下正常的执行。

为避免重复监测，在数据监测时设定时间指针偏移和最大量监测，以便快速完成一次质量检测任务。

所述质量检测规则包括数据元规则和通用规则，所述数据元规则需要相应的政府平台数据标准服务的支持；所述通用规则定义SQL类型和正则表达式的类型，通过SQL类型实现对多种数据源的支持，对多个数据源的规则进行配置和统一管理；在质量检测时选择相应类型的质量检测规则来处理，进而动态的实现了数据源的配置，为以后的扩展提供支持。

所述质量检测任务采用轻量级分布式任务管理方案，以实现多任务的负载均衡；所述质量检测任务分配到执行器后，由调度中心触发执行器执行质量检测任务；所述调度中心基于集群Quartz实现并支持集群部署，所述执行器支持集群部署；当有新的执行器上线或者下线时，重新分配任务；所述轻量级分布式任务管理方案可以降低单台服务器硬件需求和服务器的压力，同时可以避免某个服务器出现问题影响数据质量的检测。

所述质量检测任务分别按照各自配置的路由方式分发到各个执行器；所述执行器集群部署，周期性的自动注册到调度中心，调度中心自动发现注册的质量检测任务并触发执行。

所述调度中心支持手动录入执行器地址。

所述路由方式包含选择第一个，最后一个，轮询或故障转移，每个质量检测任务配置一种路由方式。