[发明专利]一种网源数据合规校验方法、装置及系统

说明书

本发明公开了一种网源数据合规校验方法、装置及系统，属于数据校验技术领域，所述方法包括：获取预先从电厂录入或上传的相关文件，对所述相关文件进行OCR文本图像识别，提取网源数据信息存入数据库；从所述数据库中抽取需要校验的网源数据信息；对所述网源数据信息进行校验规则配置；根据所述校验规则信息进行合规校验，筛选出不合规的数据；对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改；将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案；本发明通过快速定位出缺失数据与不合规数据，提供新的整改方案供客户选择使用，能够很好的发现并解决网源协调运维中的各种数据合规问题。

技术领域

本发明涉及一种网源数据合规校验方法、装置及系统，属于数据校验技术领域。

背景技术

随着电网业务数据规模和数据质量监控规则复杂度的不断增大，目前现有的基于传统数据管理和计算平台的数据质量监控系统的处理能力出现严重的瓶颈，处理效率低下，难以快速完成数据质量的监控和校验，越来越难以满足日常的生产管理和经营决策的需求。

现有技术中，通过机器学习的方式进行数据校验，只能学习已有的一些知识，而网源数据中可能存在大量缺失的数据，通过机器学习的方式无法给出结果，因此现有的技术对网源数据处理的准确性以及效率均达不到预期的目标，并且网源协调设计三十多张数据库表结构，十几种文档数据，包括项目核准文件、项目备案文件、并网调度协议、工商营业执照(三证合一)、购售电合同、持证上岗证、发电业务许可证、励磁试验报告、Pss试验报告、调速试验报告、进相试验报告、一次调频试验报告、AGC试验报告、AVC试验报告、标准制度、规章规范等，内容较为复杂，人工校核的方式无法很好的完成整个系统的运维。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种网源数据合规校验方法、装置及系统，能够快速定位出缺失数据与不合规数据，提供新的整改方案供客户选择使用。

为达到上述目的，本发明是采用下述技术方案实现的：

一方面，本发明提供了一种网源数据合规校验方法，包括：

获取预先从电厂录入或上传的相关文件，对所述相关文件进行OCR文本图像识别，提取网源数据信息存入数据库；

从所述数据库中抽取需要校验的网源数据信息；

对所述网源数据信息进行校验规则配置；

根据所述校验规则信息进行合规校验，筛选出不合规的数据；

将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。

进一步的，所述对所述网源数据信息进行校验规则配置，包括：

针对所述网源数据信息中不同的数据表，配置不同的校验规则，形成校验规则库，包括印章或签字缺失、不同数据的合格范围以及文件的有效期中的一种或多种。

进一步的，所述对所述网源数据信息进行校验规则配置，提供一种业务规则动态配置管理方法，包括：

基于规则引擎框架-Drools，建立网源业务规则库，按不同的业务类别，配置对应的业务规则；

获取校验请求信息，根据请求信息，采用RETE算法在规则引擎中进行规则匹配，获取一个或多个校验逻辑规则，当获取多个逻辑规则时，对所述多个逻辑规则进行优先级排序，并选取最优的校验逻辑规则；

通过所述最优的业务逻辑规则，调用相应的服务并执行。

进一步的，所述根据所述校验规则信息进行合规校验时，根据不同的数据表进行多线程校验处理。

进一步的，还包括：对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改。