[发明专利]一种基于区块级数据汇集的数据质量管控方法及系统

说明书

本发明涉及数据质量管理技术领域，具体地说，涉及一种基于区块级数据汇集的数据质量管控方法及系统。包括以区块链为基础搭建数据模型、将业务需求转化为数据需求、定位数据质量问题、实施整改方案控制数据质量、生成评估报告等步骤。本发明设计的方法以区块链为基础搭建企业数据汇集平台，可以保证数据的全面性和及时性，通过对数据的质量进行管控，保证高质量的数据，可以更好地呈现数据价值，进而通过高质量的数据获取更多商业价值；其对应系统通过分布式数据库管理业务数据，可以快速发现数据质量问题，同时依据标准数据对数据进行整改，进而对未来数据可能存在的质量风险进行预测及规避，可以实现企业业务数据的在线督查，提升数据质量。

技术领域

本发明涉及数据质量管理技术领域，具体地说，涉及一种基于区块级数据汇集的数据质量管控方法及系统。

背景技术

对于企业来说，最重要的资产是数据，即数据的核心价值可以理解为核心商业价值。实现数据价值就需要进行业务数据分析和价值挖掘，目前，常规的数据分析方法和技术都不存在问题，只要有干净完备的数据就能很好地呈现出数据价值，但是保证数据质量是大数据为企业带来价值的先决条件。大多数传统型企业对于数据资源没有质量管理意识，也不懂得如何进行数据治理，导致数据质量很差，如数据缺失、数据孤岛、数据失真等，导致无法利用数据资源获取更多的商业价值。

数据质量控制以元数据为基础，其起点是业务需求，目的是满足业务需求。但是，大型企业涉及的业务广泛，导致数据资源繁杂，从而容易出现数据进度失控、质量参差不齐、数据错乱，导致数据难以进行良好的汇集及调度，从而影响企业信息化系统的建设质量，甚至给企业带来较多不可控的数据风险，从而制约了企业的发展。然而，目前却没有较为完善的可对企业数据质量进行管控的方法及系统。

发明内容

本发明的目的在于提供一种基于区块级数据汇集的数据质量管控方法及系统，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供了一种基于区块级数据汇集的数据质量管控方法及系统，包括如下步骤：

S1、以区块链及共享分发网络为基础，搭建数据模型，在各区块节点搭建分布式数据库，并连接内外部各业务系统，采集获取对应各节点近端处服务器端的数据并进行处理；

S2、分别在各区块节点处，定义以数据为基础的业务需求，将业务需求转化为对数据的需求，并编制对应的数据流图；

S3、以数据流图为基础，在数据流中评估数据的质量及数据对应的业务影响，通过深度分析来定位数据质量中存在的问题；

S4、根据质量问题，制定数据质量整改方案，实施方案，控制数据的质量并进行效果评估；

S5、定时统计数据管控的全流程，生成对应的评估报告，并及时进行上报反馈。

作为本技术方案的进一步改进，所述S3中，定位数据质量中存在的问题的方法包括如下步骤：

S3.1、导入元数据，获取数据流图，接入数据库，确认数据流；

S3.2、在数据模型的各流程中设置若干检查节点，从完整性、规范性、一致性、准确性、唯一性、关联性六个方面评估数据的质量；

S3.3、根据数据的质量，分别评估数据质量对相应的业务的影响；

S3.4、综合分析，确认业务数据中存在的质量问题。

作为本技术方案的进一步改进，所述S4中，实施整改方案控制数据质量的方法包括如下步骤：

S4.1、按照符合业务需求的标准，预先制定与业务对应的数据的标准格式；

S4.2、根据业务对应的数据中存在的质量问题，结合标准数据，制定相应的数据质量整改方案；

S4.3、实施数据质量整改方案，对存在质量问题的数据进行整改，评估整改后的数据的质量，从而实现控制数据质量的目的；

S4.4、依次重复上述流程，完成纠正现有数据问题的流程；