[发明专利]基于区块链的数据处理方法及装置、存储介质及电子设备

说明书

本发明提供了一种基于区块链的数据处理方法及装置、存储介质及电子设备，可应用于金融领域或其他领域，该方法包括：获取数据清洗任务；数据清洗任务包括待清洗数据以及清洗目标；将数据清洗任务发往区块链系统中的各个任务处理节点；接收每个任务处理节点的基于数据清洗任务反馈的任务处理数据；利用待清洗数据的参考补全信息对每个任务处理节点的任务处理数据进行核验；参考补全信息通过预先构建的神经网络模型基于待清洗数据中的异常数据项以及每个任务处理节点对应的用户信息预测得到；对于每个任务处理数据，在该任务处理数据的核验通过的情况下，对该任务处理数据进行存储。能够提高数据清洗效率，节约计算资源。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于区块链的数据处理方法及装置、存储介质及电子设备。

背景技术

现今计算机技术发展迅速，尤其随着互联网应用场景的不断壮大以及存储技术的不断突破，使得这些应用场景积累了海量的数据。为了对数据进行数据挖掘，分析数据中的价值，首先需要进行数据清洗。

现有的数据清洗方式是依靠中心化的系统进行数据处理，然而，在一些场景下，例如，银行系统中，由于系统数据之间的差异较大，依靠传统中心化的方法做数据清洗系统不仅浪费大量的资源，同时需要大量的人力去做数据清洗，成本高、效率低。

发明内容

本发明所要解决的技术问题是提供一种基于区块链的数据处理方法，能够提高数据清洗效率。

本发明还提供了一种基于区块链的数据处理装置，用以保证上述方法在实际中的实现及应用。

一种基于区块链的数据处理方法，应用于区块链系统中的任务发布节点，所述方法包括：

响应于数据清洗指令，获取所述数据清洗指令对应的数据清洗任务；所述数据清洗任务包括待清洗数据以及清洗目标；所述待清洗数据包括至少一个异常数据项；

将所述数据清洗任务发往所述区块链系统中的各个预先通过鉴权的任务处理节点；

接收每个所述任务处理节点的任务处理数据；每个所述任务处理节点的任务处理数据由该任务处理节点基于所述清洗目标对所述清洗数据进行处理得到；

利用所述待清洗数据的参考补全信息对每个所述任务处理节点的任务处理数据进行核验，获得每个所述任务处理数据的核验结果；所述参考补全信息通过预先构建的神经网络模型基于所述待清洗数据中的异常数据项以及每个所述任务处理节点对应的用户信息预测得到；

对于每个所述任务处理数据，在所述任务处理数据的核验结果表征所述任务处理数据核验通过的情况下，对所述任务处理数据进行存储。

上述的方法，可选的，通过预先构建的神经网络模型基于所述待清洗数据中的异常数据项以及每个所述任务处理节点对应的用户信息预测得到参考补全信息的过程，包括：

获取每个所述任务处理节点对应的用户信息；每个所述任务处理节点的用户信息包括所述任务处理节点所属的用户处理所述异常数据项的历史正确率、用户职业和用户等级中的至少一种；

将每个所述任务处理节点的用户信息以及所述异常数据项输入到所述神经网络模型，获得所述神经网络模型输出的所述待清洗数据的参考补全信息。

上述的方法，可选的，所述获得每个所述任务处理数据的核验结果之后，还包括：

根据每个所述任务处理数据的核验结果确定每个所述任务处理数据的贡献度；

根据每个所述任务处理节点的任务贡献比例、每个所述任务处理数据的共享度以及每个所述任务处理数据的存储时间，计算得到每个所述任务处理节点的任务评分。

上述的方法，可选的，所述计算得到每个所述任务处理节点的任务评分之后，还包括：