[发明专利]数据处理方法、装置、电子设备及介质

说明书

本发明涉及大数据，提供一种数据处理方法、装置、电子设备及介质。该方法能够从数据处理请求中确定目标系统，并确定目标系统上的数据存储形式，利用与数据存储形式对应的采集方式从目标系统中采集待处理数据，对待处理数据进行标准化处理，得到标准数据，对标准数据进行质量检测，并将通过质量检测的标准数据确定为初始数据，对初始数据进行维度规整处理，得到多个维度表，从数据处理请求中提取用户需求，并根据所述用户需求生成数据分析算法，利用数据分析算法分析多个维度表中的数据，得到目标数据表，根据目标数据表构建血缘图谱，解决了数据不易采集的问题，还提高了数据分析的效率。本发明还涉及区块链技术，所述血缘图谱存储于区块链中。

技术领域

本发明涉及大数据的数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及介质。

背景技术

随着信息化的快速发展，财政系统也随之增多。由于各个财政系统开发的时间跨度大，以及系统开发人员采用的技术也有所不同，造成各个财政系统之间不兼容，进而导致财政系统上的数据不易采集，同时，很多用于风险预测的数据并不是完全准确或规范的，增加了数据分析的难度。

然而，在现有的数据处理方案中，无法对多个不兼容的财政系统中的数据进行数据处理，造成财政系统上的数据无法被很好的利用。

发明内容

鉴于以上内容，有必要提供一种数据处理方法、装置、电子设备及介质，不仅能够解决系统不兼容而不易采集的问题，还能够降低数据分析的难度，同时，还能够提高数据分析的效率。

一种数据处理方法，所述数据处理方法包括：

当接收到数据处理请求时，从所述数据处理请求中确定目标系统，并确定所述目标系统上的数据存储形式；

利用与所述数据存储形式对应的采集方式从所述目标系统中采集待处理数据；

对所述待处理数据进行标准化处理，得到标准数据；

对所述标准数据进行质量检测，并将通过质量检测的标准数据确定为初始数据；

对所述初始数据进行维度规整处理，得到多个维度表；

从所述数据处理请求中提取用户需求，并根据所述用户需求生成数据分析算法；

利用所述数据分析算法分析所述多个维度表中的数据，得到目标数据表；

根据所述目标数据表构建血缘图谱。

根据本发明优选实施例，所述利用与所述数据存储形式对应的采集方式从所述目标系统中采集待处理数据包括以下一种或者多种方式的组合：

当所述数据存储形式为数据库形式时，从所述目标系统中获取存储数据的目标数据库的存储地址，根据所述存储地址生成查询语句，利用所述查询语句从所述存储地址中获取数据，并将获取到的数据确定为所述待处理数据；及/或

当所述数据存储形式为数据文件形式时，从所述目标系统中获取存储数据的目标文件，解析所述目标文件，并从解析后的目标文件中捕获数据，作为所述待处理数据。

根据本发明优选实施例，所述对所述待处理数据进行标准化处理包括：

确定配置库中的数据格式及数据区间；

将所述待处理数据转换为具有所述数据格式的第一数据，并利用数据归一化算法将所述第一数据映射为所述数据区间内的数据，作为第二数据；

基于编码算法将所述第二数据转换为向量；

利用距离公式计算每两个向量之间的距离值，得到每对第二数据之间的相似度，每对第二数据是指所述第二数据中任意两个第二数据；