[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本申请实施例公开了一种数据处理方法、装置、设备及存储介质，该方法包括：获取源数据平台生成的原始数据，以及目标数据平台的标准数据规范；根据所述源数据平台的标识信息，确定所述原始数据的存储结构信息；根据所述标准数据规范和所述存储结构信息，对所述原始数据进行格式转化，得到所述目标数据平台所需的标准数据；通过上述技术方案，解决了多源异构数据接入平台无法处理的问题，减少了数据接入时的工作量。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

因为每个数据平台可能采用不同的数据存储格式进行数据存储，导致了多源异构数据的存在。由于数据来源、数据结构或数据标准等的不同，多源异构数据在类型、性质、形式和内容等方面均存在极大的差异，容易导致数据信息共享和互联互通障碍。

现有技术中，多源异构数据的传统处理方法是在所接入的数据平台处修改代码适配汇聚的数据，每次其他平台数据的结构发生改变时，都需要重新编写代码，而每次编码都需要投入专门的人力去做重复繁杂的开发工作，工作量过大。

因此，针对现有技术中存在的问题，亟待进行改善。

发明内容

本申请提供一种数据处理方法、装置、设备及存储介质，以解决多源异构数据接入平台无法处理的问题，减少数据接入时的工作量。

第一方面，本申请实施例提供了一种数据处理方法，该方法包括：

获取源数据平台生成的原始数据，以及目标数据平台的标准数据规范；

根据所述源数据平台的标识信息，确定所述原始数据的存储结构信息；

根据所述标准数据规范和所述存储结构信息，对所述原始数据进行格式转化，得到所述目标数据平台所需的标准数据。

第二方面，本申请实施例还提供了一种数据处理装置，该装置包括：

数据获取模块，用于获取源数据平台生成的原始数据，以及目标数据平台的标准数据规范；

结构信息确定模块，用于根据所述源数据平台的标识信息，确定所述原始数据的存储结构信息；

数据转化模块，用于根据所述标准数据规范和所述存储结构信息，对所述原始数据进行格式转化，得到所述目标数据平台所需的标准数据。

第三方面，本申请实施例还提供了一种电子设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例所提供的任意一种数据处理方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所提供的任意一种数据处理方法。

本申请实施例通过获取源数据平台生成的原始数据，以及目标数据平台的标准数据规范；根据所述源数据平台的标识信息，确定所述原始数据的存储结构信息；根据所述标准数据规范和所述存储结构信息，对所述原始数据进行格式转化，得到所述目标数据平台所需的标准数据。通过上述技术方案，依据标准数据规范和存储结构信息对原始数据进行格式转化，解决了多源异构数据接入目标数据平台无法处理的问题，同时，由于采用通用配置化的数据处理方案，在源数据平台的数据结构或者目标数据平台的标准数据规范发生改变时，仅需修改配置文件，把数据格式提前配置好，减少了数据接入时的工作量，提高了工作效率，另外，由于不需要对每种数据类型进行定制化开发，在代码层面扩展性更强。

附图说明

图1是本申请实施例一提供的一种数据处理方法的流程图；