[发明专利]异构数据处理方法、装置、设备及存储介质

说明书

本申请实施例属于数据分析技术领域，具体提供一种异构数据处理方法、装置、设备及存储介质，在本申请实施例提供的异构数据处理方法中，首先获取待处理异构数据对应的目标解析模板，然后通过异构数据的解析模板，确定对待处理异构数据进行解析的解析方法，再基于目标解析模板中的子解析方法对待处理异构数据进行解析，从而获得待处理异构数据对应的目标解析结果。本方案中，由于无需编写解析代码即可实现对待处理异构数据的解析，其对解析人员的要求较低，可以降低异构数据的解析难度，提升异构数据的解析效率。

技术领域

本申请涉及数据分析技术领域，尤其涉及一种异构数据处理方法、装置、设备及存储介质。

背景技术

随着大数据的应用普及，海量异构数据急剧增加，异构数据为非统一格式组成的数据，例如，在HTML网页中，每个页面最外层结构虽然统一，但是承载具体信息部分却各式各样，无法进行调用。因此，在调用这些异构数据时，需要将其逐一进行格式转换，从而输出规范化、格式化的数据。

相关技术中，在处理异构数据时，通常需要根据该异构数据的数据格式，开发对应的处理程序，从而进行数据格式转换。但是通过该方式进行异构数据处理时，存在处理工作难度较大的问题。

发明内容

本申请提供一种异构数据处理方法、装置、设备及存储介质，用以解决异构数据处理难度大的问题。

一方面，本申请提供一种异构数据处理方法，包括：获取待处理异构数据对应的目标解析模板，目标解析模板中包括至少一个子解析方法；基于目标解析模板中的子解析方法对待处理异构数据进行解析，获得待处理异构数据对应的目标解析结果。

一些实施例中，基于目标解析模板中的子解析方法对待处理异构数据进行解析，获得待处理异构数据对应的目标解析结果，包括：针对待处理异构数据中的第N异构数据，从目标解析模板中获取第N异构数据对应的第N子解析方法，N为大于等于1的整数；基于第N子解析方法对第N异构数据进行解析，获得第N输出结果；根据第N输出结果，获得待处理异构数据的目标解析结果。

一些实施例中，第N输出结果中包含第N解析结果，根据第N输出结果，获得待处理异构数据的目标解析结果，包括：确定第N输出结果中是否包含第N+1异构数据；响应于第N输出结果中不包括第N+1异构数据，确定第1子解析方法至第N子解析方法对应的解析结果为待处理异构数据对应的目标解析结果。

一些实施例中，该异构数据处理方法，还包括：响应于第N输出结果中包括第N+1异构数据，从目标解析模板中获取第N+1异构数据对应的第N+1子解析方法；基于第N+1子解析方法对第N+1异构数据进行解析，获得第N+1输出结果。

一些实施例中，该异构数据处理方法，还包括：确定第N输出结果中是否包含不符合预设要求的第一数据；响应于第N输出结果中包含第一数据，丢弃第一数据。

一些实施例中，该异构数据处理方法，还包括：获取目标解析结果对应的预设输出格式；将目标解析结果转换为预设输出格式，获得待处理异构数据对应的最终解析结果；输出待处理异构数据对应的最终解析结果。

一些实施例中，该异构数据处理方法，还包括：获取原始异构数据，原始异构数据中包括待处理异构数据；根据预设解析结果，确定原始异构数据对应的子解析方法；基于多叉树原理，根据子解析方法，生成原始异构数据对应的解析模板，解析模板中包括多子个解析方法，解析模板包括父节点和叶子节点，父节点为异构数据，解析模板的叶子节点为基于子解析方法获得的异构数据的输出结果。

一些实施例中，根据预设解析结果，确定原始异构数据对应的子解析方法，包括：针对原始异构数据对应的第j异构数据，确定第j异构数据对应的原始解析方法集，j为大于1的整数；基于原始解析方法集中的第M原始解析方法解析第j异构数据，获得第M原始解析方法对应的第M解析结果，M为大于等于1的整数；根据第M解析结果和预设解析结果，确定第j异构数据的第j子解析方法；根据第j异构数据的第j子解析方法，确定原始异构数据对应的解析方法。