[发明专利]一种数据处理方法和装置

说明书

本发明涉及一种数据处理方法和装置，从目标数据库中获取初始数据，根据预先配置的数据预处理模块，对初始数据进行格式转换，得到目标数据，当目标数据库的数据格式发生变更时，只需调整对应的数据预处理模块，降低了后续数据处理难度，避免频繁调整数据处理模型，提升数据处理效率；获取目标数据的目标元数据，根据预设的数据处理数据库，获取与目标元数据相对应的目标数据处理类型，目标数据处理类型包括至少一个目标数据处理项目，根据各目标数据处理项目生成数据处理程序，执行各数据处理程序，得到与各目标数据处理项目相对应的数据处理结果，实现了可靠全面地数据处理，提升数据处理的准确性和可靠性。

技术领域

本发明涉及一种数据处理方法和装置。

背景技术

大数据时代的到来，使得在进行数据处理时，待处理的数据通常需要从不同应用场景中获取得到，而不同的应用场景中的数据采用的数据库可能存在一定的差异，即不同的数据库中的数据的格式可能不同，那么，数据处理模型从不同的数据库中获取数据时需要进行模型调整，只要数据库的格式发生变化，就要对数据处理模型的算法进行调整，不但增大了数据处理难度，而且，可能会频繁调整数据处理模型，数据处理效率较低。

发明内容

本发明提供一种数据处理方法和装置，用于解决现有的数据处理方法的处理效率低的技术问题。

一种数据处理方法，包括：

从目标数据库中获取初始数据；

根据预先配置的数据预处理模块，对所述初始数据进行格式转换，得到目标数据；

获取所述目标数据的目标元数据；

根据预设的数据处理数据库，获取与所述目标元数据相对应的目标数据处理类型，所述目标数据处理类型包括至少一个目标数据处理项目；其中，所述数据处理数据库包括至少两个元数据，以及与各元数据相对应的数据处理类型，各数据处理类型包括至少一个数据处理项目；

根据各目标数据处理项目生成与各目标数据处理项目相对应的数据处理程序；

执行各数据处理程序，对所述目标数据进行数据处理，得到与各目标数据处理项目相对应的数据处理结果。

优选地，所述从目标数据库中获取初始数据之前，所述数据处理方法还包括：

配置所述数据预处理模块。

优选地，所述配置所述数据预处理模块具体为：

获取所述目标数据库的数据库信息，并基于所述数据库信息确定所述目标数据库的数据库语言；

根据预设的关键词获取机制，获取所述目标数据的各个检索关键词；

根据所述数据库语言，构建与所述各个检索关键词相对应的数据采集语段；

将所有的数据采集语段进行封装，生成所述数据预处理模块。

优选地，所述根据各目标数据处理项目生成与各目标数据处理项目相对应的数据处理程序具体为：

获取与各目标数据处理项目相对应的初始数据处理程序文本；

将所述目标元数据写入各目标数据处理项目对应的初始数据处理程序文本中，得到与各目标数据处理项目相对应的数据处理程序。

优选地，所述初始数据处理程序文本为将对应的目标数据处理项目写入预先配置的通用SQL脚本中而得到的数据处理程序文本。

一种数据处理装置，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的数据处理方法。

本发明提供的数据处理方法的技术效果包括：