[发明专利]一种基于XML模板的对象数据清洗转换方法

说明书

本发明涉及信息技术技术领域，提供了一种基于XML模板的对象数据清洗转换方法。目的在于解决硬编码数据清洗、加工的问题、编码完成需要重启服务的问题，扩展业务场景清洗，需要重复开发代码等问题。主要方案包括获取其他数据库对表操作信息的json报文；通过XML规则模板的数据源过滤标签，对JSON报文进行数据源过滤，筛选出需要清洗的待清洗数据通过XML规则模板数据清洗规则，对待清洗数据进行清洗，得到待操作的数据信息；在待操作的数据信息中，选择待操作表名和该表中一个字段作为XML源数据业务主键，并定义在XML规则模板中；将XML源数据业务主键与本地数据库的表及字段关联，生成可以对本地数据库对应的表进行插入、删除、更新、查询操作的SQL语句。

技术领域

本发明涉及信息技术技术领域，提供了一种基于XML模板的对象数据清洗转换方法。

背景技术

在现在的软件系统架构中，对象转换以及数据清洗是经常遇到的问题。现如今网络异常发达，经常会遇到跨系统、服务的接口调用，会存在将其它系统中的数据转换存储到本系统，以便本系统办理业务交易。结合其它系统数据结构的特异性，清洗为本系统的需求数据格式。我们可以采用硬编码的方式进行转换，这种方式虽然可行，但是灵活性太差，在业务扩展需求不断变化的情况下，会产生太多的维护、开发量，耗费大量的人力、物理成本，这种代价在网络飞速发达的互联网金融行业无法忍受，所以开发了这个数据清洗转换方法，针对不同的数据库，不同的表结构、表字段，清洗为理想的字段属性。

基于XML模板的模板的对象数据清洗转换方法，可以通过配置化清洗报文请求数据，解决了硬编码数据清洗、加工的问题、编码完成需要重启服务的问题，以及扩展业务场景清洗，需要重复开发代码等问题。灵活性大大提升、业务扩展简单、维护运营成本大大降低。

发明内容

本发明的目的在于解决硬编码数据清洗、加工的问题、编码完成需要重启服务的问题以及扩展清洗业务场景，需要重复开发代码等问题。

为解决上述技术问题，本发明采用以下技术手段：

一种基于XML模板的对象数据清洗转换方法，包括以下步骤：

步骤1、通过kafka获取数据总线的包含了其他数据库对表操作信息的json报文；

步骤2、通过XML规则模板的数据源过滤标签，对JSON报文进行数据源过滤，筛选出需要清洗的待清洗数据，待清洗数据包含了表名和字段信息；

步骤3、通过XML规则模板数据清洗规则，对待清洗数据进行清洗，得到待操作的数据信息；

步骤4、在待操作的数据信息中，选择待操作表名和该表中一个或多个字段作为XML源数据业务主键，并定义在XML规则模板中；

步骤5、将XML源数据业务主键与本地数据库的表及字段关联，生成可以对本地数据库对应的表进行插入、删除、更新、查询操作的SQL语句。

上述技术方案中，数据清洗规则包括：

简单清洗规则：解析接收到的json报文，并对指定的字段复制到对应的值；

复杂清洗规则：解析接收到的json报文，对指定字段做数学运算、类型转换或者逻辑处理后得到对应的值。

自定义清洗规则：解析接收到的json报文，属性扩展自定义函数方法，并得到对应的值。

上述技术方案中，所述简单清洗规则如下：

声明简单映射关系simple标签，包含映射描述，用于备注当前简单映射关系的desc的属性；

声明请求参数表中字段映射的结果表属性值relation，包含属性：

col：包含声明清洗目标表字段；

relation值：声明请求来源表字段。