[发明专利]一种通用的数据抽取转换方法

摘要

本发明提供一种通用的数据抽取转换方法，通过分析各类数据抽取处理规则及调度方法，总结出数据抽取处理的公共特征，然后，采用数据结构、抽取规则、抽取计划分别进行定义管理、源表数据字典定义、目标表结构设置、抽取规则设置、抽取计划设置，每类都可以灵活的设置相应的参数，用二维关系表记录数据结构、抽取规则、计划的信息，并作为元数据信息供其他服务或接口使用，提供数据全过程的血缘分析，用户界面采用具有业务含义的中文信息展现给使用者，采用业务与技术的低耦合，减少使用者对专业技术人员的依赖，满足业务人员在简单了解数据库知识的情况下，做出符合需求的复杂业务逻辑数据处理。

主权项

一种通用的数据抽取转换方法, 其特征在于通过分析各类数据抽取处理加载及调度方法，总结出数据抽取处理的公共特征，采用数据结构、抽取规则、抽取计划分别进行定义管理的方式，进行源表数据字典定义、目标表结构设置、抽取规则设置、抽取计划设置，其中，数据字典定义：定义源数据所在的数据库信息、表信息、字段信息、表及字段的业务含义各元数据信息；目标表结构设置：用来定义数据抽取处理后的结果表，包括：基本信息、索引信息、表及字段的业务含义各元数据信息；抽取规则设置：使用拖拽方式实现抽取规则，其中需要用到的源表信息、目标表信息、规则信息均用业务语言描述，抽取规则设置内容包括：查询组件、修改组件、删除组件、扩展组件、血缘分析；引导抽取规则设置包括以下内容：1）新建规则信息，设置内容包括：抽取类型、规则名称、规则描述、规则备注；2）参数维护，维护整个规则的参数，定义的参数，在所有组件中都能使用，参数内容包括：参数名称、显示名称、参数描述、参数值类型、参数长度、备注；3）抽取规则组件定义，根据业务需求逻辑规则，选择并定义多个抽取组件，组件信息包括：组件类型、组件名称、组件描述、是否已校验、是否使用、备注；4）规则校验，定义完成抽取规则组件后，验证规则的正确性，优化提示；抽取计划设置：抽取计划分为手动和自动抽取计划，自动抽取可自定义抽取频率，满足通常用到的各种抽取计划；以上抽取转换过程都是通过二维关系表方式来存储，采用本地元数据管理方式，将业务加载过程中的字典、结构、规则、计划内容沉淀为元数据，每一步的元数据为下一步提供信息支撑，具体步骤如下：1）准备数据库环境在数据库中创建1个表空间和用户，如下表用户/密码表空间表空间大小根据实际情况设定cqgj_dat200M2）部署系统应用①在建立的用户下导入已整理好的数据；②获得系统程序：CQGJ；③按默认选项创建域:cqgj _domain；④启动startWebLogic.cmd，进入weblogic控制台：包括：创建连接池cqgjpool，用户名/密码： 创建数据源，如cqgj_ds，注意JNDIName应为cqgj_ds，使用cqgjpool接池；⑤选择WebApplicationModules，选择cqgj应用进行部署。