[发明专利]基于大数据的数据定制接入方法及系统

权利要求书

1.基于大数据的数据定制接入方法，其特征在于，包括以下步骤：

步骤一：数据接入配置，根据不同类型的数据分别对Web-ETL和接入申请单的属性进行配置，并生成对应的数据接入任务；

步骤二：执行数据接入，根据配置的数据接入任务类型分别选择Web-ETL后端执行器、默认执行器和个性化扩展执行器分别进行执行处理，将读取的数据写入到队列中，并保存至目标数据库中。

2.根据权利要求1所述的基于大数据的数据定制接入方法，其特征在于，所述步骤一中对Web-ETL属性的配置过程具体包括：对多个流程节点的处理过程进行配置，将各个流程节点与其上游节点的关系配置为内容输入，同时与其下游节点的关系配置为内容输出，采用多个流程节点组合形成一条数据接入流程并创建数据接入流程对应的数据接入任务。

3.根据权利要求1所述的基于大数据的数据定制接入方法，其特征在于，所述步骤一中对接入申请单的属性配置过程具体包括：选择来源数据源及数据表/文件/接口、目标数据源及数据表，配置来源数据与目标数据表的数据项对应关系，同时配置数据接入处理方式，保存后平台根据配置的内容及处理方式自动生成相应的数据接入任务。

4.根据权利要求1所述的基于大数据的数据定制接入方法，其特征在于，所述步骤二中的根据配置的数据接入任务类型分别选择Web-ETL后端执行器、默认执行器和个性化扩展执行器分别进行执行处理的过程具体包括：Web-ETL用于大数据的分批读取和复杂处理，可处理更复杂的数据接入逻辑；默认执行器用于数据的读写分离，通过Kafka消息队列和分布式部署进行数据接入；个性化扩展执行器用于默认执行器的基础上个性化的定制化数据接入需求。

5.根据权利要求2所述的基于大数据的数据定制接入方法，其特征在于，所述数据接入流程包含一个输入源节点、N个数据转换节点和一个输出源节点；其中，输入源节点用于数据的分批读取；数据转换节点用于数据类型的转换；输出源节点用于将数据写入保存至目标数据库的数据表中。

6.根据权利要求4所述的基于大数据的数据定制接入方法，其特征在于，所述步骤二中在数据接入时默认执行器的执行步骤包括：先根据申请单ID获取申请单配置的参数内容；然后根据申请单配置连接数据库获取接入数据；最后封装处理数据，将数据写入Kafka队列中，内容包括目标库地址、目标表及数据内容。

7.一种采用权利要求1~6任意一项所述数据定制接入方法的数据定制接入系统，其特征在于，包括接入配置单元和数据接入单元；其中，

接入配置单元包括可视化配置模块，用于根据目标数据类型通过Web-ETL可视化界面创建数据接入任务；

接入申请单模块，用于选择相应数据并配置来源数据与目标数据表的数据项对应关系和配置数据接入处理方式，生成相应的数据接入任务；

数据接入单元包括Web-ETL后端执行器，用于通过Web-ETL可视化界面配置的数据接入任务，以及配置接入申请单时处理方式选择“Web-ETL”的数据接入任务将由Web-ETL后端执行器处理；

默认执行器，用于在配置申请单时进行数据接入，通过传入申请单ID获取接入数据并写入Kafka队列；

个性化扩展执行器，用于在数据接入时，根据传入申请单ID获取接入数据，并解析接入数据根据申请单配置对数据进行结构化处理，将结构化处理后的数据放入对应的Kafka队列。