[发明专利]基于大数据的数据定制接入方法及系统

说明书

本发明公开了基于大数据的数据定制接入方法及系统，方法包括以下步骤：一：数据接入配置，根据不同类型的数据分别对Web‑ETL和接入申请单的属性进行配置，并生成对应的数据接入任务；二：执行数据接入，根据配置的数据接入任务类型分别选择Web‑ETL后端执行器、默认执行器和个性化扩展执行器分别进行执行处理，将读取的数据写入到队列中，并保存至目标数据库中。本发明采用了设计器与执行器分离，数据获取与数据入库分离，再加上Kafka消息中间件的方式实现数据接入，定义了一套数据类型之间互相转换的中间类型，可满足不同类型的数据之间的接入转换过程，能最大限度地保障数据完整准确接入。

技术领域

本发明涉及大数据接入技术领域，尤其涉及基于大数据的数据定制接入方法及系统。

背景技术

数据接入服务（Data Ingestion Service，简称DIS），在大数据平台落地的过程中，数据接入是必不可少的一个关键环节。面对各种来源、各种类型的数据，需要通过数据接入将这些零散的数据整合在一起，纳入统一的大数据平台。从数据类型的角度，数据接入主要包括结构化数据（数据库）的接入、日志数据的接入、IoT数据的接入和文件的接入。由于数据库种类多样，相同数据库不同版本之间都存在着差异，在不同类型的数据之间进行数据接入转换过程中，数据接入容易出现接入前后数据不一致的问题，且现有的数据接入服务不能满个性化的业务需求。

如申请号为 CN201310738771.6的专利公开了一种通用的数据接入方法及装置，该方法首先响应接收到的数据接入接口通过Web Service接口服务发送的接入请求，获取监测设备提供的监测数据中与接入请求相对应的目的监测数据，然后通过调用WebService接口服务，分批发送目的监测数据，并将分批发送的各个部分目的监测数据写入实时/历史数据库中，使得各个厂家的监测设备均可直接通过该方案提供的方法及装置将监测数据接入实时/历史数据库，且在接入过程中通过使用Web Service接口服务，避免了需要直接调用实时/历史数据库底层API的问题。但是该方案未定义不同数据类型之间互相转换的中间类型，不能最大限度地保障数据完整准确接入。

发明内容

本发明的目的在于克服现有技术的不足，提供基于大数据的数据定制接入方法及系统。

本发明的目的是通过以下技术方案来实现的：

基于大数据的数据定制接入方法，包括以下步骤：

步骤一：数据接入配置，根据不同类型的数据分别对Web-ETL和接入申请单的属性进行配置，并生成对应的数据接入任务；

步骤二：执行数据接入，根据配置的数据接入任务类型分别选择Web-ETL后端执行器、默认执行器和个性化扩展执行器分别进行执行处理，将读取的数据写入到队列中，并保存至目标数据库中。

具体的，所述步骤一中对Web-ETL属性的配置过程具体包括：对多个流程节点的处理过程进行配置，将各个流程节点与其上游节点的关系配置为内容输入，同时与其下游节点的关系配置为内容输出，采用多个流程节点组合形成一条数据接入流程并创建数据接入流程对应的数据接入任务。

具体的，所述步骤一中对接入申请单的属性配置过程具体包括：选择来源数据源及数据表/文件/接口、目标数据源及数据表，配置来源数据与目标数据表的数据项对应关系，同时配置数据接入处理方式，保存后平台根据配置的内容及处理方式自动生成相应的数据接入任务。

具体的，所述步骤二中的根据配置的数据接入任务类型分别选择Web-ETL后端执行器、默认执行器和个性化扩展执行器分别进行执行处理的过程具体包括：Web-ETL用于大数据的分批读取和复杂处理，可处理更复杂的数据接入逻辑；默认执行器用于数据的读写分离，通过Kafka消息队列和分布式部署进行数据接入；个性化扩展执行器用于默认执行器的基础上个性化的定制化数据接入需求。