[发明专利]基于大数据的数据定制接入方法及系统

摘要

本发明公开了基于大数据的数据定制接入方法及系统，方法包括以下步骤：一：数据接入配置，根据不同类型的数据分别对Web‑ETL和接入申请单的属性进行配置，并生成对应的数据接入任务；二：执行数据接入，根据配置的数据接入任务类型分别选择Web‑ETL后端执行器、默认执行器和个性化扩展执行器分别进行执行处理，将读取的数据写入到队列中，并保存至目标数据库中。本发明采用了设计器与执行器分离，数据获取与数据入库分离，再加上Kafka消息中间件的方式实现数据接入，定义了一套数据类型之间互相转换的中间类型，可满足不同类型的数据之间的接入转换过程，能最大限度地保障数据完整准确接入。