[发明专利]一种通用的离线数据接入方法及系统

摘要

本发明公开了一种通用的离线数据接入方法及系统，基于离线数据接入通用处理模板，来适配多种业务数据接入。具有如下优点：1)数据接入与业务耦合度低，数据接入系统更为通用，音视频数据、图片数据、博客数据、即时通信数据等数据源，都可以采用该方法及系统；2)多节点分布式采集数据，在保证数据正确传输的前提下，提供传输的并行度和传输效率，并实现了负载均衡；3)提供完善的异常处理和报错机制；4)实时监控系统运行状态，系统更为稳定。

主权项

1.一种通用的离线数据接入方法，包括以下步骤：1)构建离线数据接入通用处理模板，所述离线数据接入通用处理模板的构建包括构建用于存储数据提供方提交的结构化和非结构化的数据文件的/ToPlatForm/Data目录和用于存储数据提供方提交的控制文件的/ToPlatForm/Ctrl目录；2)数据提供方根据步骤1)构建的离线数据接入通用处理模板提供规范化数据，包括：2‑1)将结构化数据采用Json格式封装成Json数据文件，然后在/ToPlatForm/Data目录中上传Json数据文件和非结构化数据，并在/ToPlatForm/Ctrl目录中上传Json数据文件和非结构化数据对应的控制文件；2‑2)数据提供方在数据文件和控制文件上传完成后，在/ToPlatForm/Ctrl目录中生成控制文件对应的.ok文件，以标识本次提交的所有文件均已正确上传；3)数据接收方根据步骤1)构建的离线数据接入通用处理模板从数据提供方多节点分布式采集数据并进行解析及存储。