[发明专利]一种通用的离线数据接入方法及系统

说明书

本发明公开了一种通用的离线数据接入方法及系统，基于离线数据接入通用处理模板，来适配多种业务数据接入。具有如下优点：1)数据接入与业务耦合度低，数据接入系统更为通用，音视频数据、图片数据、博客数据、即时通信数据等数据源，都可以采用该方法及系统；2)多节点分布式采集数据，在保证数据正确传输的前提下，提供传输的并行度和传输效率，并实现了负载均衡；3)提供完善的异常处理和报错机制；4)实时监控系统运行状态，系统更为稳定。

技术领域

本申请属于数据通信技术领域，涉及一种通用的离线数据接入方法及系统。

背景技术

目前的离线数据接入系统大都与特定的业务相关，根据业务的不同定制设计不同的接入接口，每个系统只针对特定的业务，无法将定制的系统应用到其他的数据处理业务。现有的开发出来的不同的数据接入系统，其数据提供方和数据接入系统没有可遵循的统一规范，这导致数据接入系统的使用具有局限性，通用性差。此外，现有系统大多采用单节点数据采集，传输效率低；异常处理和报错机制不完善，系统出错后难以在较短的时间内恢复。

发明内容

本发明的目的在于提供一种通用的离线数据接入方法及系统，基于离线数据接入通用处理模板，来适配多种业务数据接入。

为了实现上述目的，本发明采用以下技术方案：

一种通用的离线数据接入方法，包括以下步骤：

1)构建离线数据接入通用处理模板；

2)数据提供方根据步骤1)构建的离线数据接入通用处理模板提供规范化数据；

3)数据接收方根据步骤1)构建的离线数据接入通用处理模板从数据提供方多节点分布式采集数据并进行解析及存储。

进一步地，步骤1)中，所述离线数据接入通用处理模板的构建包括构建用于存储数据提供方提交的结构化和非结构化的数据文件的/ToPlatForm/Data目录和用于存储数据提供方提交的控制文件的/ToPlatForm/Ctrl目录。

进一步地，步骤2)中，所述数据提供方提供规范化数据的步骤包括：

2-1)将结构化数据采用Json格式封装成Json数据文件，然后在/ToPlatForm/Data目录中上传Json数据文件和非结构化数据，并在/ToPlatForm/Ctrl目录中上传Json数据文件和非结构化数据对应的控制文件；

2-2)数据提供方在数据文件和控制文件上传完成后，在/ToPlatForm/Ctrl目录中生成控制文件对应的.ok文件，以标识本次提交的所有文件均已正确上传。

进一步地，步骤3)中，所述数据接收方从数据提供方多节点分布式采集数据的步骤包括：

3-1)数据接收方读取/ToPlatForm/Ctrl目录下带有.ok文件的控制文件，采用FTP传输协议多节点分布式采集对应的/ToPlatForm/Data目录中的数据文件；

3-2)数据接收方完成数据文件采集后，在/ToPlatForm/Ctrl目录下生成控制文件对应的.dwd文件，以标识数据接收方已经采集完对应的数据文件。

进一步地，所述离线数据接入通用处理模板的构建还包括构建用于存储数据接收方下发的报错文件的/FromPlatForm/Feedback/Error目录。

进一步地，所述数据接收方在采集文件过程中出错时，在/FromPlatForm/Feedback/Error目录下生成以”Err_”开头接对应的控制文件文件名命名的报错文件，报错文件中指明出错文件的文件名和出错类型；数据接收方生成报错文件后，生成该报错文件的.ok文件，以标识此次报错完成；所述数据提供方定时读取FromPlatForm/Feedback/Error目录，根据报错信息做相应的处理。