[发明专利]实现流式源数据解析的方法和装置

权利要求书

1.一种实现流式源数据解析的方法，其特征在于，所述方法包括：

拉取流式源数据，并缓存，所述流式源数据是流式地上报至数据源的数据；

调用与缓存的所述流式源数据相匹配的数据解析插件，所述数据解析插件是预先配置的，所述数据解析插件用于使得所述流式源数据的处理适配于所在的业务；

通过调用的所述数据解析插件处理所述缓存的流式源数据得到目标数据；

向指定目的地分发所述目标数据，所述目标数据通过所述分发进行数据落地。

2.根据权利要求1所述的方法，其特征在于，所述通过调用的所述数据解析插件处理所述缓存的流式源数据得到目标数据之后，所述方法还包括：

根据所述目标数据对应的流式源数据，得到所述目标数据所属数据单元的标识信息；

按照所述标识信息将所述目标数据写入数据单元；

将所述数据单元中的目标数据组装成消息文件，并建立所述消息文件与所述标识信息之间的映射关系，所述消息文件用于进行目标数据的分发。

3.根据权利要求2所述的方法，其特征在于，所述向指定目的地分发所述目标数据，包括：

根据所述消息文件映射的标识信息得到指定目的地；

向指定目的地分发所述消息文件，通过所述消息文件的分发使所述消息文件中组装的目标数据被分发至指定目的地。

4.根据权利要求3所述的方法，其特征在于，所述向指定目的地分发所述消息文件，通过所述消息文件的分发使所述消息文件中组装的目标数据被分发至指定目的地之后，所述方法还包括：

在所述消息文件被确认分发至目的地之后剔除所述消息文件，未被确认的消息文件则被积压等待重传；

根据积压的所述消息文件限制所述流式源数据的拉取，直至被积压的所述消息文件在数量上低于阈值之后消除所述限制。

5.根据权利要求2所述的方法，其特征在于，所述将所述数据单元中的目标数据组装成消息文件，包括：

通过配置的数据大小和超时时间控制所述数据单元中目标数据的组装，如果所述数据单元中目标数据达到配置的数据大小或超时，则将所述数据单元中的目标数据组装成消息文件。

6.根据权利要求2所述的方法，其特征在于，所述向指定目的地分发所述目标数据之后，所述方法还包括：

所述目标数据的后端处理中，接收通过所述消息文件分发的目标数据；

根据所述目标数据所属数据单元的标识信息，将所述目标数据写入所述数据单元进行缓存；

打包所述数据单元中的目标数据得到承载所述目标数据的本地文件；

将所述本地文件加入上传队列，将所述本地文件上传至所属数据单元对应的存储系统。

7.一种实现流式源数据解析的装置，其特征在于，所述装置包括：

数据拉取模块，用于拉取流式源数据，并缓存，所述流式源数据是流式地上报至数据源的数据；

插件调用模块，用于调用与缓存的所述流式源数据相匹配的数据解析插件，所述数据解析插件是预先配置的，所述数据解析插件用于使得所述流式源数据的处理适配于所在的业务；

数据处理模块，用于通过调用的所述数据解析插件处理所述缓存的流式源数据得到目标数据；

分发模块，用于向指定目的地分发所述目标数据，所述目标数据通过所述分发进行数据落地。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

标识获得模块，用于根据所述目标数据对应的流式源数据，得到所述目标数据所属数据单元的标识信息；

数据写入模块，用于按照所述标识信息将所述目标数据写入数据单元；

消息文件组装模块，用于将所述数据单元中的目标数据组装成消息文件，并建立所述消息文件与所述标识信息之间的映射关系，所述消息文件用于进行目标数据的分发。