[发明专利]实现流式源数据解析的方法和装置

说明书

本公开揭示了一种实现流式源数据解析的方法和装置。所述方法包括：拉取流式源数据并缓存；调用与缓存的流式源数据相匹配的数据解析插件；通过调用的所述数据解析插件处理缓存的流式源数据得到目标数据；向指定目的地分发目标数据，目标数据通过所述分发进行数据落地。在此实现过程中，将流式源数据处理插件化，只要按照拉取的流式源数据调用数据解析插件即可支持此流式源数据的数据格式，完成其所对应的实时解析和落地存储过程，而并不需要重新进行相应的业务开发，也将使得所实现的数据汇集能够支持各种数据格式，甚至于新的数据格式，所需的工作量也只是编码对应的数据解析插件，全面支持各种数据源的流式源数据解析。

技术领域

本公开涉及数据处理技术领域，特别涉及一种实现流式源数据解析的方法和装置。

背景技术

随着互联网应用的迅猛发展，为用户提供服务的多种业务，在其运营中会源源不断的产生大量数据，例如，用户在实现此业务的服务中不断上报的数据等。因此，可使得各业务方都作为一数据源，进行一个或者多个数据源中数据的汇集。

在所进行的数据汇集中，数据被流式地上报至数据源，由此，将涉及到流式源数据的实时解析和落地存储过程。

在此过程中，首先需要按照落地存储的需求，而进行流式源数据的解析。然而，现有数据解析的实现仅能够支持较少的数据源格式，可扩展性较为欠缺，对于与其所支持的数据源格式不相符的业务而言，则不得不重新进行业务开发。

发明内容

为了解决相关技术中流式源数据的实时解析和落地存储可扩展性欠缺的技术问题，本公开提供了一种实现流式源数据解析的方法和装置。

一种实现流式源数据解析的方法，所述方法包括：

拉取流式源数据，并缓存，所述流式源数据是流式地上报至数据源的数据；

调用与缓存的所述流式源数据相匹配的数据解析插件，所述数据解析插件是预先配置的；

通过调用的所述数据解析插件处理所述缓存的流式源数据得到目标数据；

向指定目的地分发所述目标数据，所述目标数据通过所述分发进行数据落地。

一种实现流式源数据解析的装置，所述装置包括：

数据拉取模块，用于拉取流式源数据，并缓存，所述流式源数据是流式地上报至数据源的数据；

插件调用模块，用于调用与缓存的所述流式源数据相匹配的数据解析插件，所述数据解析插件是预先配置的；

数据处理模块，用于通过调用的所述数据解析插件处理所述缓存的流式源数据得到目标数据；

分发模块，用于向指定目的地分发所述目标数据，所述目标数据通过所述分发进行数据落地。

本公开的实施例提供的技术方案可以包括以下有益效果：

进行数据源中流式源数据的拉取和缓存，流式源数据即为流式地上报至数据源的数据，调用与缓存的流式源数据相匹配的数据解析插件，数据解析插件是预先配置的，通过调用的数据解析插件处理缓存的流式源数据得到目标数据，并最终向指定目的地分发目标数据，目标数据通过分发进行数据落地，在此实现过程中，将流式源数据处理插件化，只要按照拉取的流式源数据调用数据解析插件即可支持此流式源数据的数据格式，完成其所对应的实时解析和落地存储过程，而并不需要重新进行相应的业务开发，也将使得所实现的数据汇集能够支持各种数据格式，甚至于新的数据格式，所需的工作量也只是编码对应的数据解析插件，全面支持各种数据源的流式源数据解析。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明