[发明专利]一种数据采集方法、装置、系统及电子设备

说明书

本发明实施例提供了一种数据采集方法、装置、系统及电子设备，涉及数据分析领域。具体实现方案为：获取针对目标服务程序的服务请求；基于所述服务请求，确定用于数据流统计的数据内容，作为所述服务请求对应的采集内容；以及，将所述服务请求转发至所述目标服务程序，以由所述目标服务器程序对所述服务请求进行请求响应。通过本方案，对服务请求进行数据采集，在确定出服务请求对应的待统计数据后，便将服务请求转发至目标服务程序进行响应，可以实现针对服务程序的数据流进行数据采集的同时，降低服务程序对于服务请求的响应延迟。

技术领域

本发明涉及数据分析技术领域，特别是涉及一种数据采集方法、装置、系统及电子设备。

背景技术

服务程序是厂商为用户提供某种服务的程序产品。而为了掌握服务程序的运营情况，通常需要了解针对服务程序的数据流的情况。

相关技术中，对于服务请求的处理是串行处理，服务程序基于服务请求且依赖外部数据库进行数据采集，进而，响应该服务请求。

但是，相关技术中服务程序从接收服务请求到响应请求的延时性很高，尤其，对于服务请求并发量较大且延迟性要求很严格的服务程序，显然无法适用。

发明内容

本发明实施例的目的在于提供一种数据采集方法、装置、系统及电子设备，以实现针对服务程序的数据流进行数据采集的同时，降低服务程序对于服务请求的响应延迟。具体技术方案如下：

第一方面，本发明实施例提供了一种数据采集方法，应用于数据采集装置，所述数据采集装置与待统计数据流的目标服务程序相通信，所述方法包括：

获取针对目标服务程序的服务请求；

基于所述服务请求，确定用于数据流统计的数据内容，作为所述服务请求对应的采集内容；

将所述服务请求转发至所述目标服务程序，以由所述目标服务器程序对所述服务请求进行请求响应。

可选地，所述基于所述服务请求，确定用于数据流统计的数据内容，作为所述服务请求对应的采集内容之后，所述方法还包括：

基于所述服务请求对应的采集内容，对所述目标服务程序进行数据流统计。

可选地，所述基于所述服务请求对应的采集内容，对所述目标服务程序进行数据流统计，包括：

将所述服务请求对应的采集内容发送至预定消息中间件，以使预定统计程序从所述预定消息中间件获取采集内容，基于所获取到的采集内容，分析所述目标服务程序的数据流。

可选地，所述将所述服务请求对应的采集内容发送至预定消息中间件，包括：

将所述服务请求对应的采集内容缓存至预定数组；

在所述预定数组中的采集内容满足预定转发条件时，向所述预定消息中间件转发所述预定数组中的采集内容。

可选地，所述预定统计程序基于所获取到的采集内容，分析所述目标服务程序的数据流，包括：

从所获取到的采集内容中，确定指定维度下的数据内容；

对所述指定维度下的数据内容进行预定统计处理。

可选地，所述预定统计程序对所述指定维度下的数据内容进行预定统计处理，包括：

将所述指定维度下的数据内容保存至数据库中，所述数据库为以所述指定维度为字段的数据库；

和/或

确定所述指定维度下的数据内容所属的目标取值，更新当前的指定单位时间下所述目标取值的统计量；其中，所述目标取值为所述指定维度所包括的各个维度值中的任一维度值。