[发明专利]应用程序的数据采集方法、系统、设备和存储介质

说明书

本发明涉及数据处理技术领域，提供一种应用程序的数据采集方法、系统、设备和存储介质。数据采集方法包括：接收应用程序的访问请求，生成交互数据、埋点数据和埋点ID，埋点数据包括待监听的交互行为；将交互数据和埋点ID返回至应用程序以生成交互页面，将埋点数据以埋点ID为标识发送至消息队列；采集交互页面发生待监听的交互行为的用户行为数据，以埋点ID为标识上报至消息队列；自消息队列中获取具有相同埋点ID的埋点数据和用户行为数据，以埋点ID为关联关键词存储至数据仓库。本发明能减少返回给客户端的数据量，提高应用程序运行性能，减少客户端流量消耗；并通过埋点ID关联埋点数据和用户行为数据，提高数据采集准确性和效率。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种应用程序的数据采集方法、系统、设备和存储介质。

背景技术

应用程序在产品优化过程中，需要采集用户数据，根据用户数据对产品功能进行针对性改进。

现有技术中，常使用ABTEST(A/B测试)设计两种以上改进方案，根据用户流量分别推送，使用户分别看到不同的方案设计，然后根据两组以上用户的真实数据反馈，帮助进行产品优化决策。

ABTEST的效果离不开对埋点数据的采集和分析，即通过埋点监听用户在应用程序使用过程中的交互行为，获得用户数据，进而进行数据分析。现有技术中，服务端根据ABTEST的用户流量分配生成不同的埋点数据后，把所有的埋点数据返回给客户端。当用户产生预定的交互行为时，客户端会将埋点数据和用户数据一起上报给服务端，进而流入大数据，进行ABTEST的实验效果分析。

应用程序通常包括多个功能版块，每个功能版块可能对应一个业务部门。在应用程序的优化过程中，需要对各个功能版块进行埋点、采集和分析，导致返回给客户端的埋点数据越来越庞大臃肿，造成客户端性能下降，应用程序运行卡顿，也造成了用户流量浪费。

需要说明的是，在上述背景技术部分申请的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种应用程序的数据采集方法、系统、设备和存储介质，优化数据埋点和采集过程，解决客户端埋点数据不断臃肿造成的应用程序性能下降和流量浪费问题。

本发明的一个方面提供一种应用程序的数据采集方法，包括步骤：接收应用程序的访问请求，生成响应所述访问请求的交互数据；根据所述访问请求生成埋点数据，所述埋点数据包括待监听的交互行为，并生成用于唯一标识所述埋点数据的埋点ID；将所述交互数据和所述埋点ID返回至所述应用程序以生成交互页面，并将所述埋点数据以所述埋点ID为标识发送至一消息队列；采集所述交互页面发生所述待监听的交互行为的用户行为数据，将所述用户行为数据以所述埋点ID为标识上报至所述消息队列；以及自所述消息队列中获取具有相同埋点ID的埋点数据和用户行为数据，以所述埋点ID为关联关键词存储至数据仓库。

在一些实施例中，所述埋点数据还包括待监听的数据对象，所述待监听的数据对象是所述交互数据中的全部数据对象或部分数据对象；所述用户行为数据包括所述交互数据中发生所述待监听的交互行为的数据对象，以及发生的所述待监听的交互行为。

在一些实施例中，所述交互数据中的每个数据对象具有唯一标识码，所述待监听的交互行为包括曝光行为和点击行为。

在一些实施例中，所述埋点ID根据所述埋点数据中包括所述待监听的数据对象的部分关键数据生成。

在一些实施例中，所述自所述消息队列中获取具有相同埋点ID的埋点数据和用户行为数据的步骤在所述消息队列接收到上报的所述用户行为数据时被触发。