[发明专利]数据处理方法、装置、电子设备和计算机可读存储介质

说明书

本公开关于一种数据处理方法、装置、电子设备和计算机可读存储介质，数据处理方法：获取线上动作流数据；确定目标采集任务的对象筛选信息和目标字段；根据对象筛选信息和目标字段，从线上动作流数据中筛选出目标数据，其中，对象筛选信息用于从线上动作流数据中筛选出相应对象的数据；存储目标数据。通过让客户端正常上报埋点数据并形成线上动作流数据，再从线上动作流数据中获取测试所需的目标数据，无需对客户端进行额外开发，可有效降低开发成本。

技术领域

本公开涉及计算机应用技术领域，尤其涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着移动互联网的发展，移动端app可实现的功能越来越多样，在某一功能上线后，产品经理通常需要通过埋点数据查看该功能对app使用情况的影响。当前埋点测试中，通常通过代理的方式对客户端上报的埋点数据进行拦截，这种方案需要在客户端进行额外的操作，使客户端经代理上报数据，因而会带来客户端的开发成本。

发明内容

本公开提供一种数据处理方法、装置、电子设备和计算机可读存储介质，以至少解决相关技术中的开发成本高的问题，也可不解决任何上述问题。

根据本公开的第一方面，提供了一种数据处理方法，包括：获取线上动作流数据；确定目标采集任务的对象筛选信息和目标字段，其中，所述对象筛选信息用于从所述线上动作流数据中筛选出相应对象的数据；根据所述对象筛选信息和所述目标字段，从所述线上动作流数据中筛选出目标数据；存储所述目标数据。

可选地，所述数据处理方法还包括：获取数据校验信息，所述数据校验信息与所述目标采集任务相关；根据所述数据校验信息，对所述目标数据进行校验处理。

可选地，所述根据所述数据校验信息，对所述目标数据进行校验处理，包括：获取所述目标数据对应的客户端配置信息；根据所述数据校验信息，从所述客户端配置信息中选择配置校验参数；对照所述配置校验参数，对所述目标数据进行校验处理。

可选地，所述获取所述目标数据对应的客户端配置信息，包括：从服务代理获取所述目标数据对应的客户端配置信息；其中，所述客户端配置信息通过以下步骤得到：所述服务代理响应于识别到配置请求，获取服务器针对所述配置请求反馈的客户端配置信息，其中，所述配置请求由产生所述目标数据的设备发出。

可选地，所述数据处理方法还包括：获取产生所述目标数据的设备的设备信息；其中，所述获取数据校验信息，包括：在所述目标采集任务运行结束前请求回调接口，以获取所述目标采集任务的任务参数，所述任务参数包括任务标识和设备信息；对照所述目标数据对应的设备信息和所述任务参数中的设备信息，确定与所述目标数据对应于同一设备信息的任务标识，记为目标任务标识；根据所述目标任务标识，获取所述数据校验信息。

可选地，所述设备信息是设备序列号，所述目标数据包括设备标识，其中，所述获取产生所述目标数据的设备的设备信息，包括：查询映射信息，所述映射信息记录设备序列号和设备标识的映射关系；根据所述映射信息和所述目标数据中的设备标识，确定产生所述目标数据的设备的设备序列号。

可选地，所述目标采集任务配置有至少一个采集用例，所述任务参数还包括每个采集用例的用例标识和每个采集用例的发生时段，所述目标数据还包括时间信息，其中，所述根据所述目标任务标识，获取所述数据校验信息，包括：将所述目标数据的时间信息与所述目标任务标识对应的每个采集用例的发生时段相对照，确定与所述目标数据在时间上相对应的采集用例的用例标识，记为目标用例标识；根据所述目标任务标识和所述目标用例标识，获取所述数据校验信息。

可选地，所述数据处理方法还包括：基于存储的所述目标数据，动态展示所述目标数据的走势曲线。

可选地，所述数据处理方法还包括：根据所述对象筛选信息，从所述线上动作流数据中筛选出相应对象的数据，记为初筛数据；将所述初筛数据与所述目标数据分开存储。