[发明专利]基于多级缓存的数据统计方法、装置、终端及存储介质

说明书

本发明涉及金融科技技术领域，公开了一种基于多级缓存的数据统计方法、装置、终端设备及计算机存储介质。该基于多级缓存的数据统计方法通过根据采集到的关键数据和所述关键数据的数据类型构建消息数据；检测所述消息数据的类型属性，并基于所述类型属性确定所述消息数据对应的缓存层级；按照所述缓存层级将所述消息数据添加至对应的存储空间进行缓存；在所述存储空间中对所述消息数据进行批量上传并删除。本发明能够实现针对消息数据进行多级缓存，有效降低数据丢失率，此外，本发明在不同缓存层级的存储空间当中，批量的对消息数据进行整合上传，提高了数据的上传效率，且，避免了数据对终端内存的大量和长时间占用，保证了终端运行性能。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种基于多级缓存的数据统计方法、装置、终端设备及计算机存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。

如图5所示，现有的数据统计架构通常可以由数据收集模块、数据格式化整合模块以及数据发送模块三个部分组成。这其中，数据收集模块是数据统计SDK(SoftwareDevelopment Kit，软件开发工具包)对外提供的API(Application Interface，应用程序接口)，开发者在APP(Application，应用软件程序)中进行业务埋点以后，待用户操作该APP时便会触发数据统计API从而构造消息-Message，然后，将构造得到的消息-Message再通过数据格式化模块进行整合处理，最后，通过数据发送模块将经过整合处理之后的消息-Message发送到后台服务器。

然而在实际的应用场景中，由于消息-Message构造产生的速度太快，使得数据发送无法及时完成以致消息-Message严重占用终端存储空间或者造成数据丢失，从而影响终端系统的运行以及数据统计的性能。

发明内容

本发明的主要目的在于提供一种基于多级缓存的数据统计方法、装置、终端设备及计算机存储介质，旨在解决现有数据统计的架构会对终端存储空间以及造成数据丢失，严重影响终端运行和数据统计性能指标的技术问题。

为实现上述目的，本发明提供一种基于多级缓存的数据统计方法，所述基于多级缓存的数据统计方法包括：

根据采集到的关键数据和所述关键数据的数据类型构建消息数据；

检测所述消息数据的类型属性，并基于所述类型属性确定所述消息数据对应的缓存层级；

按照所述缓存层级将所述消息数据添加至对应的存储空间进行缓存；

在所述存储空间中对所述消息数据进行批量上传并删除。

可选地，在所述根据采集到的关键数据和所述关键数据的数据类型构建消息数据的步骤之前，还包括：

基于预设应用程序接口收集关键数据和所述关键数据的数据类型；

或者，基于预设数据埋点采集关键数据并检测所述预设数据埋点的重要程度，根据所述重要程度确定所述关键数据的数据类型。

可选地，所述数据类型包括：重要类型、一般类型和非必要类型，

所述根据采集到的关键数据和所述关键数据的数据类型构建消息数据的步骤包括：

将所述关键数据进行组装并和所述重要类型、所述一般类型或者所述非必要类型结合，以构建得到类型属性为重要消息、一般消息或者非必要消息的消息数据。

可选地，所述缓存层级包括：内存缓存和数据库缓存，

所述检测所述消息数据的类型属性，并基于所述类型属性确定所述消息数据对应的缓存层级的步骤包括：