[发明专利]高并发数据存储方法、装置、计算机设备和存储介质

说明书

本申请涉及数据存储技术领域，尤其涉及一种高并发数据存储方法、装置、计算机设备和存储介质。获取预存储到数据库中的所有数据，建立数据队列，对所述数据队列进行数据分组打包生成数个数据组；将所述数据组进行汇聚，当汇聚后的数据量达到预设的数据块生成阈值时，打包生成一数据块；获取预存储到数据库中的数据总数量和数据库写入频率阈值，建立数个数据缓存层，将所述数据块存入所述数据缓存层，获取分处于相邻上下两级所述数据缓存层中的数据块的通用节点，根据所述通用节点的数量确定每一级所述数据缓存层中的数据块数量。本申请通过多级缓存的方式，并且提升了数据入库的效率。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种高并发数据存储方法、装置、计算机设备和存储介质。

背景技术

高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间(Response Time)，吞吐量(Throughput)，每秒查询率QPS(Query PerSecond)，并发用户数等。响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms，这个200ms就是系统的响应时间。吞吐量：单位时间内处理的请求数量。QPS：每秒响应请求数。在互联网领域，这个指标和吞吐量区分的没有这么明显。并发用户数：同时承载正常使用系统功能的用户数量。例如一个即时通讯系统，同时在线量一定程度上代表了系统的并发用户数。

在进行大量数据需要即时分享且即时入库的场景下，容易引发高并发事件。通常在出现高并发时采用的解决方式是利用Kafka等开源软件对数据进行缓存，以减少并发发生的数目。

但是，在采用Kafka等开源软件时，存在着只有一级缓存，导致在数据超大时，数据丢失或者处理慢的问题，无法应对大数据时代对数据获取及时性的要求。

发明内容

有鉴于此，有必要针对大量数据入库时，发生高并发事件导致入库时间长，处理慢的问题，提供一种高并发数据存储方法、装置、计算机设备和存储介质。

一种高并发数据存储方法，包括如下步骤：

获取预存储到数据库中的所有数据，建立数据队列，对所述数据队列进行数据分组打包生成数个数据组；

将所述数据组进行汇聚，当汇聚后的数据量达到预设的数据块生成阈值时，打包生成一数据块；

获取预存储到数据库中的数据总数量和数据库写入频率阈值，建立数个数据缓存层，将所述数据块存入所述数据缓存层，获取分处于相邻上下两级所述数据缓存层中的数据块的通用节点，根据所述通用节点的数量确定每一级所述数据缓存层中的数据块数量。

在其中一个实施例中，所述获取预存储到数据库中的所有数据，建立数据队列，对所述数据队列进行数据分组打包生成数个数据组，包括：

对每一个需要写入到数据库中的数据来源进行ID标识，从每一个具有ID标识的数据来源中进行数据抽取；

汇集抽取出的数据，按照字母顺序或者数字顺序对从不同数据来源中抽取的数据进行排列，生成数据队列；

对所述数据队列进行特征字符检索，获取特征字符生成位置，根据所述特征字符生成位置对所述数据队列进行分组打包生成数个数据组。

在其中一个实施例中，所述将所述数据组进行汇聚，当汇聚后的数据量达到预设的数据块生成阈值时，打包生成一数据块，包括：

获取数据库中记载的每一个数据存储区域的数据量，得到所述数据块的生成阈值；

对将要写入到数据库中的数据组进行数据量统计，若任意一个数据组中的数据量均大于所述数据块的生成阈值，则应用哈希算法对所述数据块的生成阈值进行修订，使得所述数据块的生成阈值至少大于两个所述数据组的数据量之和；