[发明专利]数据处理方法、装置、系统和计算机可读存储介质

说明书

本公开涉及一种数据处理方法、装置、系统和计算机可读存储介质，涉及数据存储领域。本公开的方法包括：接收多个并发的数据写入请求，每个数据写入请求包括一组待写入的数据；获取当前状态为写入状态的分组的拓扑信息；其中，拓扑信息包括分组中各个存储分片的地址信息，不同的分组是根据时间顺序划分的；根据拓扑信息，将各组待写入的数据分配至分组中不同的存储分片，以便由分配的各个存储分片对应的各个存储引擎将各组待写入的数据写入对应的存储分片。

技术领域

本公开涉及数据存储领域，特别涉及一种数据处理方法、装置、系统和计算机可读存储介质。

背景技术

随着互联网技术的发展，数据量呈现爆炸式增长的特征，数据的存储和管理变得尤为重要。

时序数据是一种按照时间顺序记录的数据，例如，日志数据。时序数据存在持续高并发写入，冷热数据分明，数据重复等特性。

发明内容

本公开所要解决的一个技术问题是：提出一种针对时序数据进行存储的方法，更好的应对时序数据的持续高并发写入的特点。

根据本公开的一些实施例，提供的一种数据处理方法，包括：接收多个并发的数据写入请求，每个数据写入请求包括一组待写入的数据；获取当前状态为写入状态的分组的拓扑信息；其中，拓扑信息包括分组中各个存储分片的地址信息，不同的分组是根据时间顺序划分的；根据拓扑信息，将各组待写入的数据分配至分组中不同的存储分片，以便由分配的各个存储分片对应的各个存储引擎将各组待写入的数据写入对应的存储分片。

在一些实施例中，将各组待写入的数据分配至分组中不同的存储分片包括：针对一组待写入的数据，根据该组待写入的数据的标识信息计算该组待写入的数据的哈希值；根据该组待写入的数据的哈希值，确定对应的存储分片。

在一些实施例中，在分组被写满的情况下，分组的当前状态被修改为只读状态，分组被配置对应的时间窗口，时间窗口的范围根据创建时间和写满时间确定；并且另一个分组被创建并被设置为写入状态。

在一些实施例中，在分组的保留时长超过预设时长的情况下，分组中的数据被删除，保留时长是从分组的当前状态被修改为只读状态的时刻开始计时的。

在一些实施例中，待写入的数据是根据字符串压缩技术被压缩后写入对应的存储分片，字符串压缩技术包括将待写入的数据转换为枚举。

在一些实施例中，拓扑信息还包括：各个存储分片的版本信息；该方法还包括：将存储分片的版本信息发送至对应的存储分片，以便存储分片对版本信息进行验证；响应于接收到存储分片返回的版本信息错误的信息，从控制中心获取分组的正确的拓扑信息。

在一些实施例中，该方法还包括：接收客户端发送的数据查询请求；根据数据查询请求获取对应的分组的拓扑信息；根据拓扑信息向对应的分组中的各个存储分片发送数据查询请求，以便各个存储分片对应的各个存储引擎分别获取欲查询的数据；接收各个存储分片返回的欲查询的数据，将欲查询的数据进行合并，并返回至客户端。

在一些实施例中，根据数据查询请求获取对应的分组的拓扑信息包括：在数据查询请求包括时间范围的情况下，获取该时间范围对应的分组的拓扑信息；在数据查询请求不包括时间范围的情况下，获取全部分组的拓扑信息。

根据本公开的另一些实施例，提供的一种数据处理装置，包括：请求接收模块，用于接收多个并发的数据写入请求，每个数据写入请求包括一组待写入的数据；分组信息获取模块，用于获取当前状态为写入状态的分组的拓扑信息；其中，拓扑信息包括分组中各个存储分片的地址信息，不同的分组是根据时间顺序划分的；数据分配模块，用于根据拓扑信息，将各组待写入的数据分配至分组中不同的存储分片，以便由分配的各个存储分片对应的各个存储引擎将各组待写入的数据写入对应的存储分片。