[发明专利]数据写入方法、装置、数据写入设备和存储介质

说明书

本申请涉及数据处理技术领域，尤其涉及一种数据写入方法、装置、数据写入设备和存储介质。该数据写入方法应用于将数据写入HBase数据库的数据写入设备，所述数据写入方法包括：获取目标数据表的预分区信息，所述预分区信息包括有序的分区键序列；根据预设的洗牌规则，对所述分区键序列进行处理，得到目标分区键序列；获取目标随机数；根据所述目标随机数与所述目标分区键序列，确定待写入数据在所述目标数据表中对应的目标分区；将所述待写入数据写入所述目标分区中。采用该数据写入方法，可有效避免均匀并发写入导致的各分区同时清空的问题，同时有效保障系统并发性能的稳定。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据写入方法、装置、数据写入设备和存储介质。

背景技术

随着大数据时代的到来，数据库之间导入或导出的数据量也越来越大。主流的开源数据库HBase常用于解决上述问题。HBase是一个分布式的、面向列的开源数据库，使用HBase数据库时，由于每张表初始默认只有一个分区(region)，读写性能很差，因此目前常见的做法是在创建表的时候对表进行预分区，通过创建多个分区，提高表的读写并发性能。

然而，一方面，如果将数据时刻均匀的写入各分区，会因为长时间同时操作不同分区的多个文件数据表，底层磁盘I/O以及网络I/O的压力激增，从而导致表的写入/读取的速度急速下降。另一方面，如果写入数据分布不均匀，会导致各分区的数据出现数据倾斜，读写压力集中到数据热点的分区，从而造成系统性能瓶颈。

综上所述，如何有效写入数据，避免均匀并发写入导致的各分区同时清空以及系统性能降低，是当前需要解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种数据写入方法、装置、数据写入设备和存储介质，可有效避免均匀并发写入导致的各分区同时清空的问题，同时有效保障系统并发性能的稳定。

本申请实施例的第一方面提供了一种数据写入方法，应用于将数据写入HBase数据库的数据写入设备，所述数据写入方法包括：

获取目标数据表的预分区信息，所述预分区信息包括有序的分区键序列；

根据预设的洗牌规则，对所述分区键序列进行处理，得到目标分区键序列；

获取目标随机数；

根据所述目标随机数与所述目标分区键序列，确定待写入数据在所述目标数据表中对应的目标分区；

将所述待写入数据写入所述目标分区中。

在第一方面的一种可能的实现方式中，所述根据所述目标随机数与所述目标分区键序列，确定待写入数据在所述目标数据表中对应的目标分区，包括：

根据所述目标随机数，从所述目标分区键序列中确定目标分区键；

基于所述目标分区键，确定所述待写入数据在所述目标数据表中对应的目标分区。

在第一方面的一种可能的实现方式中，所述根据预设的洗牌规则，对所述分区键序列进行处理，得到目标分区键序列，包括：

获取目标时间戳与预设时间戳，所述目标时间戳为系统的当前时间戳；

计算所述目标时间戳与所述预设时间戳的差值；

若所述目标时间戳与所述预设时间戳的差值大于预设洗牌时间阈值，则对所述分区键序列进行洗牌处理，并将经过洗牌处理后的分区键序列确定为目标分区键序列。

在第一方面的一种可能的实现方式中，所述数据写入方法还包括：

若所述目标时间戳与所述预设时间戳的差值小于或等于所述预设洗牌时间阈值，则所述分区键序列即为目标分区键序列。

在第一方面的一种可能的实现方式中，所述数据写入方法还包括：