[发明专利]一种数据处理方法、装置、设备及介质

说明书

本申请涉及数据存储技术领域，提供一种数据处理方法、装置、设备及介质，用于提高数据备份的效率。该方法包括：接收数据备份请求，获取包括多行数据的待备份数据表；确定所述待备份数据表的第一标识，基于所述第一标识确定一级分区；根据预存的第一参数和所述多行数据中每一行数据的哈希码，确定每一行数据的第二标识；同时启动多个线程，基于每一行数据的第二标识，分别将每一行数据备份至所述一级分区中对应的二级分区中。本申请实施例中同时启动多个线程进行并发备份，可以提高数据备份的效率。

技术领域

本申请涉及数据存储技术领域，具体涉及一种数据处理方法、装置、设备及介质。

背景技术

数据备份是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据复制到其它存储介质的过程。目前，通常都是将数据表中的数据全部导出到DUMP(转储)文件，将DUMP文件存储在另一个存储介质中，从而实现数据备份。这种备份数据表的方式不够灵活，整个数据表的数据备份过程用时较长。

发明内容

本申请实施例提供一种数据处理方法、装置、设备及介质，用于提高数据备份的效率。

第一方面，本申请提供一种数据处理方法，包括：

接收数据备份请求，获取包括多行数据的待备份数据表；

确定所述待备份数据表的第一标识，基于所述第一标识确定一级分区；

基于预存的第一参数和所述多行数据中每一行数据的哈希码，确定每一行数据的第二标识；

同时启动多个线程，基于每一行数据的第二标识，分别将每一行数据备份至所述一级分区中对应的二级分区中，其中，所述多个线程的数量是根据所述二级分区的数量确定的。

在本申请实施例中，接收数据备份请求之后，基于待备份数据表的第一标识和每一行数据的第二标识，将每一行数据分别备份至一级分区中对应的二级分区中，有效的将待备份数据表的多行数据隔离到了多个分区，进行了两次分区的备份方式更加灵活，且，本申请实施例中同时启动多个线程，可以多线程处理待备份数据表，并发对多行数据执行数据备份，从而提高备份数据表的效率。

在一种可能的实施例中，根据预存的第一参数和所述多行数据中每一行数据的哈希码，确定每一行数据的第二标识，包括：

以预存的第一参数为除数，将所述多行数据中每一行数据的哈希码进行取余处理后的值，确定为每一行数据的第二标识。

在本申请实施例中，将每一行数据的哈希码除以第一参数之后的余数作为每一行数据的第二标识，后续基于第二标识，可以将待备份数据中的多行数据均匀地分布到多个二级分区中，保证每个二级分区中的数据量均匀。且，余数的值较小，可以相对简化第二标识。

在一种可能的实施例中，在基于所述第一标识确定一级分区之后，所述方法还包括：

根据所述第一参数确定需要划分的二级分区的数量；

基于所述需要划分的二级分区的数量，将所述一级分区划分为多个二级分区。

在一种可能的实施例中，所述待备份数据表还包括表名，确定所述待备份数据表的第一标识，包括：

根据预存的多个业务类型与多个标识的对应关系，将所述表名中的业务类型对应的标识，确定为所述待备份数据表的第一标识，所述第一标识包括备份日期。

在本申请实施例中，根据业务类型与标识的对应关系，确定待备份数据表的第一标识的方式更加灵活，且第一标识包括备份日期，后续基于备份日期查找对应的备份数据进行数据恢复也更加方便。

在一种可能的实施例中，在基于每一行数据的第二标识，将每一行数据备份至所述一级分区中对应的二级分区中之后，所述方法还包括：