[发明专利]数据同步方法和装置

权利要求书

1.一种数据同步方法，其特征在于，包括：

获取待读取数据和所述待读取数据的源数据库对应的数据读取规律；其中，所述数据读取规律中记录有所述源数据库在各个预设网络质量参数下各个预设数据读取量所对应的数据读取耗时；

根据所述待读取数据的数据量、设定时刻的网络质量参数和所述数据读取规律，确定在所述设定时刻时所述待读取数据对应的数据读取策略，并根据所述数据读取策略从所述源数据库中读取所述待读取数据；

根据读取出来的所述待读取数据确定待向目标数据库写入的待写入数据，并获取所述目标数据库对应的数据写入规律；其中，所述数据写入规律中记录有所述目标数据库在各个预设网络质量参数下各个预设数据写入量所对应的数据写入耗时；

根据所述待写入数据的数据量、设定时刻的网络质量参数和所述数据写入规律，确定在所述设定时刻时所述待写入数据对应的数据写入策略，并根据所述数据写入策略将所述待写入数据写入所述目标数据库。

2.根据权利要求1所述的方法，其特征在于，根据所述待读取数据的数据量、设定时刻的网络质量参数和所述数据读取规律，确定在所述设定时刻时所述待读取数据对应的数据读取策略，包括：

根据所述待读取数据的数据量、设定时刻的网络质量参数和所述数据读取规律，在预先确定的第一分批次数选取区间中选取第一目标分批次数；

按照所述第一目标分批次数对所述待读取数据进行分批，并确定分批得到的各批数据的数据量；

根据所述第一目标分批次数和所述各批数据的数据量，生成在所述设定时刻时所述待读取数据对应的数据读取策略。

3.根据权利要求2所述的方法，其特征在于，根据所述待读取数据的数据量、设定时刻的网络质量参数和所述数据读取规律，在预先确定的第一分批次数选取区间中选取第一目标分批次数，包括：

根据所述待读取数据的数据量、设定时刻的网络质量参数和所述数据读取规律，计算所述第一分批次数选取区间中的特定分批次数值对应的数据读取耗时；根据所述数据读取耗时，在所述第一分批次数选取区间中通过逐级缩小区间范围的方式得到第一目标选取区间；

在所述第一目标选取区间内，根据每个分批次数值所对应的所述数据读取耗时，选取第一目标分批次数；其中，所述数据读取耗时指的是按照对应的分批次数值对所述待读取数据进行分批后，分批读取所述待读取数据所用的总耗时。

4.根据权利要求3所述的方法，其特征在于，根据所述待读取数据的数据量、设定时刻的网络质量参数和所述数据读取规律，计算所述第一分批次数选取区间中的特定分批次数值对应的数据读取耗时；根据所述数据读取耗时，在所述第一分批次数选取区间中通过逐级缩小区间范围的方式得到第一目标选取区间，包括：

按照预设的区间分割策略，将所述第一分批次数选取区间分割为两个数值连续的第一分批次数选取子区间，并确定每个所述第一分批次数选取子区间的边界值，将该边界值作为所述特定分批次数值；

针对每个所述特定分批次数值，按照该特定分批次数值对所述待读取数据进行分批，并根据各批数据的数据量、设定时刻的网络质量参数和所述数据读取规律，确定分批读取所述待读取数据所用的数据读取耗时；

根据每个所述特定分批次数值对应的所述数据读取耗时之间的大小关系，在两个所述第一分批次数选取子区间中选取一子区间作为缩小后的第一分批次数选取区间；

若缩小后的所述第一分批次数选取区间能够被分割成两个数值连续的子区间，则返回对第一分批次数选取区间进行分割的步骤继续执行，若不能，则将缩小后的第一分批次数选取区间作为所述第一目标选取区间。

5.根据权利要求1所述的方法，其特征在于，根据读取出来的所述待读取数据确定待向目标数据库写入的待写入数据，包括：

获取所述待读取数据对应的数据清洗规则，根据所述数据清洗规则，对读取出来的所述待读取数据进行数据清洗，得到待向目标数据库写入的待写入数据。