[发明专利]数据同步方法、装置、电子设备、介质及产品

权利要求书

1.一种数据同步方法，其特征在于，包括：

根据源数据的配置文件，对所述配置文件进行解析处理，得到配置信息；

根据所述配置信息，确定所述源数据对应的转换器；

通过所述转换器，将所述源数据同步到目标数据库。

2.根据权利要求1所述的方法，其特征在于，通过所述转换器，将所述源数据同步到目标数据库，包括：

通过所述转换器，对所述源数据进行转换处理，得到目标数据；

通过管道将所述目标数据同步到目标数据库。

3.根据权利要求2所述的方法，其特征在于，所述转换器用于执行以下转换类型中的至少一种：字段过滤、函数转换以及调整字段顺序。

4.根据权利要求3所述的方法，其特征在于，通过管道将所述目标数据同步到目标数据库，包括：

确定读取管道以及写入管道；

根据所述读取管道以及所述写入管道，将所述目标数据同步到所述目标数据库。

5.根据权利要求4所述的方法，其特征在于，确定读取管道以及写入管道，包括：

获取用户输入的读写资源配置；

根据所述读写资源配置，确定所述读取管道以及所述写入管道。

6.根据权利要求5所述的方法，其特征在于，根据所述读写资源配置，确定所述读取管道以及所述写入管道，包括：

根据所述读写资源配置，确定读取并行度以及写入并行度的比例；

获取管道总数；

根据所述比例以及所述管道总数，确定所述读取管道以及所述写入管道。

7.根据权利要求6所述的方法，其特征在于，根据所述读取管道以及所述写入管道，将所述目标数据同步到所述目标数据库，包括：

获取所述读取管道的读取管道数量，以及所述写入管道的写入管道数量；

从所述目标数据中依次获取所述读取管道数量个所述源数据，通过所述读取管道向所述转换器发送所述源数据，通过所述转换器对所述源数据进行转换处理，得到所述目标数据；

从所述转换器中依次获取所述写入管道数量个所述目标数据，通过所述写入管道同步到所述目标数据库。

8.根据权利要求1-7中任一项所述的方法，其特征在于，根据所述配置信息，确定所述源数据对应的转换器，包括：

获取配置信息与转换器的映射关系；

通过所述配置信息与所述映射关系，确定所述源数据对应的转换器。

9.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：

通过监控器获取每个所述源数据的数据同步状态，其中，所述数据同步状态包括同步成功或者同步失败；

将所述数据同步状态发送到管理系统。

10.一种数据同步装置，其特征在于，包括：

解析模块，用于根据源数据的配置文件，对所述配置文件进行解析处理，得到配置信息；

确定模块，用于根据所述配置信息，确定所述源数据对应的转换器；

同步模块，用于通过所述转换器，将所述源数据同步到目标数据库。

11.根据权利要求10所述的装置，其特征在于，

所述同步模块，具体用于通过所述转换器，对所述源数据进行转换处理，得到目标数据；

所述同步模块，具体还用于通过管道将所述目标数据同步到目标数据库。

12.根据权利要求11所述的装置，其特征在于，所述转换器用于执行以下转换类型中的至少一种：字段过滤、函数转换以及调整字段顺序。

13.根据权利要求12所述的装置，其特征在于，

所述同步模块，具体用于确定读取管道以及写入管道；

所述同步模块，具体还用于根据所述读取管道以及所述写入管道，将所述目标数据同步到所述目标数据库。