[发明专利]数据同步方法、装置、电子设备、介质及产品

说明书

本申请提供一种数据同步方法、装置、电子设备、介质及产品，涉及数据传输领域。所述方法包括：根据源数据的配置文件，对所述配置文件进行解析处理，得到配置信息；根据所述配置信息，确定所述源数据对应的转换器；通过所述转换器，将所述源数据同步到目标数据库。以上方案，通过源数据的配置信息，确定对应的转换器，相比于通用的协议，对应的转换器可以对具体的源数据进行适配的处理，从而提升同步数据的适配性。

技术领域

本申请涉及数据传输领域，尤其涉及一种数据同步方法、装置、电子设备、介质及产品。

背景技术

数据库对于数据的存储以及查询具有安全稳定的优点，基于该优点，将数据源产生的数据同步到数据库可以长期进行存储。用户可以通过数据管理系统，对存储在数据库中的数据进行管理。

实际应用中，数据源产生的数据包括多种数据类型，需要对数据源产生的数据进行处理，将处理后的数据同步到数据库。

在相关技术中，通过通用协议对数据源产生的数据进行处理，将处理后的数据同步到数据库。然而，数据源种类很多，每种数据源产生的数据的类型也各不相同，通用协议的适配性差，会导致数据处理不合理，进而导致同步的数据适配性差。

发明内容

本申请提供一种数据同步方法、装置、电子设备、介质及产品，用于解决同步的数据适配性差的问题。

第一方面，本申请提供一种数据同步方法，包括：根据源数据的配置文件，对所述配置文件进行解析处理，得到配置信息；根据所述配置信息，确定所述源数据对应的转换器；通过所述转换器，将所述源数据同步到目标数据库。

在一种可能的实施方式中，通过所述转换器，将所述源数据同步到目标数据库，包括：通过所述转换器，对所述源数据进行转换处理，得到目标数据；通过管道将所述目标数据同步到目标数据库。

在一种可能的实施方式中，所述转换器用于执行以下转换类型中的至少一种：字段过滤、函数转换以及调整字段顺序。

在一种可能的实施方式中，通过管道将所述目标数据同步到目标数据库，包括：确定读取管道以及写入管道；根据所述读取管道以及所述写入管道，将所述目标数据同步到所述目标数据库。

在一种可能的实施方式中，确定读取管道以及写入管道，包括：获取用户输入的读写资源配置；根据所述读写资源配置，确定所述读取管道以及所述写入管道。

在一种可能的实施方式中，根据所述读写资源配置，确定所述读取管道以及所述写入管道，包括：根据所述读写资源配置，确定读取并行度以及写入并行度的比例；获取管道总数；根据所述比例以及所述管道总数，确定所述读取管道以及所述写入管道。

在一种可能的实施方式中，根据所述读取管道以及所述写入管道，将所述目标数据同步到所述目标数据库，包括：获取所述读取管道的读取管道数量，以及所述写入管道的写入管道数量；从所述目标数据中依次获取所述读取管道数量个所述源数据，通过所述读取管道向所述转换器发送所述源数据，通过所述转换器对所述源数据进行转换处理，得到所述目标数据；从所述转换器中依次获取所述写入管道数量个所述目标数据，通过所述写入管道同步到所述目标数据库。

在一种可能的实施方式中，根据所述配置信息，确定所述源数据对应的转换器，包括：获取配置信息与转换器的映射关系；通过所述配置信息与所述映射关系，确定所述源数据对应的转换器。

在一种可能的实施方式中，所述方法还包括：通过监控器获取每个所述源数据的数据同步状态，其中，所述数据同步状态包括同步成功或者同步失败；将所述数据同步状态发送到管理系统。

第二方面，本申请提供一种数据同步装置，包括：解析模块，用于根据源数据的配置文件，对所述配置文件进行解析处理，得到配置信息；确定模块，用于根据所述配置信息，确定所述源数据对应的转换器；同步模块，用于通过所述转换器，将所述源数据同步到目标数据库。