[发明专利]一种远程数据同步的方法和装置

说明书

技术领域

本发明实施例涉及通信领域，尤其涉及一种远程数据同步的方法和装置。

背景技术

随着社会的发展和科技的进步，用户越来越依赖网络系统来处理各种事务。网络系统的正常运行依赖于数据中心系统的稳定运行，一旦数据由于某种原因丢失，将会使得某些功能陷入瘫痪，对用户造成不可估量的损失。为了保证源数据库中数据安全，通常采用备份数据的方式保证数据的连续性，将服务器上的源数据库的数据远程同步至目标数据库，以便于在服务器出现故障时，能使用目标数据库中的数据。

现有技术中，数据库之间的远程同步主要采用数据库本身数据的复制技术，数据库本身数据的数据量大，在远距离传输时，传输带宽需求大而且传输速度很慢，容易出现传输中断的问题。可见，现有技术中，无法快速、高效率的远距离传输数据；因此，亟需一种远程数据同步方法，快速、高效率的实现远距离传输数据。

发明内容

本发明实施例提供一种远程数据同步的方法和装置，用以快速、高效率的实现远距离传输数据。

本发明实施例提供一种远程数据同步的方法，包括：服务器获取日志文件中的M条数据记录；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；其中，所述M为大于等于2的整数；所述服务器根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；所述服务器针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录；其中，所述N为大于等于2、且小于等于M的整数；所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端；其中，所述K为大于等于1、且小于等于M的整数。

可选地，所述从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录，包括：从所述M条数据记录中，将所述N条数据记录中除日期最近的一条数据记录之外的N-1条数据记录删除。

可选地，所述服务器获取日志文件中的M条数据记录，包括：所述服务器获取事件流格式的日志文件；所述服务器解析所述事件流格式的日志文件，得到所述日志文件中包括的行变换对象流格式的所述M条数据记录。

可选地，所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端，包括：通过L个调度进程将所述K条数据记录中转换成L个工作对象流；其中，所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录；其中，所述L为大于等于1的整数；所述服务器将转换得到的L个工作对象流发送给所述终端。

可选地，所述服务器将转换得到的L个工作对象流发送给所述终端，包括：所述服务器对得到的L个工作对象流中的每个工作对象流进行序列化；所述服务器对序列化后的每个工作对象流进行压缩和加密，将得到的压缩和加密之后的每个工作对象流发送给所述终端。

本发明实施例提供另一种远程数据同步的方法，包括：终端接收服务器发送的所述M条数据记录中的K条数据记录；其中，所述K为大于等于1、且小于等于M的整数；所述M为大于等于2的整数；所述终端将所述K条数据记录发送至数据库；其中，所述K条数据记录是所述服务器获取日志文件中的M条数据记录；根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录之后得到的；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；所述N为大于等于2、且小于等于M的整数。

可选地，所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录，包括：所述终端接收所述服务器发送的序列化、且进行压缩和加密后的所述L个工作对象流中的每个工作对象流；其中，所述L个工作对象流为所述K条数据记录通过L个调度进程转换得到的；所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录；其中，所述L为大于等于1的整数；所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录之后，将所述K条数据记录发送至数据库之前，还包括：所述终端将所述每个工作对象流进行解密和解压缩，并对所述解密和解压缩后的每个工作对象流进行反序列化，得到K条数据记录。