[发明专利]高并发数据同步方法及系统

摘要

本发明提供一种高并发数据同步方法及系统，数据源端发送成功后和数据末端业务处理完毕后才做持久化，采用拆分的方式将数据源端的数据内容拆分成多块，并在后面加入一个合并线程以顺序的方式，以事务为单位进行处理，并将数据以Hash值进行分类并行发送，且使用消息中间件做缓冲，可启动任意个接收端并行收取数据。本发明可在保证数据一致性的前提下极大地提高高并发下数据同步的处理能力。

主权项

一种高并发数据同步方法，其特征在于包含以下步骤：步骤1，数据源端启动拆分线程，该拆分线程从持久化区域读取上次同步位置，并定时读取数据库的最新位置，该拆分线程针对该上次同步位置和该最新位置所对应范围内的数据段进行拆分，并将拆分的数据段放入代办拆分的拆分池中；步骤2，该数据源端启动多个数据采集线程，该多个数据采集线程不断从该拆分池中读取拆分的数据段消费；步骤3，该数据源端启动合并线程，该合并线程中的事务池针对每个拆分的数据段中读取到的数据进行事务控制；步骤4，该合并线程按顺序执行事务池中的任务，该合并线程将事务完成的数据根据该事务下动作键值的Hash算法进行分类，并行发送给该数据源端启动的多个发送线程；步骤5，该多个发送线程将分类的数据发送到消息中间件，且在发送完毕后该合并线程首先进行判断，如若到发送截至位置无未完结事务，则将该最新位置写入该数据源端启动的持久化线程，并由该持久化线程异步写入该持久化区域；否则不做持久化；步骤6，数据末端启动多个接收线程并行接收该消息中间件中缓冲的数据，且该数据末端在业务完成后使用该消息中间件做持久化。