[发明专利]数据处理方法及装置

说明书

本发明公开了数据处理方法及装置，属于数据传输领域。该方法包括：确定节点的待同步数据与已同步数据的差集；存储所述差集中的待同步数据。使用本发明的方案，可以在网络异常、传输异常等情况下，保证服务器所同步的节点的数据不重复。

技术领域

本发明涉及数据传输技术领域，特别涉及数据处理方法及装置。

背景技术

在数据处理领域中，有时会涉及如图1所示的网络架构，即该网络架构包括：服务器11和节点12。

服务器11用于接收来自节点12的数据、并进行同步存储，这一过程即为同步数据。

节点12为客户端，数量为2个以上，每个节点12都具有唯一的身份标识，服务器11通过不同的身份标识来区分不同的节点12。

在节点12上传数据到服务器11时，如遇网络异常、传输异常等情况，需要重新多次上传数据，如何保证服务器11所存储数据的唯一性，成为需要解决的问题。

发明内容

本发明实施例提供了数据处理方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种数据处理方法，所述方法包括：

确定节点的待同步数据与已同步数据的差集；

存储所述差集中的待同步数据。

在所述方法基础上，作为可选的第一示例性实施例，所述方法还包括：

接收所述节点发送的待同步数据的标识；

或者，接收所述节点发送的待同步数据和待同步数据的标识。

在所述第一示例性实施例的基础上，作为可选的第二示例性实施例，所述确定节点的待同步数据与已同步数据的差集，包括：

比较节点发送的待同步数据的标识与所述已同步数据的标识；

将比较结果为不相同的待同步数据的标识所对应的待同步数据的集合，作为所述差集。

在所述第二示例性实施例的基础上，作为可选的第三示例性实施例，在接收所述节点发送的待同步数据的标识时，所述方法还包括：

向所述节点发送所述差集中的待同步数据的标识；

接收所述节点发送的所述差集中的待同步数据。

在所述第一示例性实施例的基础上，作为可选的第四示例性实施例，所述待同步数据的标识包括：所述节点最后一次同步数据之后最大同步数据量的每条待同步数据的标识。

在所述第四示例性实施例的基础上，作为可选的第五示例性实施例，所述方法还包括：

向所述节点发送所述最后一次同步数据的时间。

在所述方法及所述第一至第五示例性实施例的基础上，作为可选的第六示例性实施例，所述已同步数据包括：

同步存储区、待写入缓存和写入缓存中的数据。

在所述方法及所述第一至第五示例性实施例的基础上，作为可选的第七示例性实施例，所述存储所述差集中的待同步数据，包括：

将所述差集中的待同步数据传递至待写入缓存。

在所述第七示例性实施例的基础上，作为可选的第八示例性实施例，所述方法还包括：

在存储计时到达一个设定计时周期时，检测执行锁；