[发明专利]数据处理的方法、装置与系统

说明书

技术领域

本发明涉及通讯技术领域，尤其涉及一种数据处理的方法、装置与系统。

背景技术

随着云计算技术的普及，云存储也越来越贴近用户的生活。用户可将终端上的数据存放在远程的云存储系统上，因此，可以极大的降低了对终端的存储需求。

当前，用户的终端将同一份原始数据复制多份，存放在不同的云存储系统上。当终端上的原始数据丢失或者损坏时，终端可从云存储系统中获取相应的原始数据。终端在获取原始数据时，如果某一个云存储系统出现故障，但只要还有一个云存储系统正常工作，则终端就可以获得相应的原始数据。同时，为了保护原始数据的安全性，终端还可将原始数据加密后，存放到不同云存储系统上。

但是，现有技术中数据处理的方案也暴露出一下缺陷：1)云存储系统的存储空间浪费严重。由于当前终端普遍将原始数据复制为三份，因此，存储空间的需求达到原始数据的3倍，对于云存储系统而言，存储成本过高，繁杂的原始数据也带来了很多额外的管理开销。

发明内容

本发明实施例提供了一种数据处理的方法、装置与系统，用以提高存储空间的利用率，同时，也节约管理成本。

在第一方面，本发明实施例提供了一种数据处理的方法，所述方法包括：

将原始数据等比例划分为第一数量个数据块；

确定所述第一数量个数据块对应的第二数量个校验码；

将所述第一数量个数据块和所述第二数量个校验码一同存储在至少1个远程存储集群内，或者，将所述第一数量个数据块和所述第二数量个校验码分别存储在至少2个且不同的远程存储集群内，或者，将所述第二数量个校验码存储在至少1个远程存储集群内，以便于当需要所述原始数据时，从所述远程存储集群处获取。

在第一种可能的实现方式中，所述确定所述第一数量个数据块对应的第二数量个校验码具体包括：

获取第二数量个校验斜率值；

根据所述校验斜率值，形成对应的第二数量个校验曲线，各所述校验曲线包括直线式校验曲线和非直线式校验曲线；

根据各所述校验曲线，获取各所述校验曲线穿过的所述第一数量个数据块中的多个数据单元；

将获取的多个所述数据单元进行异或运算，得到所述校验码。

结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一数量个数据块直线排列在线性缓冲区内；

或者所述第一数量个数据块环形排列在环形缓冲区内。

结合第一方面或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，当所述第一数量个数据块环形排列在环形缓冲区内时，得到的所述校验码的长度值与划分后的所述数据块的长度值相同；

当各所述校验曲线为非直线式校验曲线时，得到的所述校验码的长度值与划分后的所述数据块的长度值相同。

结合第一方面或第一方面的的第三种可能的实现方式，在第四种可能的实现方式中，所述当各所述校验曲线为非直线式校验曲线时，得到的所述校验码的长度值与划分后的所述数据块的长度值相同具体为：

当各所述校验曲线为非直线式校验曲线时，各所述校验曲线之间仅存在1个交点，且各所述校验曲线穿过的所述第一数量个数据块中的多个数据单元数量相同，则得到的所述校验码的长度值与划分后的所述数量块的长度值相同。

在第五种可能的实现方式中，所述当所述第一数量个数据块环形排列在环形缓冲区内时，将所述第一数量个数据块的载入地址以及初始值进行存储。

在第六种可能的实现方式中，所述远程存储集群包括：存储节点或者云存储；

所述将所述第一数量个数据块和所述第二数量个校验码一同存储在至少1个远程存储集群内，或者，将所述第一数量个数据块和所述第二数量个校验码分别存储在至少2个且不同的远程存储集群内，或者，将所述第二数量个校验码存储在至少1个远程存储集群内具体包括：

当所述远程存储集群为存储节点时，将所述第一数量个数据块和所述第二数量个校验码通过网络连接式存储网关一同存储在至少1个存储节点内，或者，将所述第一数量个数据块和所述第二数量个校验码通过网络连接式存储网关分别存储在至少2个且不同的存储节点内，或者，将所述第二数量个校验码存储在至少1个远程存储集群内；

当所述远程存储集群为云存储时，将所述第一数量个数据块和所述第二数量个校验码一同存储在至少1个云存储内，或者，将所述第一数量个数据块和所述第二数量个校验码分别存储在至少2个且不同的云存储内，或者，将所述第二数量个校验码存储在至少1个远程存储集群内。