[发明专利]数据处理方法和系统及装置

说明书

一种处理数据的方法，其包括：对预定大小的数据块进行编码，生成与所述数据块对应的纠错数据块，其中，所述数据块包括数据对象，其中所述数据对象包括，关键字，值，以及元数据；生成数据块索引以及数据对象索引，所述数据块索引用于索引所述数据块及与所述数据块对应的纠错数据块，所述数据对象索引用于在所述数据块中索引所述数据对象，其中，每个数据对象索引用于索引唯一一个数据对象。

技术领域

本发明涉及计算领域，并且更具体地，涉及一种数据处理方法和系统及装置。

背景技术

随着内存价格的下降，分布式内存存储系统广泛应用于分布式运算系统中，用于存储热数据，其中键值(key-Value,KV)对存储是使用最为广范的数据存储方式，当前主流的商用的产品有Memcached，Redis，RAMCloud等，在Twitter、Facebook以Amazon的数据存储系统中有商业化应用。

分布式内存存储系统的主流容错方法主要是全备份方案，其方式是将一份数据整体复制到不同的设备上，当部分设备失效时，可以使用备份在其他未失效的设备上的备份数据来恢复失效设备中的数据。这种实现方案简单可靠，但存在较大的数据冗余，至少需要两份以上的备份。而且为保证数据一致性，修改数据时的效率不高。

另外一种容错方案是纠删码编码(Erasure Coding，EC)容错方案，使用纠删码技术，对数据编码，得到纠删码(Parity)，纠删码的长度一般会小于原数据，通过将原数据和纠删码分布到不同的多个设备上，当部分设备失效时，可以通过部分的原数据和部分的纠删码恢复完整的数据，这样整体的数据冗余率就小于2，实现节省内存的目的。

当前主流的使用纠删码的技术有LH*RS、Atlas、Cocytus等，这些技术采用的是对键值对(KV)的值进行纠删码编码，对键值对的其他数据仍然采用全备份方案。具体来说，通常某一个第一目标数据(Object)的KV数据结构中的包含三部分，Key，Value，以及Metadata，其中，Key为所述第一目标数据唯一的标示符，通过Key可以唯一的确定对应的第一目标数据；Value则是所述第一目标数据的实际内容；而，Metadata内保存着第一目标数据的一些属性信息，比如Key的大小，Value的大小，创建/修改所述第一目标数据的时间戳等信息。采用目前主流的纠删码技术对一个第一目标数据进行备份时，第一目标数据的Metadata和Key这两部分使用全备份方案，将Value采用EC方案。例如，若需要存储备份三个数据对象，使用M1、M2、M3及Data1、Data2、Data3表示，其中M是指数据对象的Metadata和Key，Data指数据对象的Value，将Data1、Data2、Data3使用EC编码，得到纠错码Parity1和Parity2，然后将Data1、Data、Data3、Parity1、Parity2这5份数据分布到5个设备上，然后将M1、M2、M3全复制三份，部署到5个设备上。

这种方案也可以称之为部分编码存储方案。部分编码存储方案在存储大数据对象的场景下，也就是Metadata和Key的数据长度要远小于Value的数据长度这种场景下具有较高的存储效率。但是，这种方案在处理小数据对象时效率低下，因为小数据对象中，Metadata和Key与Value的数据长度的大小差异不大，甚至Metadata和Key的数据长度大于Value的数据长度。从Facebook公布的资料，存储在内存存储中的数据对象中的绝大多数都是小数据对象，甚至有40％以上都小于11bit，说明绝大多数数据都是小数据，而这种部分编码存储方案并不能发挥EC编码的优势，而使得数据存储冗余较大，存储成本增加。

发明内容

本申请提供一种数据处理方法和系统及装置，可以降低数据对象存储的数据冗余，降低存储成本。

第一方面，本申请提供了一种处理数据的方法，其包括：对预定大小的数据块进行编码，生成与所述数据块对应的纠错数据块，其中，所述数据块包括数据对象，其中所述数据对象包括，关键字，值，以及元数据；