[发明专利]一种数据存储的方法和装置

说明书

本发明公开了一种数据存储的方法和装置，该方法通过用户写入数据的时候，尤其是大规模数据时，采用EC编码技术对用户写入集群的数据分别拆分成若干个数据块和校验块，而无需对数据进行缓存或者备份，直接将拆分后的数据块和校验块存储到对应的存储单元中，只要保证丢失的数量不超过校验块的数量，则可以保证整个数据仍然是完整的，从而使得数据存储操作简单，减少了备用存储空间，降低了备份成本。

技术领域

本发明涉及计算机通信技术领域，尤指一种数据存储的方法和装置。

背景技术

目前，随着大数据时代的到来，给人们的生活带来了财富和便利，同时，大数据通常具有数据规模大、存储时间长、可靠性要求高等要求，使得存储系统通常需要实现冗余和容灾，也就意味着同样的数据需要存储多个副本，使得存储成本很高。

现有技术中，常见的对大规模数据进行存储所采取的冗余方式通常是：将同样的数据保存在不同的机器或者机房中，并且保存多份，其中，每一份备份的数据都称之为该数据的一个副本，例如：将位于三个不同物理位置的机房，分别对数据进行备份，保存为三个副本，这样使得实际占用的存储空间是原数据量的三倍，也就意味着数据的存储成本增长为三倍。

但是，采用现有技术，使得大规模数据存储的操作复杂，且成本很高。

发明内容

为了解决上述技术问题，本发明提供了一种数据存储的方法和装置，能够帮助大规模数据快速安全的进行备份，从而使得大规模数据存储操作简单，减少了备用存储空间，降低了备份成本。

为了达到本发明目的，第一方面，本发明实施例提供了一种数据存储方法，该方法包括：

获取至少一个集群，接收用户写入所述集群中的数据，采用EC编码将所述数据分别划分为预定数量的数据块和校验块；

从所述集群中确定至少一个逻辑单元，将所述逻辑单元划分为与所述数据块和所述校验块一一对应的存储单元，其中，划分后所述存储单元的数量与所述数据块和校验块的数量总和相同；

获取所述数据的唯一识别码，将所述唯一识别码和所述数据块和校验块中的数据分别保存到对应的存储单元中。

本发明提供的一种数据存储的方法，通过用户写入数据的时候，尤其是大规模数据时，采用EC编码技术对用户写入集群的数据分别拆分成若干个数据块和校验块，而无需对数据进行缓存或者备份，直接将拆分后的数据块和校验块存储到对应的存储单元中，只要保证丢失的数量不超过校验块的数量，则可以保证整个数据仍然是完整的，从而使得数据存储操作简单，减少了备用存储空间，降低了备份成本。

在一个实施例中，接收用户写入所述集群中的数据，采用EC编码对所述数据分别划分为预定数量的数据块和校验块，包括：

将同一时间接收到用户写入所述集群中的数据，在同一时间采用EC编码对所述数据分别划分为预定数量的数据块和校验块，其中所述校验块的数量。

通过实时EC可以及时地对数据进行处理，不需要缓存或者备份，提高了数据存储的效率。

在一个实施例中，在将所述唯一识别码和所述数据块和校验块中的数据分别保存到对应的存储单元中之后，还包括：

返回访问所述数据的钥匙Key给用户，其中，所述钥匙Key的内容至少包括：所述数据的唯一识别码、集群的序列号和存储单元的编号。

通过返回保存成功后数据的钥匙给用户，其中，所述钥匙包括：唯一识别码、集群的序列号和存储单元的编号，可以方便用户快速地找到想要的数据，同时也便于进行数据管理。

在一个实施例中，在返回所述钥匙Key给用户之后，还包括：

若接收到用户发送的所述钥匙Key时，则解析所述钥匙Key中所述集群的序列号和所述存储单元的编号。