[发明专利]用于数据冗余储存的方法及装置

说明书

本申请公开一种用于数据冗余储存的方法及装置。涉及计算机数据处理领域，该方法包括：获取待处理数据；确定所述待处理数据的文件热度数值；根据所述文件热度数值与预定热度阈值确定所述待处理数据的热度等级；以及根据所述热度等级确定所述待处理数据的数据冗余策略。本申请公开的用于数据冗余储存的方法及装置，能够解决了高访问量带来的节点负载不均衡的问题，还能够解决由较少访问量数据产生的浪费存储空间的问题。

技术领域

本发明涉及计算机信息处理领域，具体而言，涉及一种用于数据冗余储存的方法及装置。

背景技术

财务系统存在着大量的对账单、交易流水等数据。为了保证数据的可靠性，通常采用副本冗余策略。一旦数据缺失或损坏，则可以使用备份的副本进行数据恢复。目前常用手段是采用完全副本冗余的方式保证数据的可靠性。完全副本冗余是将数据完整复制多份，分别存储在分布式存储系统的不同数据节点上，来提高数据的可用性和数据的并行处理效率。Hadoop分布式文件系统组件HDFS，采用的就是完全副本策略，HDFS默认采用的是三副本备份容灾，通过机架感知策略来进行数据存储，分别存放在本地机架节点、本地机架另一个节点、不同机架的节点上。基于文件分块的完全副本数据冗余策略是将数据文件进行分块，然后将各个文件块复制多个副本存储在不同的存储节点中。该策略与完全副本数据冗余策略类似，其主要区别在于所存储数据文件是完整的还是分块的。

传统的完全副本冗余机制对单数据节点进行数据复制建立冗余，具有很好的数据可用性，但是在多数据节点环境下，单纯的数据复制并不能保证数据较高的可用性。而且，完全副本冗余策略，将占据较大的系统存储空间。

因此，需要一种新的用于数据冗余储存的方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于数据冗余储存的方法及装置，能够解决了高访问量带来的节点负载不均衡的问题，还能够解决了较少访问量数据浪费存储空间的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提出一种用于数据冗余储存的方法，该方法包括：获取待处理数据；确定所述待处理数据的文件热度数值；根据所述文件热度数值与预定热度阈值确定所述待处理数据的热度等级；以及根据所述热度等级确定所述待处理数据的数据冗余策略。

在本公开的一种示例性实施例中，所述待处理数据包括：对账单数据与交易流水数据。

在本公开的一种示例性实施例中，所述根据所述热度等级确定所述待处理数据的数据冗余策略，包括：根据所述热度等级，通过完全副本冗余处理所述待处理数据。

在本公开的一种示例性实施例中，所述根据所述热度等级确定所述待处理数据的数据冗余策略，还包括：根据所述热度等级，通过副本缩减处理所述待处理数据。

在本公开的一种示例性实施例中，所述根据所述热度等级确定所述待处理数据的数据冗余策略，还包括：根据所述热度等级，通过RS纠删码冗余处理所述待处理数据。

在本公开的一种示例性实施例中，所述确定所述待处理数据的文件热度数值，包括：通过热度计算公式确定所述待处理数据的文件热度数值：

其中，H_i为第i个周期文件的热度，H_i-1为第i-1个周期文件的热度，m_i为第i个周期文件的访问次数，N_i为第i个周期系统中所有文件的总访问次数，a为历史访问系数，a>0，b为周期访问系数b>0，a+b＝1。

在本公开的一种示例性实施例中，所述热度计算公式，还包括：