[发明专利]调整存储节点副本数量的方法和装置

说明书

本发明公开了调整存储节点副本数量的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：基于预测模型预测存储节点访问量；根据预测的存储节点访问量调整存储节点副本的数量；其中，根据历史数据构建原始序列，对原始序列进行累加生成累加序列，然后对累加序列建立一阶微分方程以获得预测模型。该实施方式能够节省存储空间；同时，对于失效存储节点数据的恢复，基于完全副本冗余技术只需下载一个存储节点就可以完成恢复过程，降低了系统开销。

技术领域

本发明涉及计算机技术领域，尤其涉及一种调整存储节点副本数量的方法和装置。

背景技术

随着计算机技术的发展，电子商务系统、财务系统、购票系统等各种服务类系统应运而生，这些系统存在着数据量大、访问不均匀的特点，例如电子商务系统和财务系统在某些大促日或某些特定时间访问量会骤然升高；购票系统在假日前后一段时间的访问量也会骤然升高。这些系统的数据存储于分布式系统的各个存储节点中，分布式系统是指建立在网络之上的软件系统，在分布式系统中，用户感觉不到数据是分布的，即用户不须知道关系是否分割、有无副本、数据存于哪个存储节点以及在哪个存储节点上执行等。如果同时出现大量的用户访问请求(即访问量骤然升高)，会使得存储这些系统数据的存储节点的负载压力变大，进而造成响应时间变长。

目前，分布式系统的存储方式有完全副本冗余机制和纠删码技术冗余机制。完全副本冗余机制是指在存储系统中为同一存储节点创建多个存储节点副本以提高数据资源的可用性，且所有的存储节点均设置相同数量的副本，将每个源数据存储于一个存储节点。纠删码技术冗余机制，是将f个源数据编码为n(n>f)个子数据，将n个子数据分别存储于n个存储节点，使得用这n个数据中任意f个编码数据即可重构出原始的f个数据。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.对于完全副本冗余机制，存储节点副本的数量难以确定，若存储节点副本的数量设置较小，则访问负载较高、系统吞吐量降低；若存储节点副本的数量设置较大，则消耗较多的存储空间；

2.对于纠删码技术冗余机制，当存储节点失效后，恢复数据的过程需要较大的系统开销，需要根据编码数据解码出原始数据。

发明内容

有鉴于此，本发明实施例提供一种调整存储节点副本数量的方法和装置，能够节省存储空间；降低了系统开销。

为实现上述目的，根据本发明实施例的一个方面，提供了一种调整存储节点副本数量的方法。

本发明实施例的一种调整存储节点副本数量的方法包括：基于预测模型预测存储节点访问量；根据预测的所述存储节点访问量调整存储节点副本的数量；其中，根据历史数据构建原始序列，对所述原始序列进行累加生成累加序列，然后对所述累加序列建立一阶微分方程以获得预测模型。

可选地，基于预测模型预测存储节点访问量包括：将存储节点的历史访问数据输入所述预测模型得到存储节点预测阵列；对所述存储节点预测阵列进行一次累减生成预测的所述存储节点访问量。

可选地，根据预测的所述存储节点访问量调整存储节点副本的数量包括：基于所述预测模型预测系统访问量；根据预测的所述存储节点访问量和预测的所述系统访问量计算存储节点预测热度；基于所述存储节点预测热度调整所述存储节点副本的数量。

可选地，基于所述预测模型预测系统访问量包括：将系统的历史访问数据输入所述预测模型得到系统预测阵列；对所述系统预测阵列进行一次累减生成预测的所述系统访问量。

可选地，所述存储节点预测热度根据如下公式确定：其中，H_i表示第i个周期的存储节点预测热度，H_j表示存储节点的平均历史热度，m_i表示预测的第i个周期的存储节点访问量，N_i表示预测的第i个周期的系统访问量，0≤p≤1,0≤q≤1，且p+q＝1。