[发明专利]基于副本复制算法的数据查询方法

说明书

技术领域

本发明属于分布式数据存储领域，具体地说是一种基于副本复制算法的数据查询方法。

副本复制领域，可将其应用到数据云存储、数据网格存储和分布式数据存储等领域。

背景技术

在分布式数据库系统中，为了获得较高查询速度和系统可靠性，经常需要使用副本复制技术。在副本分布上，源数据一般放在数据采集站点或经常有修改操作的站点上，而副本一般放在经常查询操作的站点上。一般情况下，修改主要集中在源数据上进行，为了保持数据的一致性，多个副本的一致性修改需要通过复制进行。常见的副本复制方式有主文本更新法、移动主文本法、快照方法和对等复制等。而这些复制方法都是将数据主本复制给不同站点的副本，即各个副本的内容都是完全一样的，这种情况存在的原因是过去或现在的某些复制需求以及处理流程比较简单。

传统的复制技术在数据副本间保持单拷贝一致性，Primary Copy、Tokens等算法是其典型代表。这些算法的共同特点是禁止对处于不一致状态的数据副本的访问。由于保持数据副本单拷贝一致性的代价过大，因此这些算法只能在高速、低延迟的局域网环境中使用。

在以P2P、网格、云为代表的网络计算（Internet Computing）环境中，现有的副本复制技术只能对无状态的数据、文件资源等进行复制，而不能对包含软硬件需求、有状态的服务形式进行复制。这种技术是针对数据、文件资源等静态无变化的副本进行复制，无法解决网络计算服务副本复制中的相应问题。

发明内容

为了克服现有算法存在的缺点，使分布式存储的整体性能达到最优, 选择被复制的副本不仅是当前价值最小的, 也应该是在以后的时间内价值最小的，本发明的目的是提供一种基于副本复制算法的数据查询方法。该方法通过基于副本流行度确定副本价值，在此基础上计算副本复制代价，然后使用最小均方误差（minimum mean square error）方法预测未来可用带宽，尽可能降低副本复制的代价，实现副本复制。本发明提高了分布式存储中的文本复制的效率，减少了网络带宽资源的消耗，在分布式存储领域具有重要的意义。

本发明的目的是通过以下技术方案来实现的：

一种基于副本复制算法的数据查询方法，其特征在于该方法综合考虑副本价值和复制代价因素，首先计算出节点上所有文件的流行度，基于流行度确定副本价值，然后计算副本复制的代价；对于每个网络链接，取其流量平均值，采用MMSE方法预测带宽；最后选择带宽最大的链接复制以获取副本；具体步骤如下：

1）基于副本流行度确定副本价值

副本价值用副本流行度表示，副本流行度越大，副本价值越大；副本流行度是指副本在一段时间内总的访问次数，通过统计文件访问记录获得；

(1)              流行度计算方法如下：

设每个文件初始流行度为0，该文件每被访问一次，则流行度加1；文件资源                                                在节点上的被访问次数为，称为文件资源在节点上的单点流行度；若节点上无资源，则= 0；初始流行度为0；

设为超节点所辖域内文件资源的总被访问频数，称为在域内的域内流行度；

                            （1）

为资源在各叶节点处单点流行度的总和，即对应域内流行度矩阵的第列元素之和；

(2)              副本价值的计算方法：

流行度定期执行衰减过程，设和分别表示衰减前后的文件流行度，则文件流行度利用公式

                           （2）

进行更新操作，其中

                             （3）

称为衰减函数，x表示上一次访问该副本的时间点与现在时间点之间的绝对值；将时间离散化初始时间点设为0，以后逐渐增加，λ∈（0，1）为衰减参数，通过改变λ的值调整衰减速率；

设为价值变化函数，它反映副本的动态变化性；价值变化函数使原先价值低的副本在经历一段时间后价值有所提高，从而获得更大的被保留的机会, 同时也使那些价值高的副本由于长时间没有被使用而丧失其积累的价值；被保留副本的价值变化情况为：

                              （4）

设副本价值为，则

                        （5）