[发明专利]一种基于PageRank的数据块预缓存方法

摘要

一种基于PageRank的数据块预缓存方法；其包括统计记录数据块调度情况；模型的构建；模型的更新；模型的保存；模型的加载；模型保存周期H的设定；基于PageRank算法的排序；缺块中断；数据块的预调入等。本发明是一种针对大数据处理过程中数据块频繁磁盘IO而造成的服务性能下降和数据块缓存命中率不高问题提出的解决方案，可广泛应用到大数据处理过程中，通过实时的统计记录数据块调度情况，再根据空间局部性、时间局部性和通过PageRank算法计算出来的数据块之间的紧密关系，采用预调入的方式，将要数据块主动的推送到缓存中，从而提高数据块缓存的命中率，大幅度的提高服务的性能。

主权项

1.一种基于PageRank的数据块预缓存方法，其特征在于：包括如下步骤：步骤一、判断系统是否存在数据模型，若是存在数据模型，将在指定的目录下加载数据模型,根据数据模型初始化每个数据块的PageRank值，然后进入步骤六；否则进入步骤二；步骤二、初始化数据模型所需要的各个参数；步骤三、统计数据块在Δt时间内使用的情况，根据数据块被访问的先后关系，生成数据块之间的关系矩阵A，其公式为:式中参数：i＝j＝n，ak,q表示当数据块k被访问时，下一时刻访问数据块q的次数，且k＝q时ak,q＝0，ak,q为数据块k与数据块q的关系度，n表示计算机使用的总数据块数；步骤四、通过上述关系矩阵A，生成概率转移矩阵M，根据PageRank公式V’，计算出每个数据块的PageRank值，模型构造完成；根据每个数据块的PageRank值，进行模拟，具体的模拟过程为：将PageRank值高的N个数据块标识出来，并将这N个数据块调入缓存，统计Δt1内，被标记的N个数据块使用次数n1以及计算机使用的总数据块数n，则Δt1内命中率p＝n1/n；V’表示为：V'＝αMV+(1‑α)e式中参数：α表示计算机直接在缓存中使用数据块的概率，1‑α表示计算机发生缺块中断从磁盘中使用数据块的概率，M表示关系矩阵A的概率转移矩阵，V表示每次迭代中的PageRank值，且元素中的n表示计算机使用的总数据块数；步骤五、判断上述命中率p是否大于预设的命中率P，若是大于，将模型投入实际生产中；否则执行步骤三；步骤六、将PageRank值高的N个数据块调入缓存；步骤七、统计数据块的使用情况，更新关系矩阵A；步骤八、在数据处理过程中，读取数据时判断数据是否在缓存中，若在缓存中，计算机就从缓存的数据块中读取数据；否则发生缺块中断，执行步骤十一；步骤九、判断是否到了保存模型的时间，若时间到了，保存或更新模型；否则执行步骤七；步骤十、将此时刻的数据模型保存或更新到磁盘上，以便计算机重启的时候直接加载模型；步骤十一、判断缺块中断的次数MBIs是否大于初始化设定的值C，若是大于，首先将当前正在访问的数据块调入缓存，同一时刻进行模型更新；否则，将当前正在访问的数据块调入到缓存，记录调入缓存的数据块，同时将缺块中断次数MIBs加1。