[发明专利]一种基于文件和数据块两级粒度的副本替换方法及系统

说明书

技术领域

本发明属于广域分布式系统技术领域，具体地说，本发明涉及一种基于文件和数据块两级粒度的副本替换方法及系统。

背景技术

在主存储读取速度低的条件下，缓存的使用对于提供数据访问速度起到了极其重要的作用。由于应用对数据的访问存在不同的规律，数据进入缓存和退出缓存就需要采取某种机制，最常用的方法是LRU(最近最少使用)替换机制。但LRU存在如下问题：不能处理弱访问局部性，比如：(1)文件扫描：一次访问的数据块不能被及时地替换；(2)类循环访问：最早被访问的数据块不幸地被替换；(3)以不同频率进行的访问：频繁被访问的数据块可被不幸地替换出。针对上述问题，美国俄亥俄大学的李晓东团队提出LIRS(Low Inter-reference Recency Set algorithm、低互引用最近性集合算法)机制。该机制首先定义IRR(Inter-reference Recency，互引用最近性)为在对该数据块的两次连续引用之间，所访问其他不同数据块数，即重用距离；其观察依据是一个高IRR数据块将不会被频繁使用，从而选择高IRR数据块加以替换；以最近性用作第二引用。LIRS的操作有四种情况：(1)初始化：直到LIR数据块集合满之前，所有被引用的数据块都被赋予一个LIR状态，同时将驻留HIR数据块放置于一个小型的LRU栈中；(2)在访问一个LIR数据块(一次命中)时的处理；(3)在访问一个驻留HIR数据块(一次命中)时的处理；(4)在访问一个非驻留HIR数据块(一次非命中)时的情况。其具体操作这里不再详述，可参见相关文献。

LIRS适用于数据粒度较小的情况。对于较大粒度的数据管理，比如数十兆、数百兆，甚至更大的数据文件，由于访问分布于文件的不同位置，造成与小粒度数据的规律不同，同时替换代价也不同。基于此，在广域分布式系统的数据管理中，就需要考虑不同的数据替换方法，本发明正是针对这一问题而提出的方法。

发明内容

本发明的目的是考虑大型文件尺寸条件下，在广域分布式系统中，针对访问分布于文件的不同位置、替换代价不同等特征，从而提供一种基于文件和数据块两级粒度的副本替换方法及系统。

为实现上述发明目的，本发明提供一种基于文件和数据块两级粒度的副本替换系统，该系统用于为广域的基于内容分布式的系统提供一种数据副本替换策略，所述系统包含：文件管理子系统和数据块管理子系统。

所述文件管理子系统，用于处理替换系统内部的文件请求并生成与其相连接的文件缓存单元的文件副本替换策略。

所述数据块管理子系统，用于处理数据块请求、进行访问统计并生成与其相连的数据块缓存单元的数据块副本替换策略。

其中，所述数据块管理子系统向所述文件管理子系统报告数据块的使用状态信息；所述文件管理子系统和数据块管理子系统之间是一对多的关系。

上述技术方案中，所述文件管理子系统进一步包含：

文件进入缓存单元：该单元在有对文件的读写请求时，从外部文件源处得到该文件。

文件副本替换退出策略生成单元，该单元首先将文件进入缓存单元得到的最新文件替换位于文件缓存单元上的被引用为否的文件；其次在LIRS机制的基础上，将引用距离和最近性之外的文件热度指标作为文件是否退出文件缓存单元的依据，即当有若干个文件满足引用距离和最近性指标退出文件缓存单元的条件时，要进一步选择文件热度低的文件作为最终退出文件缓存单元的文件。和

基于数据块信息更新文件状态信息的单元，该单元从数据块管理子系统接收数据块统计信息，将数据块的使用次数累加到对应数据块的访问次数，并当数据块退出一数据块管理子系统时，对该数据块的被引用计数减1，当被引用计数为值0时，表示没有数据块管理子系统缓存或访问该数据块；依据各数据块的访问次数，更新文件热度；依据各数据块的被引用计数，更新文件被引用状态。

其中，所述数据块统计信息包括数据块的使用次数、数据块退出所述数据块管理子系统所连接的缓存单元的时间。

上述技术方案中，所述数据块管理子系统进一步包含：

基于LIRS机制生成数据块替换策略的单元，该单元采取LIRS机制处理所有数据块进入数据块缓存单元、数据块被访问和退出数据块缓存单元的操作。

数据块统计单元，该单元在数据块进入数据块缓存单元时和被访问时，对数据块引用进行累加计数。和

数据块统计信息上报单元，该单元在某数据块退出数据块缓存单元时，将该数据块的退出信息及数据块统计单元进行的累加计数信息同时上报所述基于数据块信息更新文件状态信息的单元。