[发明专利]一种基于文件和数据块两级粒度的副本替换方法及系统

权利要求书

1.一种基于文件和数据块两级粒度的副本替换系统，该系统用于为广域的基于内容分布式的系统提供一种数据副本替换策略，所述系统包含：文件管理子系统和数据块管理子系统；

所述文件管理子系统，用于处理替换系统内部的文件请求并生成与其相连接的文件缓存单元的文件副本替换策略；

所述数据块管理子系统，用于处理数据块请求、进行访问统计并生成与其相连的数据块缓存单元的数据块副本替换策略；

其中，所述数据块管理子系统向所述文件管理子系统报告数据块的使用状态信息；所述文件管理子系统和数据块管理子系统之间是一对多的关系。

2.根据权利要求1所述的基于文件和数据块两级粒度的副本替换系统，其特征在于，所述文件管理子系统进一步包含：

文件进入缓存单元：该单元在有对文件的读写请求时，从外部文件源处得到该文件；

文件副本替换退出策略生成单元，该单元首先将文件进入缓存单元得到的最新文件替换位于文件缓存单元上的被引用为否的文件；其次在LIRS机制的基础上，将引用距离和最近性之外的文件热度指标作为文件是否退出文件缓存单元的依据，即当有若干个文件满足引用距离和最近性指标退出文件缓存单元的条件时，要进一步选择文件热度低的文件作为最终退出文件缓存单元的文件；和

基于数据块信息更新文件状态信息的单元，该单元从数据块管理子系统接收数据块统计信息，将数据块的使用次数累加到对应数据块的访问次数，且当数据块退出数据块管理子系统时，对该数据块的被引用计数减1，当被引用计数值为0时，表示没有数据块管理子系统缓存或访问该数据块；依据各数据块的访问次数，更新文件热度；依据各数据块的被引用计数，更新文件被引用状态；

其中，所述数据块统计信息包括数据块的使用次数、数据块退出所述数据块管理子系统所连接的缓存单元的时刻。

3.根据权利要求2所述的基于文件和数据块两级粒度的副本替换系统，其特征在于，所述数据块管理子系统进一步包含：

基于LIRS机制生成数据块替换策略的单元，该单元采取LIRS机制处理所有数据块进入数据块缓存单元、数据块被访问和退出数据块缓存单元的操作；

数据块统计单元，该单元在数据块进入数据块缓存单元时和被访问时，对数据块引用进行累加计数；

数据块统计信息上报单元，该单元在某数据块退出数据块缓存单元时，将该数据块的退出信息及数据块统计单元进行的累加计数信息同时上报所述基于数据块信息更新文件状态信息的单元。

4.一种基于文件和数据块两级粒度的副本替换方法，该方法用于为广域的基于内容分布式的系统提供一种数据副本替换策略，所述方法包含：

用于数据块级的副本替换步骤；

用于文件级的副本替换步骤；

其中，所述数据块级的副本替换步骤为文件级的副本替换步骤提供低层信息来源，即所述数据块级的副本替换步骤向所述文件级的副本替换步骤报告数据块的使用状态信息供其生成文件副本的替换策略。

5.根据权利要求4所述的基于文件和数据块两级粒度的副本替换方法，其特征在于，所述用于数据块级的副本替换步骤进一步包含：

步骤1，基于LIRS的数据块副本替换步骤，该步骤采取LIRS机制将数据块副本存入数据块缓存单元、数据块副本被访问以及数据块副本退出数据块缓存单元；

步骤2，统计数据块信息的步骤，该步骤在数据块副本进入数据块缓存单元和被访问时，对数据块引用进行累加计数；

步骤3，数据块统计信息上报步骤，当有数据块副本退出数据块缓存单元时，触发上报上步骤统计的数据块信息及该数据块副本退出数据块管理子系统所连接的数据块缓存单元的时间信息。

6.根据权利要求5所述的基于文件和数据块两级粒度的副本替换方法，其特征在于，所述用于文件级的副本替换步骤进一步包含：

步骤1，文件进入缓存步骤，该步骤在有对文件的读写请求时，触发文件管理子系统从外部文件源处得到其所需的文件；

步骤2，文件副本替换步骤，该步骤首先将上步骤得到的文件副本替换位于文件缓存单元中被引用为否的文件；其次在LIRS机制的基础上，将引用距离和最近性之外的文件热度指标作为文件是否退出缓存单元的依据，即当有若干个文件满足引用距离和最近性指标退出缓存单元的条件时，要进一步选择文件热度低的文件作为最终退出文件缓存单元的文件；

步骤3，更新文件的步骤，该步骤依据从数据块管理子系统接收的数据块统计信息，将数据块的使用次数累加到对应数据块的访问次数，并当数据块退出一数据块管理子系统时，对该数据块的被引用进行减1操作，当被引用计数为0时表示没有数据管理子系统缓存或访问该数据块；依据各数据块的访问次数，更新文件热度；依据各数据块的被引用情况，更新文件被引用状态；

其中，所述数据块统计信息包括使用次数、数据块副本退出该数据块管理子系统所连接的缓存单元的时间。