[发明专利]一种小文件处理方法和装置有效
申请号: | 201711252485.3 | 申请日: | 2017-12-01 |
公开(公告)号: | CN109947721B | 公开(公告)日: | 2021-08-17 |
发明(设计)人: | 关墨辰;李林哲;王小丰;肖新光 | 申请(专利权)人: | 北京安天网络安全技术有限公司 |
主分类号: | G06F16/174 | 分类号: | G06F16/174;G06F16/16 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100195 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文件 处理 方法 装置 | ||
1.一种小文件处理方法,其特征在于,包括:
将每一个淘汰周期内还原的小文件写入到一个索引节点对应的大文件;不同淘汰周期内还原的小文件写入到不同索引节点对应的大文件;其中,所述小文件是小于预设大小的文件,所述大文件由若干个小文件整合而成;
在确定需要删除一个淘汰周期内还原的小文件后,删除该淘汰周期对应的大文件的元数据,并删除该淘汰周期对应的大文件;其中,一个大文件的元数据包括该大文件的存储位置;
一个大文件的元数据还包括该大文件中每个小文件与该大文件的关联信息,该大文件中的每个小文件的键key,该大文件中的每个小文件相对于该大文件的存储位置偏移量,该大文件中的每个小文件的文件长度,和该大文件中的每个小文件的最后引用时间;
将一个淘汰周期内还原的小文件写入到一个索引节点对应的大文件,包括:
根据待写入的小文件的key确定该淘汰周期对应的大文件或者该淘汰周期之前的淘汰周期对应的大文件中包含相同内容的小文件;
将包含相同内容的小文件的大文件中与待写入的小文件的内容相同的小文件的最后引用时间更新为待写入的小文件的还原时间。
2.如权利要求1所述的方法,其特征在于,一个大文件的元数据还包括该大文件中每个小文件与该大文件的关联信息,该大文件中的每个小文件的键key,该大文件中的每个小文件相对于该大文件的存储位置偏移量,该大文件中的每个小文件的文件长度,和该大文件中的每个小文件的最后引用时间;
将一个淘汰周期内还原的小文件写入到一个索引节点对应的大文件,包括:
根据待写入小文件的key确定该淘汰周期对应的大文件或者该淘汰周期之前的淘汰周期对应的大文件中包含相同内容的小文件;
将待写入的小文件写入到该淘汰周期对应的大文件中;并将元数据中与待写入的小文件的内容相同的小文件的存储位置偏移量,更新为待写入的小文件相对于该淘汰周期对应的大文件的存储位置偏移量;以及将元数据中内容相同的小文件与其大文件的关联信息,更新为待写入的小文件与该淘汰周期对应的大文件的关联信息;并将元数据中与待写入的小文件的内容相同的小文件的最后引用时间,更新为待写入的小文件写入到该淘汰周期对应的大文件中的时间。
3.如权利要求1所述的方法,其特征在于,一个大文件的元数据还包括该大文件中每个小文件与该大文件的关联信息,该大文件中的每个小文件的键key,该大文件中的每个小文件相对于该大文件的存储位置偏移量,该大文件中的每个小文件的文件长度,和该大文件中的每个小文件的最后引用时间;
将一个淘汰周期内还原的小文件写入到一个索引节点对应的大文件,包括:
根据待写入小文件的key确定该淘汰周期对应的大文件以及该淘汰周期之前的淘汰周期对应的大文件中不包含相同内容的小文件;
将待写入的小文件写入到该淘汰周期对应的大文件中,并将待写入的小文件与该淘汰周期对应的大文件的关联信息,待写入的小文件的key,待写入的小文件相对于该淘汰周期对应的大文件的存储位置偏移量,待写入的小文件的文件长度写入到元数据中;并将待写入的小文件写入到该淘汰周期对应的大文件中的时间作为待写入的小文件的最后引用时间,写入到元数据中。
4.如权利要求1-3任一所述的方法,其特征在于,在确定需要删除一个淘汰周期内还原的小文件之后,在删除该淘汰周期对应的大文件的元数据,并删除该淘汰周期对应的大文件之前,所述方法还包括;
确定待删除的大文件中最后引用时间不在该淘汰周期所表示的时间段内的各个小文件;其中,待删除的大文件为包含需要删除的淘汰周期内还原的小文件的大文件;
将所述待删除的大文件中的每一个最后引用时间不在该淘汰周期所表示的时间段内的小文件,写入到当前时间所在的淘汰周期对应的大文件中;并将各个写入的小文件与当前时间所在的淘汰周期对应的大文件的关联信息,各个写入的小文件的key,各个写入的小文件相对于当前时间所在的淘汰周期对应的大文件的存储位置偏移量,和各个写入的小文件的文件长度写入到元数据中;以及将各个写入的小文件写入当前时间所在的淘汰周期对应的大文件中的时间作为各个写入的小文件的最后引用时间,写入到元数据中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京安天网络安全技术有限公司,未经北京安天网络安全技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711252485.3/1.html,转载请声明来源钻瓜专利网。