[发明专利]一种小文件处理方法和装置

说明书

本发明实施例提供了一种小文件处理方法和装置，用以解决目前在涉及到大量小文件还原，且还原的小文件需要进行定期的删除的场景下，直接删除大量小文件会产生大量的随机访问，从而导致磁盘低效的问题。该方法包括：将每一个淘汰周期内还原的小文件写入到一个索引节点对应的大文件；不同淘汰周期内还原的小文件写入到不同索引节点对应的大文件；其中，所述小文件是小于预设大小的文件，所述大文件由若干个小文件整合而成；在确定需要删除一个淘汰周期内还原的小文件后，删除该淘汰周期对应的大文件的元数据，并删除该淘汰周期对应的大文件；其中，一个大文件的元数据包括该大文件的存储位置。

技术领域

本发明涉及文件处理技术领域，尤其涉及一种小文件处理方法和装置。

背景技术

目前，面对越来越复杂的网络攻击环境及多样的功能攻击手段，需要对网络流量中的数据进行文件还原，从而发现其中的潜在的、未知的威胁，并对网络数据取证留存。此时，检测分析设备可以旁路接入网络中，通过镜像方式获取网络数据，并进行文件还原，这会涉及到大量的文件还原，而还原的文件一般而言都是小文件并且文件重复率很低，这些还原的文件一旦产生就不会再修改；同时为了节省磁盘空间，还原的文件要定期删除，一般按照先产生先淘汰的特性进行删除，在删除还原的小文件时，通常需要批量删除还原的小文件，并不需要单个删除某个还原的小文件。

虽然在win7及以上的操作系统中，可以使用系统自带的forfiles命令批量检测并删除指定日期以前的文件，但是，由于在文件系统中，文件的索引节点和数据保存在存储器的不同位置上，因此，删除一个文件就需要经理多次独立的随机访问，因此，当有海量小文件需要删除时，直接删除小文件会产生大量的随机访问，这就需要进行大量的磁盘IO操作，这对于磁盘系统来说是非常低效的。

发明内容

本发明实施例提供了一种小文件处理方法和装置，用以解决目前在涉及到大量小文件还原，且还原的小文件需要进行定期的删除的场景下，直接删除大量小文件会产生大量的随机访问，从而导致磁盘低效的问题。

基于上述问题，本发明实施例提供的一种小文件处理方法，包括：

将每一个淘汰周期内还原的小文件写入到一个索引节点对应的大文件；不同淘汰周期内还原的小文件写入到不同索引节点对应的大文件；其中，所述小文件是小于预设大小的文件，所述大文件由若干个小文件整合而成；

在确定需要删除一个淘汰周期内还原的小文件后，删除该淘汰周期对应的大文件的元数据，并删除该淘汰周期对应的大文件；其中，一个大文件的元数据包括该大文件的存储位置。

本发明实施例提供的一种小文件处理装置，包括：

存储模块，用于将每一个淘汰周期内还原的小文件写入到一个索引节点对应的大文件；不同淘汰周期内还原的小文件写入到不同索引节点对应的大文件；其中，所述小文件是小于预设大小的文件，所述大文件由若干个小文件整合而成；

删除模块，用于在确定需要删除一个淘汰周期内还原的小文件后，删除该淘汰周期对应的大文件的元数据，并删除该淘汰周期对应的大文件；其中，一个大文件的元数据包括该大文件的存储位置。

本发明实施例的有益效果包括：

本发明实施例提供的一种小文件处理方法和装置，将一个淘汰周期内的小文件写入到一个索引节点对应的大文件，在确定需要删除一个淘汰周期内还原的小文件时，直接删除该淘汰周期对应的大文件及其元数据，这样避免了直接删除大量小文件时所产生的大量的随机访问，从而提高了磁盘系统的操作效率。

附图说明

图1为本发明实施例提供的一种小文件处理方法的流程图之一；

图2为本发明实施例提供的一种小文件处理方法的流程图之二；

图3为本发明实施例提供的一种小文件处理方法的流程图之三；