[发明专利]一种文件重删追加上传方法、系统、设备及存储介质

说明书

本发明公开了一种文件重删追加上传方法、系统、设备及存储介质，所述方法包括：当服务器接收到已多次追加文件的上传请求时，获取已有追加文件的元数据，进行参数校验；根据上传请求读取数据，根据数据创建条带；所创建条带不与已有对象最后的条带补齐；计算创建条带的指纹信息，生成追加数据的文件组织记录文件；当追加失败时，根据追加数据的文件组织记录文件进行垃圾数据清理。所述系统包括请求接收单元、条带创建单元、指纹校验单元和垃圾清理单元。本发明在追加数据时，条带不合并对齐，新的追加数据不会对已有数据产生干扰，能够提高存储集群的处理性能。

技术领域

本发明涉及对象存储领域，具体涉及一种文件重删追加上传方法、系统、设备及存储介质。

背景技术

随着信息化的发展，越来越多的个人用户选择将原来保存在自己的数码设备上的数据转移到云端存储上，实现家庭成员之间相互分享；而工业4.0、智能制造、企业上云、大数据、电子政务、NASA卫星中心、大型的射电望远镜等技术的发展，使越来越多的企业和政府单位选择将数据放在存储集群集中管理。

分布式对象存储系统，指的是面向非结构化数据的分布式存储。现阶段，越来越多的业务场景需要使用分布式对象存储系统，例如，在视频监控、视频直播等领域，视频数据在实时地不断产生，大型系统日志不断地生成，存储集群中数据量规模越来越大，文件的读写请求等操作带来了大量的磁盘输入/输出(IO，Input/Output)的消耗，而集群的IO吞吐量是有限的，为此，现有技术使用数据重删方式提高集群空间的有效使用率，降低企业或者数据中心的运营成本。

由于采用数据重删技术，使存储集群上条带化后的对象与不同文件产生了关联，当追加失败时，需要对产生的垃圾数据进行回收，此时，现有的重删技术会对原有文件产生影响，影响了存储集群的处理性能。

发明内容

为了解决上述技术问题，本发明提出了一种文件重删追加上传方法、系统、设备及存储介质，能够避免文件追加失败对原有文件产生影响，提高存储集群的处理性能。

为实现上述目的，本发明采用以下技术方案：

一种文件重删追加上传方法，包括：

当服务器接收到已多次追加文件的上传请求时，获取已有追加文件的元数据，进行参数校验；

根据上传请求读取数据，根据数据创建条带；所创建条带不与已有对象最后的条带补齐；

计算创建条带的指纹信息，生成追加数据的文件组织记录文件；

当追加失败时，根据追加数据的文件组织记录文件进行垃圾数据清理。

进一步地，所述获取已有追加文件的元数据时，对已有追加文件进行加锁，使文件不能被多个上传请求同时追加。

进一步地，所述计算创建条带的指纹信息，生成追加数据的文件组织记录文件，包括：

根据所创建条带的内容计算指纹信息；

根据指纹信息查询对应条带的引用计数；

若引用计数存在，则引用计数累积加1；若引用计数不存在，则使用该指纹信息落盘，对应引用计数设置为1；

将指纹信息和对应条带大小添加到追加数据的文件组织记录文件中。

进一步地，所述当追加失败时，根据追加数据的文件组织记录文件进行垃圾数据清理，包括：

当追加失败时，根据追加数据的文件组织记录文件获取条带；

若条带引用计数大于1，则条带引用计数减1；若条带引用计数为1，则将条带加入垃圾回收队列，异步删除垃圾数据。

进一步地，还包括：