[发明专利]一种多级自适应存储方法

说明书

技术领域

本发明涉及一种多级存储方法。

背景技术

目前，随着遥感卫星从科学实验型走向工程实践，应用范围有了较大的拓展。当前地面系统存储系统采用的固定天数存储策略已经不能满足应用的需要。

固定天数存储策略是这样运行的。在地面系统设计初期，设计人员制定该卫星载荷的分级，一般按照处理程度可以把遥感卫星数据分为至少4级，分别进行了辐射校正，系统几何校正，带控制点的系统精校正，带地形的正射校正的处理。然后设计人员确定每一级产品数据的单产品大小，常规生产和订购生产比例。并依次计算出每一级产品的存储需求，每一级产品在不同存储区域的不同存储介质上的存储时间。最后得到整个地面系统的存储需求。

这样的估算包含很多不确定的因素，导致实际情况与预估出入很大。随着目前卫星载荷越来越复杂，处理流程和技术不断改进，用户的需求日益多样化，估算的结果离实际要求渐行渐远。具体表现在，一是存储资源没有得到充分利用，在线盘阵的使用率不高；二是用户的需求不能快速得到满足，产品在预先定义的在线周期结束后，不管是否仍然被用户使用，仍然从在线盘阵删除，后续的用户请求将导致数据再次从次级存储恢复。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种多级自适应存储方法，该方法能够快速、可靠的对外提供存储服务。

本发明的技术解决方案是：一种多级自适应存储方法，方法依托的存储系统包括执行层和管理层两个逻辑层面；执行层包括迁移器、生命周期、灾备和存储管理四个执行模块；方法包括存储资源变动过程、存储操作过程和存储策略调整及报警三个过程，其中：

存储资源变动过程的触发条件为存储资源发生变动，触发后的步骤如下：

(1)管理上述存储资源的执行模块向管理层提出注册或注销资源申请；

(2)管理层获取所述存储资源的速度；并将获取的速度记录到可用资源表中；所述的可用资源表存储在管理层且由管理层维护；

(3)判断步骤(1)中的申请是否为注销资源，若为注销资源申请，则根据用户定义的注销资源中文件的重要程度，根据用户要求对相应文件进行备份，转步骤(4)；否则直接转步骤(4)；

(4)存储资源变动过程结束。

存储操作过程的触发条件为根据预先设定的时间触发事件触发，或者当管理层接收到外部输入的归档或提取请求，触发后步骤如下：

第一步，管理层根据触发条件依照文件分布表中的文件分布确定执行的动作序列；

第二步，管理层依照可用资源表，确定待执行的执行模块；

第三步，管理层根据第一、二步的结果，生成命令，并将命令存储在任务表中；所述的任务表及文件分布表存储在管理层且由管理层维护；

第四步，第二步中确定的执行模块定期从任务表中取命令，并按照命令执行相应动作，并将命令执行情况上报至管理层，由管理层更新任务表及文件分布表；完成存储操作过程；

存储策略调整及报警过程的触发条件为根据存储操作的次数或者根据预先设定的时间触发，触发后的步骤包括策略表及可用资源表的维护两部分；

其中策略表的维护步骤如下：

(a)统计存储操作中具体每个文件的操作次数，根据操作次数及用户操作过程中定义的文件优先级，确定该文件的使用度；所述的使用度为该文件操作过程中所有优先级的和；

(b)判断文件使用度是否大于预先设定的阈值，若不大于，则维持策略表不变；否则转步骤(c)；

(c)判断文件的大小是否大于预先设定的阈值，若文件的大小大于预先设定的阈值，则延长策略表中该文件的在线天数，否则，将策略表中该文件的在线天数改为永久在线；

可用资源表的维护步骤如下：

管理层统计每个执行模块上报的命令执行情况，判断命令执行情况是否在预先设定的合理执行范围内，若超出合理执行范围，则将该执行模块设置成报警状态；否则，修改可用资源表中该执行模块对应存储资源的权重。

本发明与现有技术相比有益效果为：

(1)本发明方法可以对由多个存储节点组成的分布式多级存储体系进行有效管理，根据存储节点的容量，速度，通过改变权重等可以使整个存储系统对外提供的存储服务快速，可靠。

(2)用户利用本发明方法进行多级存储操作，不需要关心产品数据具体存储在何地以及如何备份，能够非常容易的保证文件存储的可靠性。

(3)本发明方法的注册或注销步骤，可以实现根据实际应用时存储的负载情况增删节点而不会影响存储的稳定性，以保证存储具有可扩展性。