[发明专利]基于应用级代理的对象并行存储系统磁盘满异常容错方法

说明书

技术领域

本发明涉及对象并行存储系统领域，具体涉及一种基于应用级代理的对象并行存储系统磁盘满异常容错方法。

背景技术

对象并行存储系统是基于对象存储系统的一种并行存储结构，是大规模并行计算机系统中的重要组成部分。如图1所示，对象并行存储系统由客户端、文件元数据服务、元数据存储和文件数据服务、数据存储通过网络互连构成并通过互联网络进行数据传递，其中客户端运行于计算结点，元数据服务和文件数据服务分别运行于元数据存储结点和数据存储结点上（统称为存储结点），元数据存储和数据存储放在独立磁盘设备上，集群文件中的任意文件数据内容分布存放在一个或多个存储结点管理的磁盘上，分布决策由元数据服务负责，详细分布信息记录在元数据磁盘上。其中，元数据服务器负责维护文件的元数据信息，包括文件的所有者、创建时间、修改时间、文件大小以及文件在对象存储服务器上的分布等信息。对象存储服务器负责保存文件的具体数据内容，通常情况下，一个文件被划分成一个或多个对象，存储在一个或多个对象存储服务器中。而客户端则负责向应用提供标准的I/O接口，并实现I/O请求的转发。当应用发起I/O访问请求时，该请求首先被提交给元数据服务器，待获取到对应的元数据信息后，再将其转发给相关的对象服务器，继续后续的数据访问过程。对象并行存储系统因其并行性高、存取速度快等优点，已经在高性能计算领域取得了很好的应用效果。

为减轻元数据服务器的工作负载，提高存储系统的可扩展性，通常情况下对象并行存储系统的元数据服务器不会存储数据文件复杂的位置信息，一个文件常常只存储于某一个指定的对象存储服务器，或以规则的条带方式存储于若干个指定的对象存储服务器。因此，当某个对象存储服务器的全部存储资源被连续的数据文件“写请求”占满时，后面继续针对该对象存储服务器的“写请求”将会产生“磁盘满”错误，导致作业后续的执行过程无法正常进行。

为解决这一问题，现有方法通常考虑对象存储服务器之间的负载均衡策略，一方面为元数据服务器设定调度策略，若某一个对象存储服务器的剩余空间低于一定的比例，则在创建新文件时屏蔽该对象存储服务器；另一方面实施周期性的负载均衡检查，将负载重的对象存储服务器上的数据文件定期地迁移到负载轻的对象存储服务器上去。上述方法虽然在一定程度上降低了“磁盘满”错误发生的概率，但是当作业处理的数据文件较大时，特别是系统任务数较多，多个作业同时对一个对象存储服务器连续产生“写请求”时，虽然在创建文件时该存储服务器的剩余空间仍然满足调度比例限制，但多个作业的连续“写请求”仍可能会导致剩余存储空间被完全占满，进而导致多个作业的执行失败。

解决该问题的另一个思路是改变现有对象并行存储系统的数据文件布局方式，将现有的静态布局方式修改为动态布局方式。在处理数据文件连续的“写请求”时，元数据服务器按照预设的数据块大小将其动态的指定到负载小的对象存储服务器上去，从而通过动态调度的方式避免“磁盘满”错误的发生。然而，要实现该方法，元数据服务器需要为每个数据文件保存其详细的数据布局位图，从而加重了元数据服务器的工作量，影响了整个并行存储系统的可扩展性。

目前，伴随着并行计算机系统规模的不断增大，计算任务的复杂性不断提高，存储系统的I/O压力也不断增大，一旦在长时间作业中发生“磁盘满”错误，将严重影响作业的正常运行，甚至由于超时导致计算结果失效。因此，如何在不改变现有对象并行存储系统的数据文件管理方式的条件下，从根本上消除“磁盘满”错误的情况，保证加载作业顺利执行已经成为了影响现有对象并行存储系统可用性的关键问题。

发明内容

本发明要解决的技术问题是提供一种磁盘满容错性能好、容错成本低的基于应用级代理的对象并行存储系统磁盘满异常容错方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于应用级代理的对象并行存储系统磁盘满异常容错方法，其实施步骤如下：

1）在客户端的顶层应用和用于访问对象并行存储系统的文件系统客户端之间建立应用级代理层，用于代理顶层应用访问对象并行存储系统的操作；在所述应用级代理层中构造用于存储请求文件信息的代理层文件描述符，所述代理层文件描述符包括文件的描述符、打开方式、路径、文件名、“磁盘满”标志和补充文件描述符列表，所述“磁盘满”标志默认为假，所述补充文件描述符列表用于记录文件的所有补充文件的描述符列表；

2）在客户端的顶层应用发出文件操作请求时，所述应用级代理层接收顶层应用的文件操作请求并判断是否为写请求，如果是写请求则跳转执行步骤3），否则跳转执行步骤4）；