[发明专利]一种磁盘扇区故障检测方法、装置及设备

说明书

本发明涉及一种磁盘扇区故障检测方法、装置及设备，所述方法包括：监视器收集并聚集由SMART报告的属性值；一个中心化的潜在扇区故障预测器读取SMART属性值，并计算使用机器学习方法得到的潜在扇区故障的概率；频率调整器接受预测结果，根据磁盘的健康状态来相应调整检测频率；并通过调节的检测频率来指导检测调度器。该发明通过使用机器学习技术来提升磁盘检测的成本效益，可以同时取得低的检测开销和高的数据可靠性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种磁盘扇区故障检测方法、装置及设备。

背景技术

虽然磁盘驱动器通常被认为是高度可靠的，且很少出现故障，但是在数据中心中替换频度最高的设备就是磁盘。磁盘存在多种丢失数据的可能性，包括设备级别的故障(整盘故障)和块级故障(磁盘部分故障)，即磁盘上个别扇区不能够被访问。由于扇区故障是潜在的，直到受影响的扇区被访问的时候才能被磁盘发现，这使得针对它们进行的保护具有很高的挑战性。

潜在扇区故障对数据的可靠性和可用性的影响存在如下两种情形：1)如果潜在扇区故障是在系统处于降级模式(譬如，RAID重建)时被发现的，将会引起数据丢失；2)如果潜在扇区故障是由读请求发现的，将会出现暂时的数据不可用。更坏的情况是，在真实场景中潜在扇区故障发生的频度非常高。最近，基于真实场景的数据场的一项研究表明，在大型生产环境中的七个最常见的磁盘型号中的两个型号的磁盘，分别有11％和25％的磁盘受到潜在扇区故障的影响。

目前，磁盘检测和磁盘内部冗余是针对潜在扇区故障的两种常用的磁盘保护措施。磁盘检测周期性地对磁盘进行扫描，磁盘内部冗余则利用纠删码技术。虽然已经有很多磁盘检测方案被提出，但是它们大部分都集中对可靠性进行提升，而忽视了成本效益。除了设计复杂的磁盘检测方案，机器学习方法也被尝试着用来对潜在扇区故障进行预测。Mahdisoltani等人提出，在预测器发出故障警告的时候通过提高检测速度(频率)来提高数据可靠性，即减少故障的平均发现时间MTTD(Mean-Time-To-Detection)。如图1所示，轴线为时间轴，时间轴上的各节点标识出了现有技术中磁盘扇区故障发生和被预测、检测、发现的时间点。其中节点①代表磁盘扇区故障发生的时间点，节点②代表故障预测器预测出磁盘扇区存在故障的时间点，节点③代表加速频率后的磁盘检测发现扇区故障的时间点，节点④代表扇区故障被磁盘检测发现的时间点，节点⑤代表扇区故障被读请求发现的时间点。MTTD表示从磁盘故障发生到故障被发现之间的时间间隔。其中节点①到节点⑤间的时间间隔表示不做磁盘检测下的MTTD，节点①到节点④间的时间间隔表示做磁盘检测下的MTTD，节点①到节点③间的时间间隔表示受扇区故障预测指导的磁盘检测下的MTTD。故而，相比不做磁盘检测，做磁盘检测可以缩短MTTD，同时，受扇区故障预测指导的磁盘检测可以进一步缩短MTTD。需要明确的是，更短的MTTD代表更高的数据可靠性。

然而，在实际环境使用故障预测来指导数据检测是非常具有挑战性的。第一个挑战是，数据检测是有开销的。尽管磁盘检测能够提高存储系统的可靠性，但磁盘检测的成本来自于多个方面，例如，能源消耗和影响性能。显而易见的是，检测的频率越高，存储系统的可靠性也会相应地提高。在另一方面，更高的检测频率较会带来更高的成本。然而，用于数据保护的预算是有限的，因此建立更高效的数据保护措施的需求是迫切的。第二个挑战是，磁盘清洗不仅与潜在扇区错误相关，也与整盘故障相关。如上所述，如果在系统处于降级模式时发现潜在扇区故障，则有可能会产生数据丢失。

发明内容

本发明提出了一种新的不均衡检测的方案，该方案通过使用机器学习技术来提升磁盘检测的成本效益。与用检测开销来换取高的数据可靠性或用数据可靠性来换取低的检测开销不同，我们可以同时取得低的检测开销和高的数据可靠性。

本发明提供一种磁盘故障检测方法，所述方法包括：

监视器收集由SMART采集程序报告的磁盘属性值；

潜在扇区故障预测器读取SMART属性值，对潜在扇区故障进行预测；