[发明专利]基于HDFS的SCSI容错优化方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于HDFS的SCSI容错优化方法及装置。

背景技术

HDFS(Hadoop Distributed File System，一种分布式文件系统)通常存储着每个数据块的复本，其中默认为3个，HADOOP(可对大量数据进行分布式处理的软件框架)的客户端client在读取数据块时，如果检测到错误时HDFS从其它地方读取到该数据块的另一个复本，整个过程对用户是透明的，但是对于基于HDFS的SCSI(Small Computer Systems Interface，小型计算机系统接口)，如果检测到错误时，则因为SCSI的底层读取数据失败而报错。

针对上述问题，现有技术通过SCSI的底层返回的IO请求处理结果，判断是否存在错误。

现有技术存在的问题是，从SCSI的底层和IO请求处理结果出发，未考虑HDFS存储的数据块的其他复本，在client的IO请求实际上已经满足的情况下，基于HDFS的SCSI仍然进行了不必要的报错或重试机制。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种可以提高IO效率以及减少硬件故障率的基于HDFS的SCSI容错优化方法。

本发明的另一目的在于提出一种基于HDFS的SCSI容错优化装置。

为了实现上述目的，根据本发明的第一方面实施例的基于HDFS的SCSI容错优化方法包括以下步骤：接收客户端发出的对于第一数据块复本的请求；将所述请求经由SCSI中间层发送至SCSI底层；所述SCSI底层对所述请求进行处理并将处理结果返回至所述SCSI中间层；所述SCSI中间层根据所述SCSI底层返回的处理结果执行回调以判断所述请求是成功、需要SCSI底层重试还是失败；以及在判断需要SCSI底层重试时，设定重试次数或放弃重试。

根据本发明实施例的基于HDFS的SCSI容错优化方法，根据SCSI底层返回的结果判断客户端的请求为需要SCSI底层重试时，通过设定重试次数或者设定放弃重试对不影响客户端实际请求的错误处理方法进行优化，从而提高IO效率，降低硬盘的故障率。

为了实现上述目的，根据本发明的第二方面实施例的基于HDFS的SCSI容错优化装置包括：接收模块，所述接收模块用于接收客户端发出的对于第一数据块复本的请求；发送模块，所述发送模块用于将所述请求经由SCSI中间层发送至SCSI底层；处理模块，所述SCSI底层利用所述处理模块对所述请求进行处理并将处理结果返回至所述SCSI中间层；以及判断模块，所述SCSI中间层利用所述判断模块根据所述SCSI底层返回的处理结果执行回调以判断所述请求是成功、需要SCSI底层重试还是失败，并且在判断需要SCSI底层重试时，设定重试次数或放弃重试。

根据本发明实施例的基于HDFS的SCSI容错优化装置，通过判断模块根据SCSI底层返回的结果判断客户端的请求是成功、需要SCSI底层重试还是失败，且在判断为需要SCSI底层重试时，通过设定重试次数或者设定放弃重试对不影响客户端实际请求的错误处理方法进行优化，从而提高IO效率，降低硬盘的故障率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的基于HDFS的SCSI容错优化方法的流程图；

图2是根据本发明一个实施例的基于HDFS的SCSI容错优化方法的流程图；

图3是根据本发明一个实施例的基于HDFS的SCSI容错优化方法的流程图；

图4是根据本发明一个实施例的基于HDFS的SCSI容错优化方法的流程图；

图5是根据本发明一个实施例的基于HDFS的SCSI容错优化方法的流程图；

图6是根据本发明一个实施例的基于HDFS的SCSI容错优化方法的流程图；

图7是根据本发明一个实施例的基于HDFS的SCSI容错优化装置的结构框图；

图8是根据本发明一个实施例的基于HDFS的SCSI容错优化装置的结构框图；

图9是根据本发明一个实施例的基于HDFS的SCSI容错优化装置的结构框图；以及

图10是根据本发明一个实施例的基于HDFS的SCSI容错优化装置的结构框图。

具体实施方式