[发明专利]一种多磁盘负载均衡异步读写调度方法及装置

权利要求书

1.一种多磁盘负载均衡异步读写调度方法，其特征在于，包括：

对HDFS进行配置，使HDFS系统的数据节点将磁盘信息回报给名字节点，并在名字节点启动元数据查询进程，所述磁盘信息包括磁盘设备号和磁盘类型；

当数据库启动时通过本地操作系统的接口获取本地所有的磁盘信息，并根据所述磁盘信息中的磁盘类型进行磁盘编号；

对多个所述磁盘各自创建独立的读写工作线程，使磁盘等待上层发送读写任务；

当数据库执行SQL时，所述元数据查询进程接收上层使用者要读取的HDFS数据请求，通过所述名字节点的元数据查询进程获取要读取的HDFS数据的磁盘编号；

当向所述读写工作线程发送读写任务时一并发送磁盘编号，所述读写工作线程接到读写任务时根据所述磁盘信息异步处理各自的读写任务，完成后通知给上层使用者。

2.根据权利要求1所述的一种多磁盘负载均衡异步读写调度方法，其特征在于，所述磁盘类型包括机械磁盘和固态硬盘，所述元数据查询进程根据磁盘类型的不同对磁盘编号的映射进行维护。

3.根据权利要求1所述的一种多磁盘负载均衡异步读写调度方法，其特征在于，当获取所述磁盘信息失败时，将磁盘的数量设置为1，磁盘类型设置为固态硬盘；

当读取的HDFS数据请求是通过网络远端设备进行发送时，将所述磁盘类型设置为网络。

4.根据权利要求1所述的一种多磁盘负载均衡异步读写调度方法，其特征在于，对于不同的磁盘类型分配不同数量的读写工作线程。

5.根据权利要求1所述的一种多磁盘负载均衡异步读写调度方法，其特征在于，对已经读取过的磁盘集合进行维护，当所述元数据查询进程接到要读取的HDFS数据请求后，如果在所述磁盘集合中查找磁盘设备号和磁盘类型失败，对请求读取数据的磁盘重新进行编号；如果在所述磁盘集合中查找磁盘设备号和磁盘类型成功，对请求读取数据的磁盘采用已有的磁盘编号。

6.根据权利要求1所述的一种多磁盘负载均衡异步读写调度方法，其特征在于，上层使用者在读取的HDFS数据时将数据以及数据所在的磁盘编号传递给读写子系统，所述读写子系统将读任务发送给磁盘编号对应的磁盘的读写工作线程处理并等待读取完成，当读取HDFS数据完成后，读写工作线程将读出的数据返还给上层使用者；

当上层使用者在读写临时文件到本地磁盘时，通过本地目录找到对应的磁盘设备号，并通过磁盘设备号查找对应的磁盘编号，然后将临时文件数据所在的磁盘编号传递给对应的读写工作线程处理并等待读写完成，读写工作线程完成临时文件数据的读写之后，返回给上层使用者。

7.一种多磁盘负载均衡异步读写调度装置，其特征在于，包括：

节点配置模块，用于对HDFS进行配置，使HDFS系统的数据节点将磁盘信息回报给名字节点，并在名字节点启动元数据查询进程；

磁盘信息获取模块，用于当数据库启动时通过本地操作系统的接口获取本地所有的磁盘信息；

编号模块，用于根据磁盘信息中的磁盘类型进行磁盘编号；

任务创建模块，用于对每个磁盘创建独立的读写工作线程，使磁盘等待上层发送读写任务；

读写接收模块，用于当数据库执行SQL时通过元数据查询进程接收上层使用者要读取的HDFS数据请求，

任务处理模块，用于读写工作线程接到读写任务时根据磁盘信息异步处理各自的读写任务；

读写反馈模块，用于向读写工作线程发送读写任务和磁盘编号并通知给上层使用者。

8.根据权利要求7所述的一种多磁盘负载均衡异步读写调度装置，其特征在于，还包括维护模块，用于元数据查询进程根据磁盘类型的不同对磁盘编号的映射进行维护，所述磁盘类型包括机械磁盘和固态硬盘；

当获取所述磁盘信息失败时，将磁盘的数量设置为1，磁盘类型设置为固态硬盘；

当读取的HDFS数据请求是通过网络远端设备进行发送时，将所述磁盘类型设置为网络；

对于不同的磁盘类型分配不同数量的读写工作线。