[发明专利]一种HDFS分布式文件系统IO性能调优方法、系统及设备

权利要求书

1.一种HDFS分布式文件系统IO性能调优方法，其特征在于，包括如下步骤：

S1：确定HDFS测试场景和集群可用资源区间；

S2：形成数据训练库；

S3：创建数据模型并形成预测矩阵，输出最优值及最优配置；

所述步骤S2包括：

S21：在默认推荐配置下执行TestDFSIO测试工具的测试语句，将结果以矩阵的形式存放；

S22：在获取集群可用资源区间内抽样分配更新参数，并将测试结果以矩阵的形式输出；

所述步骤S3包括：

S31：根据数据训练库、随机森林和贝叶斯算法，生成预测矩阵；

S32：根据预测矩阵中的参数使用预设脚本进行测试；

S33：将测试结果添加至数据训练库；

S34：进行数据模型创建，预测矩阵形成、自动化测试操作，直至多次连续循环测试结果均达到最优，则输出最优值及最优配置。

2.根据权利要求1所述的HDFS分布式文件系统IO性能调优方法，其特征在于，所述步骤S1包括：

S11：确定HDFS分布式文件系统I/O性能测试采用TestDFSIO测试工具；

S12：明确集群的Yarn资源、MapRduce资源区间和集群硬件总资源。

3.根据权利要求2所述的HDFS分布式文件系统IO性能调优方法，其特征在于，所述步骤S12具体为：

通过Ambari监控UI明确Yarn资源和MapRduce资源区间；

通过linux指令lscpu或cat/proc/meminfo明确集群硬件总资源。

4.一种HDFS分布式文件系统IO性能调优系统，其特征在于，包括：

确定单元，用于确定HDFS测试场景和集群可用资源区间；

形成单元，用于形成数据训练库；

输出单元，用于创建数据模型并形成预测矩阵，输出最优值及最优配置；

所述形成单元具体用于：

在默认推荐配置下执行TestDFSIO测试工具的测试语句，将结果以矩阵的形式存放；

在获取集群可用资源区间内抽样分配更新参数，并将测试结果以矩阵的形式输出；

所述输出单元具体用于：

根据数据训练库、随机森林和贝叶斯算法，生成预测矩阵；

根据预测矩阵中的参数使用预设脚本进行测试；

将测试结果添加至数据训练库；

进行数据模型创建，预测矩阵形成、自动化测试操作，直至多次连续循环测试结果均达到最优，则输出最优值及最优配置。

5.一种HDFS分布式文件系统IO性能调优设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述HDFS分布式文件系统IO性能调优方法步骤。