[发明专利]高性能计算历史作业数据的数据处理方法、装置及存储系统

说明书

本发明提供一种高性能计算历史作业数据的数据处理方法、装置及存储系统。所述方法包括：从HBase数据库获取高性能计算历史作业数据；对所述高性能计算历史作业数据进行MapReduce分布式计算，得到高性能计算历史作业热点数据；将所述高性能计算历史作业热点数据输出到MySQL数据库。本发明能够实现高性能计算历史作业数据的多维度查询。

技术领域

本发明涉及高性能计算技术领域，尤其涉及一种高性能计算历史作业数据的数据处理方法、装置及存储系统。

背景技术

随着互联网技术、大数据的快速发展，高性能计算(High PerformanceComputing，HPC)的应用领域越来越广泛，导致高性能计算历史作业数据急速增长。为了有效存储大规模的高性能计算历史作业数据，一些IT架构师开始研究大数据库系统，称为NoSQL。NoSQL数据库是指用于存储和处理大规模结构化或非结构化数据，能够随着数据规模的增大而扩展的数据库系统。

HBase是一种参照Google Bigtable实现的开源NoSQL数据库，它具有强一致性、高性能随机写、面向列可动态扩展、可水平伸缩的特性，适合于各种非结构化和半结构化的松散数据的存储和管理，被广泛用于处理高性能计算历史作业数据。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

对HBase数据库进行查询时，无法进行多维度查询或分页查询，影响用户体验。

发明内容

为解决上述问题，本发明提供一种高性能计算历史作业数据的数据处理方法、装置及存储系统，能够实现多维度查询。

第一方面，本发明提供一种高性能计算历史作业数据的数据处理方法，包括：

从HBase数据库获取高性能计算历史作业数据；

对所述高性能计算历史作业数据进行MapReduce分布式计算，得到高性能计算历史作业热点数据；

将所述高性能计算历史作业热点数据输出到MySQL数据库。

可选地，所述对所述高性能计算历史作业数据进行MapReduce分布式计算，得到高性能计算历史作业热点数据包括：

对所述高性能计算历史作业数据进行数据组装；

对组装后的高性能计算历史作业数据进行分析过滤，筛选出符合预设条件的热点数据；

将所述热点数据封装成关系型结构的数据，得到高性能计算历史作业热点数据。

可选地，所述热点数据的筛选使用作业时间作为筛选条件。

可选地，所述高性能计算历史作业热点数据包括下述字段：记账时间、作业id、作业名称、作业用户名、用户组、队列、wallTime时间、入队时间、开始时间、作业所属用户、完成时间、等待时间、CPU时间、作业异常退出码、响应时间、处理器核数、运行时间以及集群id。

第二方面，本发明提供一种高性能计算历史作业数据的数据处理装置，包括：

获取模块，用于从HBase数据库获取高性能计算历史作业数据；

计算模块，用于对所述高性能计算历史作业数据进行MapReduce分布式计算，得到高性能计算历史作业热点数据；

输出模块，用于将所述高性能计算历史作业热点数据输出到MySQL数据库。

可选地，所述计算模块包括：

数据组装单元，用于对所述高性能计算历史作业数据进行数据组装；

分析过滤单元，用于对组装后的高性能计算历史作业数据进行分析过滤，筛选出符合预设条件的热点数据；