[发明专利]一种集群计算环境下计算资源的记账统计方法和系统

说明书

本发明公开了一种集群计算环境下计算资源的记账统计方法，包括以下步骤：配置用户使用资源单价，用户为独立的用户个人或包括多个用户个人的用户组；从任务日志文件中获取任务信息；以及根据每条任务信息以及任务信息中包含的每个用户各自的用户使用资源单价，来一一对应地统计相应用户的账单。本发明能够对用户或用户组使用资源单价进行配置并按用户或用户组统计使用计算资源的账单，实现了多维度、灵活的记账统计。

技术领域

本发明涉及计算机技术领域，更具体地，特别是指一种集群计算环境下计算资源的记账统计方法和系统。

背景技术

随着大数据的快速发展，大数据将成为继计算机和互联网之后新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，将改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

目前，存在多种大数据处理框架，例如，Apache Spark就是一种围绕速度、易用性和复杂分析构建的大数据处理框架，其最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，被广泛应用于大数据处理和机器学习应用中。在Spark on yarn模式下，通过配置historyServer相关信息可以记录运行的历史任务信息，用户可以访问WEB页面查看所有的历史任务列表。Spark在其WEB UI中提供了作业运行资源耗费的统计，如cpu核数、内存、节点数等信息，但是这些信息是以作业为单位，不能按用户、用户组、时间段等条件进行统计展示，此外，Spark中未提供用户、资源单价相关的配置，不能满足用户记账功能。由此可见，现有技术存在如下缺点：(1)不具备多维度的资源使用统计，如按时间段、用户或用户组；(2)不具备对用户或用户组使用资源单价的配置功能，用户获取日志记录后需自行统计并计算账单结果；(3)为每一个任务均创建了运行日志文件，当历史文件数量过多时会影响查询效率。

然而，随着目前大数据和机器学习计算需求的不断增长，高性能计算集群作为一种计算资源也需要为用户提供相应的记账管理功能。因此，本领域亟待需要一种能够实现多维度、灵活、高效的记账统计的方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种集群计算环境下计算资源的记账统计方法和系统，能够解决现有技术无法实现多维度、灵活、高效的记账统计的问题。

基于上述目的，本发明实施例的一方面提供了一种集群计算环境下计算资源的记账统计方法，包括以下步骤：

配置用户使用资源单价，用户为独立的用户个人或包括多个用户个人的用户组；

从任务日志文件中获取任务信息；以及

根据每条任务信息以及任务信息中包含的每个用户各自的用户使用资源单价，来一一对应地统计相应用户的账单。

在一些实施方式中，配置用户使用资源单价包括配置以下至少之一：CPU时间单价、内存时间单价、任务机时单价以及单价生效时间。

在一些实施方式中，任务信息还包括以下至少之一：任务ID、任务开始时间、任务结束时间、任务机时、任务使用CPU时间以及任务使用内存时间。

在一些实施方式中，从任务日志文件中获取任务信息包括以下步骤：

遍历任务日志文件；

解析已完成任务的未经解析的任务日志文件以获取任务信息；以及

将任务信息记录到资源文件中。

在一些实施方式中，方法还包括以下步骤：

解析资源文件；

根据任务开始时间、任务结束时间、以及要查找的用户的参数来筛选出资源文件中的任务信息。

在一些实施方式中，统计相应用户的账单包括以下步骤：