[发明专利]用于Hadoop平台的计费系统及方法

说明书

技术领域

本发明涉及云计算领域，特别涉及一种用于Hadoop平台的计费系统及方法。

背景技术

近几年来，云计算技术迅速发展，为用户提供了按需扩展的计算服务。其中，根据服务的交付模式的不同，云计算服务可以分为三类：IaaS（Infrastructure as a Service，基础设施即服务）、PaaS（Platform as a Service，平台即服务）和SaaS（Software as a Service，软件即服务）。

其中，Hadoop平台是一种PaaS平台，由HDFS（Hadoop Distributed File System，分布式文件系统）和映射化简MapReduce系统组成，HDFS系统用于存储Hadoop集群中的文件，MapReduce系统用于实现分布式计算。

现有技术中，IaaS平台的计费方式是根据虚拟机的CPU和内存的大小、存储空间等资源使用情况进行统计，并按照统计的资源使用情况和时间长短进行计费；而对于Hadoop平台，用户以云计算任务为单位使用资源，而不是以虚拟机资源为单位使用资源，因此按照虚拟机资源进行计费不适用于Hadoop平台，此外，云计算任务涉及到了流量、CPU使用率、内存、网络流量等多个项目，使用单独计费的方式也很难做到精确计费。因此，为了提高计费的精确性，需要提出一种用于Hadoop平台的计费方式。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种用于Hadoop平台的计费系统及方法。所述技术方案如下：

第一方面，提供了一种用于Hadoop平台的计费系统，所述Hadoop平台包括：映射化简MapReduce系统和分布式文件系统HDFS，所述计费系统包括：资源统计模块、配置模块、计费模块，

所述资源统计模块，用于统计所述MapReduce系统的计算任务的资源使用情况和所述HDFS的存储空间占用情况，生成所述计算任务的资源使用日志，并向所述计费模块发送所述计算任务的资源使用日志；

所述配置模块，用于根据预设计费因素，确定资源单价和计费策略，并向所述计费模块发送所述资源单价和所述计费策略；

所述计费模块，用于根据接收到的资源使用日志、资源单价和计费策略，生成所述计算任务的计费报表。

在第一方面的第一种可能实现方式中，所述资源统计模块包括：资源统计单元、空间统计单元、日志生成单元，

资源统计单元，用于以第一预设时长为周期，统计所述资源使用情况，并向所述日志生成单元发送所述资源使用情况；

所述空间统计单元，用于以第二预设时长为周期，统计所述存储空间占用情况，并向所述日志生成单元发送所述存储空间占用情况；

日志生成单元，用于接收所述资源使用情况和所述存储空间占用情况，生成所述计算任务的资源使用日志，并向所述计费模块发送所述资源使用日志。

结合第一方面的第一种可能实现方式，在第二种可能实现方式中，所述空间统计单元包括：接口调用子单元、空间统计子单元，

所述接口调用子单元，用于以所述第二预设时长为周期，调用所述HDFS的主节点NameNode的接口，获取存储空间占用情况，并向所述空间统计子单元发送所述存储空间占用情况；

所述空间统计子单元，用于对接收到的存储空间占用情况进行统计，并向所述日志生成单元发送所述存储空间占用情况。

结合第一方面的第一种可能实现方式，在第三种可能实现方式中，所述MapReduce系统包括主节点Master和至少一个工作节点Worker，相应地，所述资源统计单元包括：每个Worker对应的资源采集子单元、资源统计子单元，

所述资源采集子单元，用于以第三预设时长为周期，采集对应Worker的资源使用情况，并以所述第一预设时长为周期，向所述资源统计子单元发送所述资源使用情况，所述第三预设时长小于所述第一预设时长；

所述资源统计子单元，用于对接收到的资源使用情况进行统计，并向所述日志生成单元发送所述资源使用情况。

结合第一方面的第三种可能实现方式，在第四种可能实现方式中，所述资源采集子单元位于所述Worker中；

所述资源统计子单元位于所述Master中。

第二方面，提供了一种用于Hadoop平台的计费方法，所述Hadoop平台包括：映射化简MapReduce系统和分布式文件系统HDFS，所述计费方法包括：