[发明专利]大数据平台的健康度管控方法、装置、介质及电子设备

权利要求书

1.一种大数据平台的健康度管控方法，其特征在于，所述大数据平台包括HDFS数据存储层、数据处理层、数据访问层和大数据平台层，所述数据访问层包括Hive，所述健康度管控方法包括：

获取大数据平台的健康度指标体系，所述健康度指标体系包含用于衡量所述大数据平台的健康度的至少一类指标，所述指标包括集市HDFS存储健康度、集市计算健康度和集市JOB健康度，所述指标包括集市HDFS存储健康度、集市计算健康度和集市JOB健康度均包括指标值和维度，所述维度包括按日统计的时间维度和集市；

根据所述至少一类指标中每类指标的各个指标值，计算所述每类指标的健康度，所述集市HDFS存储健康度的指标值包括空间使用率、小文件比率和冷热数据比率，所述集市计算健康度的指标值包括内存饱和时长比率、CPU饱和时长比率、内存空闲时长比率、CPU空闲时长比率和JOB pening比率，所述集市JOB健康度包括JOB运行时长分布、JOB运行资源分布、JOB运行IO读写量分布和JOB运行IO读写次数分布；

根据所述每类指标的健康度，计算所述大数据平台的总体健康度，具体包括：

确定所述每类指标的权重，所述每类指标的权重的分配因素包括类别的影响程度、影响范围、是否可控、出现频率；

根据所述指标的权重，对所述至少一类指标进行加权求和计算，得到所述大数据平台的总体健康度，具体包括：n类大数据平台与集群的健康度分类构成，每类的健康度指标权重为Wn，每类健康度中有i个指标X，则通过加权Wi求和计算出所述每类的大数据平台与集群健康度=Σ(Xi*Wi)，进一步计算得到大数据平台与集群总体健康度=Σ(Σ(Xi*Wi)*Wn)，其中i大于或等于1；

基于所述总体健康度和预设的健康度阈值，对所述大数据平台进行预警，所述预警包括实时预警和离线预警，所述实时预警包括：

采用java程序实时解析Hadoop集群上的HDFS存储使用情况、解析Yarn资源管理中的计算资源使用情况、解析集群jobhistory任务执行情况，然后按照健康度指标体系和算法进行健康度计算，结合预警管理中的所述健康度阈值调用短信接口和邮件服务器接口进行实时预警；

所述健康度管控方法还包括：

采用Java与HDFS系统权限管理机制结合；

接受用户配置的hive表和HDFS目录的有效期信息，对所述hive表和所述HDFS目录的有效期控制。

2.根据权利要求1所述的健康度管控方法，其特征在于，计算所述每类指标的健康度的步骤，包括：

确定所述每类指标的各个指标值的权重；

根据所述各个指标值的权重，对所述各个指标值进行加权求和计算，得到所述每类指标的健康度。

3.根据权利要求1所述的健康度管控方法，其特征在于，还包括：基于可视化界面展示所述每类指标的各个指标值。

4.根据权利要求3所述的健康度管控方法，其特征在于，基于可视化界面展示所述每类指标的各个指标值的步骤，包括：

配置报表模板；

基于所述报表模板展示所述每类指标的各个指标值。

5.根据权利要求1至4中任一项所述的健康度管控方法，其特征在于，还包括：

每经过预定时长，均再次计算所述大数据平台的总体健康度。

6.根据权利要求5所述的健康度管控方法，其特征在于，还包括：

保存每次计算得到的所述大数据平台的总体健康度；

基于保存的每次计算得到的所述大数据平台的总体健康度，对所述大数据平台的总体健康度进行统计分析。