[发明专利]分布式内存文件系统的实时动态管理方法及系统

说明书

技术领域

本发明涉及分布式内存管理和分布式文件系统技术领域，特别涉及一种分布式内存文件系统的实时动态管理方法及系统。

背景技术

数据密集形计算正越来越成为计算机集群的重要任务。为加速数据密集形计算，现有的大数据分析系统，比如Apache Spark或者Apache Flink，在计算机集群上进行数据密集型计算的时候，有很大一部分内存被用来存储数据，剩下的内存资源将用于其他计算工作。这样，内存存储就会和计算任务竞争内存空间。现有的分布式内存文件系统都是静态配置的。当部署分布式内存文件系统时，计算机集群中每一个计算节点上的分布式内存文件系统的空间就固定了，这就导致了有的时候系统内存不足而有的时候系统内存剩余。

分布式内存文件系统静态配置方法存在的弊端：如果静态分配方案给内存文件系统过多的内存资源，将使得计算密集型计算的无法得到执行所需内存；如果静态分配方案给内存文件系统过少的内存资源，则无法让数据密集型计算高效率执行。因此静态分配方案不能使数据密集型和计算密集型计算同时高效地运行在计算机集群上。

发明内容

为解决静态配置方案不能使分布式数据密集型和计算密集型计算同时高效地运行在计算机集群上的技术问题，本发明提出一种分布式内存文件系统的动态管理方法及系统。

一种分布式内存文件系统的实时动态管理方法，用于对分布式内存文件系统的内存使用量动态调整，包括以下步骤：

实时收集计算机集群上每个计算节点在控制时间点的内存使用量；

根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；

通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

作为一种可实施方式，所述根据收集到的所述内存使用量对计算节点的下一个控制时间点内存文件系统的内存使用量进行预测的具体操作为：

每个计算节点上在i个控制时间点的内存使用比例公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：

U_i+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，U_i表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r₀表示计算节点内存利用率的阈值，v_i表示计算节点在i个控制时间点的内存使用容量，r_i表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。

作为一种可实施方式，所述通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令的具体操作为：

当内存利用率低于阈值时，则控制分布式内存文件系统发出分配指令，给第i+1个控制时间点分布式内存文件系统，给它增加分配相应的内存使用空间；

当内存利用率大于阈值时，则控制分布式内存文件系统发出收回指令，给第i+1个控制时间点分布式内存文件系统，收回分布式内存文件系统的部分内存使用量。

一种分布式内存文件系统动态实时管理系统，用于对分布式内存文件系统的内存使用量动态实时调整，包括：

收集计算模块，用于实时收集计算机集群上每个计算节点在控制时间点的内存使用量；

预测模块，用于根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；

控制模块，用于通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

作为一种可实施方式，所述预测模块设置为：

所述根据收集到的所述内存使用量对计算节点的下一个控制时间点内存文件系统的内存使用量进行预测的具体操作为，

每个计算节点上在i个控制时间点的内存使用比例公式为：r_i表示计算节点在i个控制时间点的内存使用比例，v_i表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；

因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：