[发明专利]一种内存管理方法、装置、服务器及存储介质

说明书

本发明公开了一种内存管理方法、装置、服务器及存储介质。该方法包括：获取滑动窗口的元组，检测内存中缓冲池的剩余空间大小，如果所述剩余空间大小大于或等于所述元组的大小，将所述元组存储至所述缓冲池，如果所述剩余空间大小小于所述元组的大小，将所述元组存储至磁盘。上述技术方案，通过将滑动窗口的部分元组从内存迁移至磁盘，解决了现有技术中将大量数据存储至内存，造成内存不足而引起系统崩溃的问题，减小了主机对内存容量和性能的依赖。

技术领域

本发明实施例涉及内存管理技术领域，尤其涉及一种内存管理方法、装置、服务器及存储介质。

背景技术

基于事件的应用程序是一种数据流处理系统，其设计目的是对流数据进行统计分析，因此，系统通常每秒处理成百上千个的数据流元组。近几十年来，随着相关技术的成熟，流处理引擎在在工业和商业领域得到广泛应用，例如，通过传感器网络监测发电站，识别和预测金融报价机的趋势，分析电信电话记录。

数据流元组的数据由某些特定网络连续产生，然后发送到事件处理引擎进行处理，实际发送时，数据流元组变成单个流或多个流，系统需要应对较高的传入速率。因此，对于单主机处理引擎情况，必须在内存资源中维护大量数据，而内存不足的问题可能会增加高延迟，甚至阻塞或导致整个系统崩溃。

发明内容

本发明实施例提供一种内存管理方法、装置、服务器及存储介质，以解决单主机的内存限制问题。

第一方面，本发明实施例提供内存管理方法，包括：

获取滑动窗口的元组；

检测内存中缓冲池的剩余空间大小；

如果所述剩余空间大小大于或等于所述元组的大小，将所述元组存储至所述缓冲池；

如果所述剩余空间大小小于所述元组的大小，将所述元组存储至磁盘。

进一步的，所述如果所述剩余空间大小大于或等于所述元组的大小，将所述元组存储至所述缓冲池，包括：

如果所述内存中缓冲池首端的剩余空间大小大于或等于所述元组的大小，将所述元组存储至所述缓冲池的首端。

进一步的，所述如果所述剩余空间大小大于或等于所述元组的大小，将所述元组存储至所述缓冲池，还包括：

如果缓冲池首端的剩余空间大小小于所述元组的大小，且所述缓冲池中除首端之外的剩余空间大小大于或等于所述元组的大小，将所述元组存储至所述缓冲池中除首端之外的剩余空间。

进一步的，该方法还包括：

检测所述内存中缓冲池尾端的剩余空间大小；

如果所述内存中缓冲池尾端的剩余空间大小大于或等于所述内存中缓冲池中时间戳大于或等于时间戳阈值的元组的大小，将所述时间戳大于或等于时间戳阈值的元组从所述缓冲池的尾端移除。

进一步的，在将所述时间戳大于或等于时间戳阈值的元组从所述缓冲池的尾端移除之后，还包括：

如果所述缓冲池有剩余空间，将所述磁盘中时间戳小于时间戳阈值的元组移入所述缓冲池。

第二方面，本发明实施例还提供一种内存管理装置，该装置包括：

获取模块，用于获取滑动窗口的元组；

第一检测模块，用于检测内存中缓冲池的剩余空间大小；

第一存储模块，用于如果所述剩余空间大小大于或等于所述元组的大小，将所述元组存储至所述缓冲池；

第二存储模块，用于如果所述剩余空间大小小于所述元组的大小，将所述元组存储至磁盘。

进一步的，所述第一存储模块包括：