[发明专利]一种基于gperftools的内存管理方法

说明书

技术领域

本发明涉及服务器内存管理领域，具体涉及一种基于gperftools的内存管理方法。

背景技术

glibc是GNU发布的libc库，即c运行库。glibc是linux系统中最底层的api，几乎其它任何运行库都会依赖于glibc。glibc除了封装linux操作系统所提供的系统服务外，它本身也提供了许多其它一些必要功能服务的实现。由于glibc囊括了几乎所有的UNIX通行的标准，可以想见其内容包罗万象。而就像其他的UNIX系统一样，其内含的档案群分散于系统的树状目录结构中，像一个支架一般撑起整个操作系统。在GNU/Linux系统中，其C函式库发展史点出了GNU/Linux演进的几个重要里程碑，用glibc作为系统的C函式库，是GNU/Linux演进的一个重要里程碑。

在Linux操作系统中，目前使用的glibc库中的内存管理在多线程环境中申请内存时会有大量的锁的竞争，内存的申请与释放的效率比较低，而gperftools提供了一种基于线程缓存的内存管理库，提升多线程并发环境下访存性能，通过基于gperftools改进后的内存管理库可以结合内存大页机制进一步提升多线程并发环境下的访存性能。gperftools是google开发的一款非常实用的工具集，主要包括mallocfree内存分配器tcmalloc；基于tcmalloc的堆内存检测和内存泄漏分析工具heap-profiler,heap-checker；基于tcmalloc实现的程序CPU性能监测工具cpu-profiler。上述所说的三种工具在服务器进程的性能分析监控，定位内存泄漏，寻找性能热点，提高mallocfree内存分配性能的各个方面上都非常成功。

在Linux操作系统中，使用的是gperftools提供的内存管理方法，使用线程缓存减少内存申请时的锁的竞争，通过替换当前环境中使用的malloc及free函数，使用新的malloc及free函数。Linux系统下使用gperftools虽然能够利用线程缓存很好的解决内存申请时的锁的竞争问题，但该库在向系统申请内存页时没有使用大页机制，在内存量比较大的环境中访存的性能会由于TLB的大量miss而下降。

针对这种情况，本申请发明一种基于gperftools的内存管理方法，通过本发明所述的内存管理方法，可以改进并实现在内存申请时将线程缓存机制与内存的大页机制相结合。

发明内容

本发明的主要实现方式为将基于线程缓存的内存管理与系统的大页机制相结合，即减少了多线程环境中线程申请内存对锁的竞争，同时提升了访存时的TLB命中率，从而提升了访存性能。

具体地，本申请请求保护一种基于gperftools的内存管理方法，其特征在于，该方法具体包括如下步骤：

在系统中预先设置一定数量的大页；

在运行程序时，预先为每个线程缓存一部分内存；

如果线程申请内存，则直接从本线程的缓存中获取内存；

当线程缓存中的内存不足时向系统申请内存时使用预先设置的内存大页机制，并将内存放入线程缓存中。

如上所述的基于gperftools的内存管理方法，其特征还在于，在系统中预先设置一定数量的大页是通过/proc/sys/vm/nr_hugepages在系统中设置一定数量的大页。

如上所述的基于gperftools的内存管理方法，其特征还在于，该内存管理方法还可以扩展到smp环境下的多线程运行环境。

附图说明

图1、本发明所述内存管理方法的流程示意图

具体实施方式

本方法的具体实现是由多线程内存分配管理模块、系统内存申请模块两个模块实现。其中多线程内存分配管理模块用于基于线程缓存的内存分配管理，系统内存申请模块用于当线程缓存中的内存不足时向系统申请内存。

多线程内存分配管理模块的主要功能是，先为每个线程缓存一部分内存，当线程申请内存时直接从本线程的缓存中获取内存，避免了锁的竞争，加快内存分配效率；当线程缓存中的内存不足时向系统申请内存并将内存放入线程缓存中。

系统内存申请模块的主要功能是，首先通过/proc/sys/vm/nr_hugepages在系统中设置一定数量的大页，然后当向系统申请内存时使用内存大页机制，提升访存时的TLB命中率，从而提升系统的访存性能。下面通过一个实施例对本发明所述的具体实现步骤进行说明。

具体流程如图1所示。

在系统中预先设置一定数量的大页；

在运行程序时，预先为每个线程缓存一部分内存；