[发明专利]一种基于动态特征的自定义堆管理函数的自动识别方法

说明书

本发明公开了一种基于动态特征的自定义堆管理函数的自动识别方法，主要包括：1)基于动态执行二进制指令记录进行离线分析，通过call‑ret匹配恢复函数边界信息；2)依次根据堆管理函数的返回值通常是堆指针、处理流程具有相似性、使用情况具有特点的动态特征，对候选函数进行筛选；3)对筛选出的自定义堆管理函数进行去重统计，实现自定义堆管理函数的自动识别。本发明实现了基于离线动态执行记录分析自动识别自定义的堆管理函数，识别准确性高、分析效率高。

技术领域

本发明属于软件逆向技术领域，具体涉及一种基于动态特征的自定义堆管理函数的自动识别方法。

背景技术

基于性能和安全性等考虑，越来越多的程序采用自定义的堆管理函数来分配和管理内存，如Jemalloc、TCmalloc、MMgc等。这些自定义的堆管理函数给程序分析、特别是二进制程序分析带来了新的挑战。例如分析程序存在的堆溢出漏洞(heap overflow)或释放后重用漏洞(use after free)的时候，需要通过堆分配操作(标准系统接口，如malloc等)来确定分配的堆空间大小和时刻，根据堆释放操作(标准系统接口，如free等)来确定堆空间的生存周期。如果存在自定义的堆管理操作，程序会通过标准系统接口向系统申请一大段地址自己管理，堆状态的更新是根据自定义的堆管理函数接口确定的，不会调用标准系统接口，因此在二进制记录中无法发现这些操作，导致无法准确分析程序的运行状态和漏洞情况。

目前对自定义的堆管理函数的识别主要依赖于人工分析。基于源代码，分析人员可以通过跟踪内存分配和释放过程的代码，分析是否调用了自定义堆管理函数库；基于二进制程序，分析人员可以通过IDA pro等分析工具，对程序进行静态分析，发现其中的自定义堆管理函数。然而这种分析是耗时耗力的，主要依赖于分析人员的经验。阿姆斯特丹自由大学的Herbert等人尝试采用动态执行和特征匹配的方法，实现对堆管理函数进行自动化的识别(WCRE’13)。他们实现了原型系统MemBrush，通过提取堆分配、释放和重分配等操作的行为特征，在动态执行程序的同时测试和检测各项特征，识别堆管理函数。格勒诺布尔阿尔卑斯大学的Laurent Mounier等人在USENIX CSET’17上进一步提出了如何评价自定义堆管理函数的识别效果。

尽管自定义的堆管理函数识别方法已经取得了一些的研究进展和良好的应用效果，然而现有的方法仍然存在以下的不足：

1)在线分析方法效率偏低，同时可能造成分析下的程序执行和正常执行过程不同，缺少基于动态分析记录的离线识别方法；

2)之前工作中选取的堆管理函数的动态特征不完整导致识别存在不准确，且有些特征不适用于离线分析过程。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于动态特征的自定义堆管理函数的自动识别方法，通过动态执行目标程序得到程序执行的二进制指令记录，根据调用栈信息逆向恢复函数边界，根据动态特征信息挑选符合的函数，同时提取函数相关的参数、返回值等信息，实现对自定义堆管理函数的自动识别。

一种基于动态特征的自定义堆管理函数的自动识别方法，其步骤如下：

1)获取目标程序动态执行过程的二进制指令记录；

2)通过call-ret指令配对，恢复二进制指令记录中函数边界信息，得到候选函数；

3)根据自定义堆管理函数的动态特征对候选函数进行筛选；

4)将筛选出的自定义堆管理函数进行统计去重，实现自定义堆管理函数的自动识别。

进一步地，步骤1)中在动态分析环境中执行目标程序来获取目标程序动态执行过程的二进制指令记录。

进一步地，所述二进制指令记录包括指令的EIP、相关寄存器(如EAX、EBX、ECX、EDX、ESI、EDI、EBP、ESP)信息、指令的机器码、记录编号ID。