[发明专利]基于模糊哈希算法的恶意代码检测系统及方法

说明书

技术领域

本发明涉及一种恶意代码检测技术，尤其涉及一种客户端软件与云端服务器利用模糊哈希算法协同检测恶意代码的系统及方法。

背景技术

恶意代码是信息安全领域最严重的威胁之一。如何高效、高质地检测出恶意代码，是该领域的一个核心问题。

近年来，每天新出现的恶意代码样本已经数以万计，由此带来检测恶意代码所需特征数量的增长和所需硬件资源的增长。传统杀毒软件将特征库存储在客户端，并利用客户端直接进行检测，占用和消耗了用户计算机的磁盘空间和计算资源，且存在特征库升级的问题。因此，目前大部分反病毒厂商都推出了利用云计算的恶意代码检测和清除技术，即所谓的“云查杀”。云查杀是指：由反病毒厂商建立庞大的在线服务器集群，用于存储海量检测特征和检测规则，并进行匹配检测；杀毒软件客户端则将要检测对象的信息通过互联网上传至这些服务器，等待服务器检测的结果。这种设计节约了客户端的磁盘空间和计算资源，也便于检测特征的实时更新。

在客户端需要上传检测对象的哪些信息上，现有云查杀技术存在两种选择策略，它们均存在不足。

一种方法是，客户端将要检测的对象完全上传至服务器。但检测对象有可能较大，例如超过1兆字节的文件，在计算机中较为常见。上传这些文件会占用网络带宽，影响用户对网络的正常使用。在互联网接入速度不高的计算机上，还需要等待大量的时间才能上传完毕，用户要获得检测结果需要更长的等待时间。在大规模检测任务，例如检测磁盘中所有文件时，这种问题尤为突出。

为了避免上述问题，部分客户端不上传检测对象本身，只上传其哈希值。而服务器将这个哈希值与特征库中的哈希值进行对比，如果特征库中存在完全一样的哈希值，则认为该对象是恶意代码；如果不存在完全一样的哈希值，则认为该对象不是恶意代码。

目前普遍采用的哈希算法，例如MD5、SHA-1等，均为密码学意义上的哈希算法。这类哈希算法具有输入值扰动的敏感性。即对输入数据进行任何细微的变化，例如增加、删除或修改一个字节，计算得到的哈希值将完全不同，并且找不出任何规律。这一性质是用于密码学协议的哈希算法所必须具备的。正因为这一性质，这种哈希算法只能精确判断检测对象是否与已知的恶意代码完全相同，而不允许有任何一点区别。

然而，恶意代码本身是可能发生变化的，原因包括但不限于：感染式病毒选择了不同的宿主进行感染；恶意代码被作者加了不同的壳；作者编译恶意代码时选择了不同的参数；作者生成恶意代码时选择了不同的配置信息；恶意代码在网络上传输、在磁盘上拷贝时，发生了错误等。

在现实中，由于上述原因产生的恶意代码样本占每天新出现恶意代码中绝大部分。而采用传统哈希算法的云查杀对这类恶意代码无能为力，因为其哈希值与已知恶意代码的哈希值已经相差巨大。

综上，云查杀可以回传整个检测对象，但占用带宽；也可以回传其哈希值，但只能精确检测，难以检测出新的恶意代码样本。有厂商采用了先回传哈希值，如果无法匹配到特征，再回传整个检测对象的方法，试图在两种方法之间取得折中效果，但无法匹配到特征的情况太多，效果不佳。

另一方面，2006年出现了所谓的“模糊哈希（Fuzzy Hashing）”算法（Jesse Kornblum. Identifying Almost Identical Files Using Context Triggered Piecewise Hashing. Digital Investigation, 2006, pp.91-97）。模糊哈希又称“内容触发分片哈希（CTPH, Context Triggered Piecewise Hashing）”，它结合了两种普通哈希算法：一个轮换哈希（Rolling Hashing），用于判断要计算数据在哪些地方需要分片；另一个可以是任何一种普通哈希算法，用于单独计算每一片数据的哈希值。最后模糊哈希算法将每一片数据的哈希值组合，得到最终的模糊哈希值。

模糊哈希算法的特点在于，它对计算内容的细节变化不敏感，即在原始数据上插入、删除、修改少量字节后，对模糊哈希值的影响不大。除此以外，它具有普通哈希算法的其他所有性质。