[发明专利]一种基于特征检测的恶意网页发现方法及系统

说明书

本发明提供一种基于特征检测的恶意网页发现方法，包括以下步骤：通过读取URL文件，提取URL相关网络行为特征；通过读取DNS文件，提取域名相关网络行为特征；通过读取NetFlow文件，提取流量相关网络行为特征；针对URL相关网络行为特征，域名相关网络行为特征及流量相关网络行为特征进行规则匹配，根据匹配结果识别恶意URL。同时，基于实时捕获的网络流，构建了实现上述方法的在线的具有检测及识别功能的系统，并通过该系统实施在线网页识别，能从实时网络流中实时识别恶意网页的URL。

技术领域

本发明涉及到网络流安全技术，特别涉及在线实时分析大规模网络流，挖掘和发现恶意URL，具体涉及一种基于特征检测的恶意网页发现方法及系统。

背景技术

作为一个开放式的共享平台，互联网在为人们提供便利的同时也为一些不法分子收集个人隐私信息、组织犯罪活动创造了新的机会。在一些已知的网络犯罪活动中，包含恶意代码和网上诱骗的网页(即恶意网页，包括：钓鱼网站、网页木马、色情网站等)常常扮演着十分重要的角色。卡巴斯基的统计数据显示，恶意网页在87.36％的网络攻击行为中出现并发挥作用。这类网页或者在用户不知情的情况下将恶意代码自动安装到用户的计算机中，或者协助不法分子冒充他人骗取用户个人信息及其他敏感信息。Google的统计数据表明，其每天平均拦截的新的恶意网页数高达9500个。这些恶意网页的存在，对Web的安全应用构成极大的威胁。

为了保护用户的计算机免受恶意网站攻击，一些主流浏览器(例如：IE浏览器的SmartScreen筛选器及谷歌浏览器的safebrowsing等)往往采用内置恶意网址列表的方法为用户提供安全服务。具体方法为，浏览器首先通过自动检测和人工举报的方式获得一份类似黑名单的恶意网址列表。然后，在用户浏览某个网页前，浏览器通过扫描内置的恶意网址列表来判断该网页的URL(Uniform Resource Locator)是否为恶意网页。如果确定为恶意网页后，浏览器将向用户发出警告，以提示用户防止恶意代码和网上诱骗的攻击。这类安全服务的原理简单且易于实现，因此在工业界被广泛应用。然而，随着互联网的发展和网络攻击方式的层出不穷，这种方法逐渐面临一些新的挑战，包括：

1)大规模的网络数据环境。作为一个开放式的共享平台，互联网不断发展，网页规模不断扩大，新的网页不断涌现。由于第三方专业服务机构提供的恶意网址列表的更新速度远远跟不上恶意网页的更新速度，容易出现恶意网页漏判的情况。

2)网页隐匿技术的使用。随着传统方法的广泛应用，很多攻击者开始寻找并逐步使用网页隐匿技术来躲避检查。例如，一些恶意站点通过伪装网页内容来逃避启发式爬虫的自动检测，以避免被加入恶意网址列表，进而常常导致网页错判的情况。因此，随着恶意网页隐藏技术的逐步应用，发现新的恶意网页的难度也在逐步加大。

3)不均衡的数据集特点。少量恶意网页往往淹没在海量的正常网页中。例如，google每天检查数亿的URL只能发现约9500个不安全的站点，大部分网页的分析价值低，并且检测需要消耗时间长。同时，由于自动分析和人工报告需要消耗大量的计算资源，如果对每个网页都进行分析，资源利用率将十分低下。

因此，如何设计一套自动化的工具快速准确的发现恶意网站及其URL(UniformResource Locator)是一个迫切需要解决的问题。

发明内容

针对上述问题，本发明的目的是提供一种基于特征检测的恶意网页发现方法及系统，基于实时捕获的网络流，构建了一个在线的具有检测及识别功能的系统，并通过该系统实施在线网页识别，能从实时网络流中实时识别恶意网页的URL。

为了达到上述的目的，本发明采取的技术方案是：

一种基于特征检测恶意网页发现方法，包括以下步骤：

通过读取URL文件，提取URL相关网络行为特征；

通过读取DNS文件，提取域名相关网络行为特征；