[发明专利]一种恶意URL检测方法及其实现系统

说明书

技术领域

本发明涉及一种计算机信息安全认证技术，综合利用计算机网络及机器学习算法实现，可应用于在各终端上执行与钱财往来的信息确认等需要进行身份认证的系统及领域，具体涉及一种恶意URL检测方法及其实现系统。

背景技术

按照RFC1738规范，URL（Uniform Resource Locator）的语法格式一般表示成如下形式：“<scheme>:<scheme-specific-part>”，一个URL包含了方案名称（<scheme>）和方案描述部分（<scheme-specific-part>），方案描述部分完全由其使用的方案来决定。方案名称通常是HTTP协议，方案部分如果省略也默认是HTTP协议，则其相应的方案描述部分形式如下：“//<user>:<password>@<host>:<port>/<url-path>?<searchpart>”，其中“<user>:<password>@”，“:<password>”，“:<port>”，“/<url-path>?<searchpart>”和“?<searchpart>”都有可能被省略。 “<searchpart>”是查询字符串，在检测URL是否恶意的过程中可以忽略，即：剔除“<searchpart>”及其前面的“？”得到的新URL与待检测URL的恶意性是实质意义上相同的。

随着微博的快速发展，短URL服务逐渐活跃。短URL，顾名思义就是形式上比较短的网址。短网址服务可以把一个长网址缩短，从而方便在社交网络和微博上分享链接。因为微博等内容一般都有字数限制，较长的URL地址会挤压正文的空间，而短网址服务正好解决了这种问题，借助短网址服务可以用简短的网址代替原来冗长的网址。然而这也带来了安全隐患，由于短网址都是采用压缩的算法生成，这使得一些恶意的短网址更加具有隐蔽性，同时给URL检测增加了困难。但是短URL恶意性检测已经刻不容缓，《赛门铁克互联网安全威胁报告16》显示，2010年，将近2/3的恶意链接都采用了短链接，全球范围内达数百万条。

目前业界的恶意URL检测方法主要包括：基于静态字符串匹配的方法，将恶意URL存放在文件中，对待检测URL进行匹配判断；基于哈希值的对比检测，提取并保存恶意URL的哈希值，对待检测URL计算哈希值并对比判断；基于URL所在的消息和内容，提取恶意URL所在的消息内容和该URL对应的页面资源，对待检测URL判断是否包含恶意内容。上述的这些方法可以处理大部分的恶意URL检测问题，不幸的是当前终端设备无法完全规避URL灵活性、常变性导致的恶意入侵，时刻威胁着用户终端的系统安全和更重要的财产安全等。

发明内容

本发明针对现有技术的迫切需求，提出了一种恶意URL检测方法及其实现系统，以期提供一种检测方式更灵活，更加安全可靠的URL检测技术解决方案。

本发明的上述第一个目的得以实现的技术解决方案是：一种恶意URL检测方法，其特征在于包括步骤：S1、根据RFC1738规范将待检测URL拆分为字符串，并采用补全、修改字符串的方式整理得到实质相同的新URL；S2，将S1所得到的新URL在URL知识库中遍历匹配，将包含于URL知识库中并直接匹配的URL检测结果输出；S3，对无法在URL知识库中查到的新URL通过预定义规则进行判断并分类检测，包括步骤S31-S33：S31、对规则判断包含恶意特征的URL检测结果输出；S32、对规则判断为简短化的URL，采用还原法转换成相应长度的URL并执行步骤S2；S33、对于规则无法判断的URL，提取特征字段构建预测文件，并通过线下训练且不断更新的分类器对预测文件作模型预测恶意性并输出。

进一步地，步骤S1中所述补全、修改字符串的方式是指：面向拆分待检测URL所得的字符串，判断是否存在协议或是否包含查询字符串，对缺失协议的情况补充默认的HTTP协议；对包含查询字符串的情况去除该查询字符串及其前面的“?”字符，形成实质相同的新URL。

进一步地，步骤S2中所述URL知识库包含正常URL、恶意URL及正常URL的顶级域名，待检测URL或待检测URL的顶级域名存在于URL知识库中直接匹配，将URL检测结果输出。