[发明专利]基于第三方服务ID的非法网站检测方法及装置

说明书

本发明公开了种基于第三方服务ID的非法网站检测方法及装置，所述方法包括：利用白名单ID对多个待检测网站进行过滤，并基于网站的过滤结果，构造待检测社区；提取待检测社区的社区域名语义特征、网站ID特征和社区统计特征；基于社区域名语义特征、网站ID特征和社区统计特征，得到多个待检测网站的非法检测结果。本发明不仅可以发现使用了伪装技术的域名，还可以快速发现已观测的非法域名。

技术领域

本公开涉及安全检测技术领域，具体涉及一种基于第三方服务ID的非法网站检测方法及装置。

背景技术

非法网站因其产生的不良社会影响，已经受到政府部门、应用市场的限制。然而易部署的第三方服务使得网络攻击可以快速部署网站以绕过审查，因此，对于速变网站的检测十分必要。通常第三方服务商为了提供差异化服务，会要求网站请求URL中包含身份凭证(下文称为ID)，这些URL在网站中通常以JS代码或者链接的形式出现。第三方服务ID通常具有唯一性，因而可以将隶属于相同的网站管理者的不同的网站关联一起。Starov等人(Starov,Oleksii,et al.Betrayed by your dashboard:Discovering maliciouscampaigns via web analytics.Proceedings of the 2018World Wide WebConference.2018.)从钓鱼网站中提取了18种不同的分析服务ID，而后将收集到的ID作为黑名单，并发现利用这些黑名单ID可以发现新的钓鱼网站。Yang等人(Yang,Hao,et al.Casino royale:a deep exploration of illegal online gambling.Proceedings ofthe 35th Annual Computer Security Applications Conference.2019.)通过对非法网站测量，发现许多非法网站共享第三方分析服务ID、第三方客服服务ID。为了方便描述，本发明将由同一个ID关联到的所有网站称为一个社区，社区示例如图1所示。

上述研究为检测非法网站提供了新思路，即从非法网站中提取ID，并利用这些ID发现新的非法域名。然而上述研究具有以下不足：1)仅关注特定的第三方服务，例如第三方分析服务、第三方客服服务。事实上，许多第三方服务都包含ID，例如第三方游戏服务、第三方建站服务。2)这些工作大多是针对ID进行测量和分析，缺乏利用ID自动化检测非法网站的方法。

发明内容

针对现有技术的不足，本发明公开了一种基于第三方服务ID的非法网站检测方法，该方法拓展了第三方服务的研究范围，不局限于具体的第三方服务。

本发明的技术内容包括：

一种基于第三方服务ID的非法网站检测方法，所述方法包括：

利用白名单ID对多个待检测网站进行过滤，并基于网站的过滤结果，构造待检测社区；

提取待检测社区的社区域名语义特征、网站ID特征和社区统计特征；

基于社区域名语义特征、网站ID特征和社区统计特征，得到多个待检测网站的非法检测结果。

进一步地，所述利用白名单ID对多个待检测网站进行过滤，并基于网站的过滤结果，构造待检测社区，包括：

建立ID匹配规则；

基于所述ID匹配规则，从合法域名中进行网站ID提取，以得到白名单ID；

利用白名单ID对多个待检测网站进行过滤，得到可疑网站；

利用网站ID对网站进行聚类，以得到若干个社区；

将域名数量大于2个的社区作为待检测社区。