[发明专利]针对使用AJAX技术网站的安全检测方法和装置

说明书

本发明公开了一种针对使用AJAX技术网站的安全检测方法和装置，涉及网络安全及爬虫领域。其中的方法包括：通过代理工具监听本地端口；启动模拟浏览器工具通过端口请求链接；通过监听本地端口获取页面链接，页面链接中包含AJAX请求链接；对页面链接中包含的AJAX请求链接进行安全检查。本发明能够解决针对AJAX技术网站的安全检测问题。

技术领域

本发明涉及网络安全及爬虫领域，尤其涉及一种针对使用AJAX技术网站的安全检测方法和装置。

背景技术

AJAX即“Asynchronous Javascript And XML”(异步JavaScript和XML)，是指一种创建交互式网页应用的网页开发技术。通过在后台与服务器进行少量数据交换，AJAX可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页(不使用AJAX)如果需要更新内容，必须重载整个网页页面。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL(Uniform Resource Locator，统一资源定位符)开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

Web2.0的兴起，主流网站都开始采用AJAX技术，一般网络安全检测手段都是利用传统爬虫通过解析页面来获取链接，而AJAX请求需要webkit hook才能抓取到链接，直接导致传统安全检测手段无法使用。

发明内容

本发明要解决的一个技术问题是一种针对使用AJAX技术网站的安全检测方法和装置能够解决针对AJAX技术网站的安全检测问题。

根据本发明一方面，提出一种针对使用AJAX技术网站的安全检测方法，包括：通过代理工具监听本地端口；启动模拟浏览器工具通过端口请求链接；通过监听本地端口获取页面链接，页面链接中包含AJAX请求链接；对页面链接中包含的AJAX请求链接进行安全检查。

进一步地，通过代理工具监听本地端口之前还包括：生成CA证书，获取https请求。

进一步地，对页面链接进行解析包括：利用广度优先解析页面链接。

进一步地，该方法还包括：将AJAX请求链接发送至数据库，并对AJAX请求链接进行去重处理。

进一步地，对AJAX请求链接进行安全检查包括：在AJAX请求链接的参数值设置替换符；使用有效载荷payload替换AJAX请求链接中的替换符；在访问AJAX请求链接时，如果返回的内容包含payload相关信息，则确定AJAX请求链接存在漏洞。

根据本发明的另一方面，还提出一种针对使用AJAX技术网站的安全检测装置，包括：端口监听单元，用于通过代理工具监听本地端口；请求链接获取单元，用于启动模拟浏览器工具通过端口请求链接；网页分析单元，用于通过监听本地端口获取页面链接，页面链接中包含AJAX请求链接；安全检查单元，用于对AJAX请求链接进行安全检查。

进一步地，该装置还包括：https请求获取单元，用于生成CA证书，获取https请求。

进一步地，网页分析单元还用于利用广度优先解析页面链接，获取AJAX请求链接。

进一步地，该装置还包括去重处理单元；去重处理单元用于对AJAX请求链接进行去重处理。