[发明专利]一种基于智能流量导向切换的数据反爬取方法及装置

说明书

本发明公开了一种基于智能流量导向切换的数据反爬取方法及装置，方法包括：获取网站核心数据，根据算法生成与核心数据类似的虚假数据，将虚假数据存储至预先构建的虚假数据服务器对应的数据库中；检测到访问请求，根据访问请求的请求信息识别出爬虫程序；将爬虫程序对应的请求导入到虚假数据服务器，返回虚假数据服务器对应的数据库中的虚假数据。本发明实施例相比传统的反爬手段，不是将爬虫程序扼杀在访问请求中，而将所有的爬虫请求引导到需要的服务端，返回错误的数据，增大爬虫的成本的同时也不会影响网站本身的请求压力。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于智能流量导向切换的数据反爬取方法及装置。

背景技术

网络爬虫是一种自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。但是当网络爬虫被滥用后，互联网上就出现太多的东西，原创得不到保护。于是，很多网站开始反网络爬虫，想方设法保护自己的内容，他们根据ip访问频率，浏览网页速度，账户登录，输入验证码，flash封装，ajax混淆，js加密，图片，css混淆等五花八门的技术。

现有的反爬技术发以下几大类：

1)user-agent,数据请求头，最初级的反爬，只要在请求中模拟请求头即可轻松绕过，使得数据容易被爬取；

2)验证码反爬，验证码反爬是最常用的反爬虫措施，但简单验证码通过机器学习自动识别，通常正确率能达到50％以上甚至更高。复杂验证码通过提交到专门的打码平台进行人工打码，依据验证码的复杂度，打码工人平均每码收1-2分钱，成本比较低，但同样容易被绕过，使得数据容易被爬取；

3)封IP，封IP是最有效也最容易误杀的方案，该策略建立在IP稀有的前提下，目前通过代理池购买ADSL，或者拨号VPS等方式，可以低成本获取数十万的IP池，导致单纯的封IP策略效果越来越差；

4)滑块验证，滑块验证结合了机器学习技术，只需要滑动滑块，而不用看那些复杂到有时人眼也无法分辨的字母，但由于部分厂商实现时校验算法较为简单，导致经常只需要相对简单的模拟滑动操作就能绕过，从而使得数据被恶意爬取。类似案例：淘宝，阿里云，淘宝联盟；

5)关联请求上下文，反爬虫可以通过Token或者网络请求上下文是否进行了完整流程的方式来判断是否真人访问。但对具有协议分析能力的技术人员来说进行全量模拟并没有太大困难，数据依然容易被恶意爬取。类似案例如：知乎、百度登录过程；

6)javascript参与运算，简单的爬虫无法进行js运算，如果部分中间结果需要js引擎对js进行解析和运算，那么就可以让攻击者无法简单进行爬取。但爬虫开发者依然可以通过自带js引擎模块或直接使用phantomjs，chrome等无端浏览器进行自动化解析，实现恶意爬取数据。

因此目前技术领域的反爬虫大部分只能防止初级爬虫，专业爬虫工作者很轻易绕过这些手段爬取网站中的核心数据，而太过复杂的反爬手段不仅使得网站运营成本大大增加，同时会对正常用户造成不好的用户体验。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种基于智能流量导向切换的数据反爬取方法及装置，旨在解决现有技术中反爬虫技术大部分只能防止初级爬虫，核心数据容易被爬取的问题。

本发明的技术方案如下：

一种基于智能流量导向切换的数据反爬取方法，所述方法包括：

获取网站核心数据，根据算法生成与核心数据类似的虚假数据，将虚假数据存储至预先构建的虚假数据服务器对应的数据库中；

检测到访问请求，根据访问请求的请求信息识别出爬虫程序；