[发明专利]网络数据抓取方法和爬虫

说明书

本发明提出一种网络数据抓取方法和爬虫，涉及互联网技术领域。其中，本发明的一种网络数据抓取方法包括：调用浏览器发起网页访问请求；模拟用户操作，获取返回页面；在返回页面中提取目标内容。通过这样的方法，能够调用真实的浏览器，在真实浏览器上模拟用户的操作，并对网页反馈的内容进行数据抓取，从而实现了对异步请求反馈信息的内容抓取，提高网络数据抓取能力。

技术领域

本发明涉及互联网技术领域，特别是一种网络数据抓取方法和爬虫。

背景技术

网络爬虫是一种自动提取网页内容的程序，它按照一定的规则抓取互联网信息。网络爬虫一般从一个或若干个初始网页的URL(Uniform Resource Locator，统一资源定位符)开始，获得初始网页上的内容，并继续抽取满足规则的新的URL，将其放入队列，周而复始，直到完成满足系统设定的一定条件时停止。

普通的网络爬虫能够获取静态页面的内容，但是目前大量的网站使用了Ajax(Asynchronous Javascript And XML，异步JavaScript和XML(Extensible MarkupLanguage，可扩展标记语言))技术，对于这种类型的网站，普通爬虫仅能获取网页中同步请求的数据，无法对异步请求进行及时的响应和处理，导致爬虫无法获取目标内容。

发明内容

本发明的一个目的在于实现网络爬虫对于一部请求数据的抓取，提高网络爬虫的网络数据抓取能力。

根据本发明的一个方面，提出一种网络数据抓取方法，包括：调用浏览器发起网页访问请求；模拟用户操作，获取返回页面；在返回页面中提取目标内容。

可选地，调用浏览器发起网页访问请求包括：在请求者地址列表中选取IP(Internet Protocol，互联网协议)地址；调用浏览器，采用IP地址作为源地址发起网页访问请求。

可选地，还包括：若采用IP地址作为源地址无法访问目标网页，则从请求者地址列表中删除IP地址。

可选地，调用浏览器发起网页访问请求还包括：判断请求者地址列表中IP地址的数量是否达到预定门限；若IP地址的数量小于预定门限，则在请求者地址列表中填充IP地址。

可选地，用户操作包括点击、滑动滚轮和/或输入内容并提交。

可选地，在返回页面中提取目标内容包括：判断返回网页是否为不标准网页和/或加载不完全的网页；若返回网页为不标准网页和/或加载不完全的网页，则通过正则表达式在返回页面中提取目标内容；否则，通过XPATH(XML Path Language，可扩展标记语言路径语言)在返回页面中提取目标内容。

通过这样的方法，能够调用真实的浏览器，在真实浏览器上模拟用户的操作，并对网页反馈的内容进行数据抓取，从而实现了对异步请求反馈信息的内容抓取，提高网络数据抓取能力。

根据本发明的另一个方面，提出一种网络爬虫，包括：请求访问模块，用于调用浏览器发起网页访问请求；用户模拟模块，用于模拟用户操作；网页内容获取模块，用于获取返回页面；内容提取模块，用于在返回页面中提取目标内容。

可选地，请求访问模块包括：源地址获取单元，用于在请求者地址列表中选取IP地址；访问单元，用于调用浏览器，采用IP地址作为源地址发起网页访问请求。

可选地，还包括：地址删除模块，用于当采用IP地址作为源地址无法访问目标网页时，从请求者地址列表中删除IP地址。

可选地，请求访问模块还包括：数量判断单元，用于判断请求者地址列表中IP地址的数量是否达到预定门限；地址填充单元，用于当网页地址的数量小于预定门限时，在待搜索地址列表填充网页地址。

可选地，用户操作包括点击、滑动滚轮和/或输入内容并提交。