[发明专利]网页抓取方法及装置

说明书

本发明公开了一种网页抓取方法及装置，属于计算机网络领域。所述方法包括：抓取游戏网站上的目标网页页面；根据目标网页页面的网页源代码，识别H5游戏对应的网页页面；对H5游戏对应的网页页面进行动态渲染，得到渲染后的网页页面；渲染后的网页页面中提取H5游戏对应的游戏详情信息。本发明通过网页源代码识别出H5游戏对应的网页页面，使得服务器能够从渲染后的该网页页面中提取出H5游戏对应的游戏详情信息，避免了抓取结果需要大量人工来筛选和信息提取的问题，达到了根据网页的源代码准确识别H5游戏对应的网页页面，进行从网页页面中提取游戏详情信息，从而提高提取过程的效率和准确率的效果。

技术领域

本发明实施例涉及计算机网络领域，特别涉及一种网页抓取方法及装置。

背景技术

H5(Hypertext Markup Language 5，超文本链接标示语言5)游戏是指在诸如智能手机、平板电脑等电子设备的Web端上运行的游戏。

在建立一个H5游戏网站时，需要网站管理员收集多个H5游戏的游戏详情信息，比如：游戏名、游戏简介信息、游戏运行图片等。在收集过程中，网站管理员会使用网络爬虫对已有的H5游戏网站的所有网页页面进行抓取，所有网页页面中包括H5游戏对应的网页页面和非H5游戏对应的网页页面；然后由人工在所有网页页面中提取与H5游戏有关的游戏详情信息。

由于在上述技术中，网络爬虫只能简单地抓取所有网页页面，需要大量的人工来识别H5游戏所对应的网页页面，以及从H5游戏所对应的网页页面提取信息，整个提取过程的效率较为低下，准确率也较低。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种网页抓取方法及装置。所述技术方案如下：

第一方面，提供了一种网页抓取方法，所述方法包括：

抓取游戏网站上的目标网页页面；

根据所述目标网页页面的网页源代码，识别H5游戏对应的网页页面；

对所述H5游戏对应的网页页面进行动态渲染，得到渲染后的网页页面；

从所述渲染后的网页页面中提取所述H5游戏对应的游戏详情信息；

其中，所述游戏详情信息包括游戏名、游戏图标、游戏运行图片、游戏详情、游戏运行地址、游戏类型中的至少一种。

第二方面，提供了一种网页抓取装置，所述装置包括：

抓取模块，用于抓取游戏网站上的目标网页页面；

识别模块，用于根据所述目标网页页面的网页源代码，识别H5游戏对应的网页页面；

渲染模块，用于对所述H5游戏对应的网页页面进行动态渲染，得到渲染后的网页页面；

提取模块，用于从所述渲染后的网页页面中提取所述H5游戏对应的游戏详情信息；

其中，所述游戏详情信息包括游戏名、游戏图标、游戏运行图片、游戏详情、游戏运行地址、游戏类型中的至少一种。

本发明实施例提供的技术方案带来的有益效果是：

通过抓取游戏网站上的目标网页页面；根据目标网页页面的网页源代码，识别H5游戏对应的网页页面；对H5游戏对应的网页页面进行动态渲染，得到渲染后的网页页面；从渲染后的网页页面中提取H5游戏对应的游戏详情信息；使得服务器能够根据网页源代码识别出H5游戏对应的网页页面，从渲染后的该网页页面中提取出H5游戏对应的游戏详情信息，避免了抓取结果需要大量人工来筛选和信息提取的问题，达到了根据网页的源代码准确识别H5游戏对应的网页页面，进行从网页页面中提取游戏详情信息，从而提高提取过程的效率和准确率的效果。

附图说明