[发明专利]网页抓取方法及装置

权利要求书

1.一种网页抓取方法，其特征在于，所述方法包括：

设置TCP拥塞窗口的初始值为预设阈值，所述预设阈值是用于接收抓取到的目标网页页面时所需要的经验上限值；

由本次使用的抓取服务器抓取游戏网站上的所述目标网页页面，所述本次使用的抓取服务器为n个抓取服务器中与所述游戏网站之间的通信时间最短，且与所述游戏网站对应的游戏服务器属于相同位置区域的同一互联网服务商的所述抓取服务器，n为大于1的整数；

根据所述目标网页页面的网页源代码，识别H5游戏对应的网页页面；

对所述H5游戏对应的网页页面进行动态渲染，得到渲染后的网页页面；

从所述渲染后的网页页面中提取所述H5游戏对应的游戏详情信息；

其中，所述游戏详情信息包括游戏名、游戏图标、游戏运行图片、游戏详情、游戏运行地址、游戏类型中的至少一种。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标网页页面的网页源代码，识别H5游戏对应的网页页面，包括：

检测所述目标网页页面的网页源代码是否符合预定条件；

若所述网页源代码符合所述预定条件，则将所述网页页面识别为所述H5游戏对应的网页页面；

其中，所述预定条件中的至少一种条件：

所述网页页面的主题名称与预设游戏关键字匹配；和/或，

携带有采用预定渲染技术的代码，所述预定渲染技术包括canvas和WebGL中的至少一种；和/或，

携带有预定游戏引擎对应的代码，所述预定游戏引擎包括Egret白鹭引擎，cocos2dx-js引擎，Game Maker Studio引擎，Construct 2引擎中的至少一个。

3.根据权利要求2所述的方法，其特征在于，所述预定条件包括至少两种条件；

检测所述目标网页页面的网页源代码是否符合预定条件，包括：

检测所述目标网页页面的网页源代码是否符合第i种条件；

根据检测结果和如下公式计算所述网页源代码是所述H5游戏对应的网页页面的概率值：

检测所述概率值是否大于预设阈值；

若所述概率值大于所述预设阈值，则确定所述网页源代码符合所述预定条件；

其中，y表示所述概率值，a_i表示第i种所述条件对应的权值，当所述网页源代码符合所述第i种条件时，b_i的取值为大于0的预定值，当所述网页源代码不符合所述第i种条件时，b_i的取值为0，1≤n≤N，N为所述预定条件的个数。

4.根据权利要求1所述的方法，其特征在于，所述抓取游戏网站上的目标网页页面，包括：

通过网络爬虫抓取所述游戏网站的第一层URL对应的第一网页页面；

从所述第一网页页面中获取第二层URL，所述第二层URL是与游戏分类对应的URL；

通过所述网络爬虫抓取所述第二层URL对应的第二网页页面；

从所述第二网页页面中获取第三层URL，所述第三层URL包括与所述H5游戏对应的URL；

通过所述网络爬虫抓取所述第三层URL对应的第三网页页面，将所述第三网页页面确定为所述目标网页页面。

5.根据权利要求4所述的方法，其特征在于，所述通过所述网络爬虫抓取所述第二层URL对应的第二网页页面之后，还包括：

从所述第二网页页面中提取所述游戏名和游戏简介信息；

将所述游戏简介信息添加至与所述游戏名对应的所述游戏详情信息中。