[发明专利]数据抓取方法及装置

说明书

技术领域

本发明实施例涉及网络应用技术领域，尤其涉及一种数据抓取方法及装置。

背景技术

数据抓取是目前从互联网中获取信息的一种基本方式。

现有技术中的数据抓取方式，通常是利用网络爬虫进行爬取，网络爬虫可以基于种子URL(Uniform Resource Locator，统一资源定位符)进行深入遍历抓取，但是抓取的URL和抓取内容均无法控制，因此会导致获得很多无效信息。

发明内容

本发明实施例提供一种数据抓取方法及装置，用以解决现有技术中数据抓取有效性及准确度低的技术问题。

第一方面，本发明实施例中提供了一种数据抓取方法，包括：

基于统一资源定位符URL模板对应的参数生成规则，确定更新内容；

利用所述更新内容更新所述URL模板，生成待抓取URL；

推送所述待抓取URL至抓取服务器；

触发所述抓取服务器抓取所述待抓取URL对应的网络数据。

可选地，所述推送所述待抓取URL至抓取服务器包括：

推送一批第一数量的待抓取URL至所述抓取服务器；

针对当前一批第一数量的待抓取URL，如果所述抓取服务器处理完成第二数量的待抓取URL，推送下一批第一数量的待抓取URL至所述抓取服务器。

可选地，所述方法还包括：

针对所述当前一批第一数量的待抓取URL，如果所述抓取服务器的抓取等待时长超过预设时长，推送下一批第一数量的待抓取URL至所述抓取服务器。

可选地，所述触发所述抓取服务器抓取所述待抓取URL对应的网络数据包括：

触发所述抓取服务器抓取所述待抓取URL对应的网络数据，并将所述网络数据存储至网络存储空间；

所述方法还包括：

从所述网络存储空间获取所述网络数据。

可选地，所述从所述网络存储空间获取所述网络数据包括：

每间隔预设等待间隔，采用多进程方式从所述网络存储空间获取所述网络数据。

第二方面，提供了一种数据抓取装置，包括：

确定模块，用于基于统一资源定位符URL模板对应的参数生成规则，确定更新内容；

生成模块，用于利用所述更新内容更新所述URL模板，生成待抓取URL；

推送模块，用于推送所述待抓取URL至抓取服务器；

抓取触发模块，用于触发所述抓取服务器抓取所述待抓取URL对应的网络数据。

可选地，所述推送模块包括：

推送单元，用于推送一批第一数量的待抓取URL至所述抓取服务器；

第一判断单元，用于针对当前一批第一数量的待抓取URL，如果所述抓取服务器处理完成第二数量的待抓取URL，触发所述推送单元推送下一批第一数量的待抓取URL至所述抓取服务器。

可选地，所述推送模块还包括：

第二判断单元，用于针对所述当前一批第一数量的待抓取URL，如果所述抓取服务器的抓取等待时长超过预设时长，触发所述推送单元推送下一批第一数量的待抓取URL至所述抓取服务器。

可选地，所述抓取触摸模块具体用于触发所述抓取服务器抓取所述待抓取URL对应的网络数据，并将所述网络数据存储至网络存储空间；

所述装置还包括：

数据获取模块，用于从所述网络存储空间获取所述网络数据。

可选地，所述数据获取模块具体用于每间隔预设等待间隔，采用多进程方式从所述网络存储空间获取所述网络数据。

本发明实施例中，可以根据参数生成规则，基于预配置的URL模板自动生成待抓取URL，使得待抓取URL根据实际抓取需求生成，针对性更强，抓取服务器仅抓取待抓取URL对应的网络数据，使得基于待抓取URL抓取的网络数据具有针对性，而不是盲目抓取的，从而提高了数据抓取准确度，获得有效的网络数据，避免抓取无效信息，还可以节省抓取资源，降低抓取的开发成本，提高抓取效率。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提供的一种数据抓取方法一个实施例流程图；