[发明专利]一种网页数据信息的定向采集方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种网页数据信息的定向采集方法及装置。

背景技术

随着网络技术的出现，用户获取信息的方式得到了拓展，并且随着网络技术的不断成熟，互联网已经成为用户获取信息的主要载体。在互联网中用户可以通过搜索引擎进行信息的采集，而网络信息采集系统为搜索引擎的重要组成部分。

网络信息采集系统可以在互联网中自动提取网页，并以提取的网页的统一资源定位符(Uniform Resource Locator，URL)为种子URL，访问并下载该URL对应的网页，获取该网页中存在的URL，将获取的URL添加到URL列表中，在该列表中选择一个URL，重新上述过程，直到满足设定的要求。

在通过提取网页进行数据信息采集时，每两次信息采集之间存在一定的时间间隔，现有技术中一般每两次信息采集之间的时间间隔相等，或者该时间间隔符合泊松分布。

在进行信息采集时，每两次信息采集之间采用相等的时间间隔时，如果应用在更新比较缓慢的网站上，由于网站的更新比较慢，每两次信息采集过程中可能采集的信息相同，从而造成了搜索引擎资源的浪费，并且还可能带来带宽的浪费。当该时间间隔应用在更新比较频繁的网站上时，由于网站的更新比较频繁，网站的内容可能已经更新了，但是下一采集时间还没有到来，因此可能由于信息的漏采，造成信息采集的不准确。

而当时间间隔符合泊松分布时，也只是由搜索引擎运行的时间增长，而使时间间隔趋于一个稳定值，即当搜索引擎长时间运行时，搜索引擎的信息采集的时间间隔也为一恒定值，因此该时间间隔在进行信息采集的过程中也会造成资源的浪费，及信息采集不准确的问题。

发明内容

有鉴于此，本发明实施例提供一种网页数据信息的定向采集方法及装置，用以解决现有技术中搜索引擎在进行信息采集时，造成的资源浪费及信息采集不准确的问题。

本发明实施例提供的一种网页数据信息的定向采集方法，包括：

根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符URL信息，其中所述列表页为用于数据信息采集的网页；

根据抽取的每个内容页的URL信息，及服务器中保存的已经进行了数据信息采集的每个URL信息，确定该列表页中未进行数据信息采集的URL信息的数量；

根据确定的所述列表页中未进行数据信息采集的URL信息的数量，及抽取的所述内容页的URL信息的数量，确定所述列表页当前的页面更新率；

根据所述列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述列表页当前数据信息采集与下一次数据信息采集的时间间隔，并在等待该确定的时间间隔后，进行数据信息采集。

本发明实施例提供的一种网页数据信息的定向采集装置，包括：

抽取模块，用于根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符URL信息，其中所述列表页为用于数据信息采集的网页；

第一确定模块，用于根据抽取的每个内容页的URL信息，及服务器中保存的已经进行了数据信息采集的每个URL信息，确定该列表页中未进行数据信息采集的URL信息的数量；

第二确定模块，用于根据确定的所述列表页中未进行数据信息采集的URL信息的数量，及抽取的所述内容页的URL信息的数量，确定所述列表页当前的页面更新率；

确定采集模块，用于根据所述列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述列表页当前数据信息采集与下一次数据信息采集的时间间隔，并在等待该确定的时间间隔后，进行数据信息采集。

本发明实施例提供了一种网页数据信息的定向采集方法及装置，该采集方法中确定列表页当前的页面更新率，根据列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述网站当前信息采集与下一次信息采集的时间间隔，在等待该确定的时间间隔后，进行信息采集。由于在本发明实施例的上述实现方式中，通过确定列表页的页面更新率，动态的确定信息采集的时间间隔，因此可以在网页刷新时准确的获取到信息，并且减少了网络资源的浪费。

附图说明

图1为本发明实施例提供的网页数据信息的定向采集过程；

图2为本发明实施例提供的网页数据信息的定向装置的组成结构示意图。

具体实施方式