[发明专利]一种网页数据信息的定向采集方法及装置

摘要

本发明公开了一种网页数据信息的定向采集方法，用以解决现有技术中搜索引擎在进行信息采集时，造成的资源浪费及信息采集不准确的问题。该方法确定列表页当前的页面更新率，根据列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述网站当前信息采集与下一次信息采集的时间间隔，在等待该确定的时间间隔后，进行信息采集。本发明还提供了一种网页数据信息的定向采集装置。如本发明提出的方案，通过确定列表页的页面更新率，动态的确定信息采集的时间间隔，因此可以在网页刷新时准确的获取到信息，并且减少了网络资源的浪费。

主权项

一种网页数据信息的定向采集方法，其特征在于，包括：根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符URL信息，其中所述列表页为用于数据信息采集的网页；根据抽取的每个内容页的URL信息，及服务器中保存的已经进行了数据信息采集的每个URL信息，确定该列表页中未进行数据信息采集的URL信息的数量；根据确定的所述列表页中未进行数据信息采集的URL信息的数量，及抽取的所述内容页的URL信息的数量，确定所述列表页当前的页面更新率；根据所述列表页所属网站的标准更新率，确定的所述列表页当前的页面更新率，及当前的信息采集时间间隔，确定针对所述列表页当前数据信息采集与下一次数据信息采集的时间间隔，并在等待该确定的时间间隔后，进行数据信息采集。