[发明专利]网页数据获取方法、系统和数据匹配推送方法

说明书

本发明涉及一种网页数据获取方法及系统、数据匹配推送方法、计算机存储介质及设备，其中网页数据获取方法包括：将目标网页的网址与参考网址进行比较，确定所述网址的类型；根据所述网址的类型，确定网页搜索策略；根据所述网页搜索策略采集所述目标网页的网页数据。上述方案通过将目标网页的网址与预设参考网址进行比较，确定网址的类型，根据网址的类型确定网页搜索策略，通过采取该网页搜索策略对目标网页进行网页数据采集，从而提高了网页数据获取的效率。

技术领域

本发明涉及网络信息技术领域，特别是涉及一种网页数据获取方法、系统和数据匹配推送方法。

背景技术

随着互联网的迅速发展，各种网络数据呈现爆炸式增长，如何快速地从海量的网络信息中获取网页数据成为了一大难题。

传统的网页数据获取方法是通过网络爬虫技术来实现的，即从一个或者若干个初始的URL(Uniform Resource Locator，统一资源定位符)开始，通过设定好的爬行顺序或方法获取网页中的信息，再从网页中提取新的URL地址作为下一跳的地址，或者在原地址的基础上进行适当的地址拼接形成新的下一跳分析地址，直至满足系统设定的停止条件。

然而，传统的网页数据获取方法存在数据获取效率低的技术问题。

发明内容

基于此，有必要针对上述数据获取效率低的技术问题，提供一种网页数据获取方法、系统和数据匹配推送方法。

一种网页数据获取方法，包括以下步骤：

将目标网页的网址与参考网址进行比较，确定所述网址的类型；

根据所述网址的类型，确定网页搜索策略；

根据所述网页搜索策略采集所述目标网页的网页数据。

上述网页数据获取方法中的网址的类型包括：企业官方网址和政府网址；若确定所述网址的类型为企业官方网址，则确定网页搜索策略为广度优先策略；若确定所述网址的类型为政府网址，则确定网页搜索策略为深度优先策略和广度优先策略，针对不同网址的类型采用不同的网页搜索策略，提高了网页数据获取的准确性与效率。

所述网址的类型还包括：社交网址，若确定所述网址的类型为社交网址，则根据所述目标网页的网页数据，获取发布所述网页数据所属话题的用户的类型，进而根据所述用户的类型，确定网页搜索策略，针对社交网址，根据其中发布网页数据所属话题的用户的类型来确定网页搜索策略，提高了网页数据获取的准确性与效率。其中，所述用户的类型包括：官方用户和个人用户；若确定所述用户的类型为官方用户，则确定网页搜索策略为深度优先策略；若确定所述用户的类型为个人用户，则确定网页搜索策略为深度优先策略和广度优先策略。针对官方或个人用户的用户类型不同，采用不同网页搜索策略，进一步提高网页数据获取的准确性与效率。

上述网页数据获取方法，在确定所述网址的类型为社交网址之后，还包括根据所述目标网页的网页数据，获取目前所述网页数据所属话题的生命周期，根据所述生命周期，确定网页搜索策略，根据所述网页搜索策略采集所述目标网页的网页数据，针对网页数据所属话题目前所属生命周期阶段采取不同网页搜索策略，提高了网页数据获取的准确性与效率。

在根据所述网页搜索策略采集所述目标网页的网页数据的步骤之后，还包括根据所述目标网页的网页数据，获取所述网页数据所属第一话题的第一参与用户的等级，若所述第一参与用户的等级满足预设等级要求，则采集所述第一参与用户在所述第一话题发表的全部数据，从而提高网页数据获取的效率与完整性。

上述网页数据获取方法，在根据所述网页搜索策略采集所述目标网页的网页数据的步骤之后，还包括根据所述目标网页中的网页数据，获取所述网页数据所属第二话题的第二参与用户的话题参与次数，若所述第二参与用户的话题参与次数超过参与次数阈值，则对所述第二参与用户在所述第二话题的生命周期内发布的数据进行采集，从而提高了网页数据获取的全面性。