[发明专利]一种网络信息采集方法、服务器、终端和系统

说明书

本发明公开了一种网络信息采集方法、服务器、终端和系统，涉及计算机技术领域。该方法的一具体实施方式包括：确定采集任务；发送采集任务给目标终端，以使目标终端通过客户端为采集任务生成访问请求；接收目标终端发送的访问请求，并将访问请求发送给web服务端，以触发web服务端发送与访问请求相匹配的访问页面；接收访问页面，并采集访问页面中的信息。该实施方式能够完整的采集发布于客户端内置浏览器上的信息。

技术领域

本发明涉及计算机技术领域，尤其涉及一种网络信息采集方法、服务器、终端和系统。

背景技术

随着网络的快速发展，通过客户端内置浏览器发布各种文章、新闻报道以及企业信息等，已成为网络信息公开的主要途径之一。因此，在网络信息采集中，采集通过客户端内置浏览器访问的信息已不可被忽视。

现有网络信息采集的方式是，直接或者模拟浏览器向web服务端发起HTTP请求，以访问web服务端返回的该HTTP请求对应的页面。由于客户端内置浏览器向web服务端发送的访问页面请求会携带有特征信息，而web服务端会根据该特征信息返回完整信息。而通过现有网络信息采集的方式只能采集一部分发布于客户端内置浏览器上的信息。比如，发布于客户端内置浏览器上的包含有访问量和评论等的新闻，通过现有网络信息采集的方式往往只能采集到新闻，而并不能采集到访问量和评论等。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有网络信息采集的方式并不能完整的采集发布于客户端内置浏览器上的信息。

发明内容

有鉴于此，本发明实施例提供一种网络信息采集方法、服务器、终端和系统，能够完整的采集发布于客户端内置浏览器上的信息。

为实现上述目的，根据本发明实施例的一个方面，提供了一种网络信息采集方法，应用于服务器，包括：

确定采集任务；

发送所述采集任务给目标终端，以使所述目标终端为所述采集任务生成访问请求；

接收所述目标终端发送的所述访问请求，并将所述访问请求发送给web服务端，以触发所述web服务端发送与所述访问请求相匹配的访问页面；

接收所述访问页面，并采集所述访问页面中的信息。

优选地，

上述网络信息采集方法，进一步包括：

设置采集管理项，并将多个配置信息录入所述采集管理项，其中，每一个所述配置信息包括采集时间；

在所述采集管理项中，根据所述采集时间，查找是否存在满足当前时间的配置信息，

如果是，则根据所述满足当前时间的配置信息，执行所述确定采集任务的步骤；

否则，将兜底页面的访问地址发送给目标终端，所述兜底页面指示定时调用预设的接口，以使所述目标终端点击所述兜底页面的访问地址后，执行定时调用预设的接口的操作。

优选地，

每一个所述配置信息进一步包括：访问地址、采集频率以及采集周期；

所述根据所述满足当前时间的配置信息，执行所述确定采集任务的步骤，包括：

将所述满足当前时间的配置信息中的访问地址包装为一个超链接标签，将所述超链接标签、所述满足当前时间的配置信息中的采集频率和采集周期组合为一个采集任务。

优选地，

所述将所述超链接标签以及所述满足当前时间的配置信息中的采集频率组合为一个采集任务，包括：

判断在当前时间是否接收到所述web服务端发送的访问页面，