[发明专利]基于Web信息抽取的软件更新信息的监控方法和装置

摘要

本发明公开了一种基于Web信息抽取的软件更新信息的监控方法和装置，监控方法包括：下载被监控的目标网页的网页内容；解析所述网页内容，抽取所述网页内容中的有效链接；对所述有效链接进行过滤，获得过滤后的链接；将所述过滤后的链接所对应的相关信息与历史数据进行比对，获得所述目标网页对应的软件的更新信息，并存储到数据库。本发明能够对网页数据进行有效监控，能够有效的组织并维护样本数据库。

主权项

1.一种基于Web信息抽取的软件更新信息的监控方法，包括：下载被监控的目标网页的网页内容；解析所述网页内容，抽取所述网页内容中的有效链接；对所述有效链接进行过滤，获得过滤后的链接；将所述过滤后的链接所对应的相关信息与历史数据进行比对，获得所述目标网页对应的软件的更新信息，并存储到数据库，根据所述更新信息的内容定制化处理策略；其中，所述下载被监控的目标网页的网页内容包括：通过直接下载或浏览器渲染下载所述目标网页的网页内容；或通过内置的代理服务器下载所述目标网页的网页内容；对所述有效链接进行过滤包括：根据所述目标网页的域名进行过滤，滤除与所述目标网页的域名不匹配的有效链接；在所述下载被监控的目标网页的网页内容的步骤之前，通过任务调度对需要监控的网页进行周期性检测，获得所述目标网页；所述周期性检测包括：使用gearman作为进程间消息队列，通过gearman进行服务器之间的进程通讯；使用redis作为高速缓存，通过读取redis中的网页调度时间实现对监控任务的周期性调度，通过调用redis接口实现对监控任务的调度。