[发明专利]一种精准高效的目标舆情智能监控系统及方法

说明书

本发明属于网络监控技术领域，具体涉及一种精准高效的目标舆情智能监控系统及方法。所述系统包括：若干数据获取模块，用于实现舆情信息的增量式获取和舆情信息实际内容的主题式获取；URL模块，用于接收来自综合管理模块的初始URL表和数据获取模块筛选后的URL；综合管理模块，用于实现统一资源调度及系统综合管理功能；若干数据获取模块分布在若干个服务器上；所述数据获取模块、URL模块和综合管理模块三者通信连接。所述系统以增量式主题数据获取系统为核心，以提升数据获取速率及准确性两个方面为出发点，开发出了一套新型高效的舆情监控系统。此系统保证了目前常用系统的速率，提高了数据获取的准确性，并且节省了硬件系统的开销。

技术领域

本发明属于网络监控技术领域，具体涉及一种精准高效的目标舆情智能监控系统及方法。

背景技术

随着互联网的迅猛发展，web信息量呈爆炸式增长，互联网已经成为公民接受信息和传播信息的主要途径。互联网自由开放、不受监督、不受约束的特性，使得许多舆情信息不受控制，从而能够广泛传播。部分负面舆情会产生巨大的舆论力量甚至经济损失。因此有效的监控，并采取必要的措施，及时发现分析网络舆情，并对其进行管理利用，将网络舆情的不利因素降到最低，同时继续扩展正面舆情的影响力，是非常有必要且有价值的。

目标舆情监控系统是一种有效监控各大舆情网站，根据既定关键词，依据一定规律监控舆情网站，并获取舆情信息的系统。此系统的最大优势是提高了数据获取系统的效率，节省了硬件资源消耗，并且保障了数据获取的全面性及准确性。

目前提升数据获取系统速率的方法主要是分布式，其借助分布式系统，将数据获取系统有规划的分布到不同的硬件设备，通过提高硬件设备的数量来提高数据获取系统的速度。提升数据获取系统准确率的方法主要是主题式数据获取，其对获取的数据，拆分热点词并构建词向量，将此词向量与搜索的关键词词向量做比较，舍弃相似度较低的数据，保存相似度大的数据。然而，由于特定关键词的舆情信息数据量，在每一个舆情网站的日更新量是有限的，若每次数据获取过程均获取整个网站的数据，将耗费大量不必要的硬件资源。

目前增量式主题数据获取系统很少有应用，其通过限定每次数据获取量的方法来提升数据获取系统的速率与准确性。所谓增量式，主要是针对更新的内容，未改变的地方则不做访问处理；所以增量式数据获取系统，在获取数据的时候，获取内容发生变化的网页或者新产生的网页，对于未发生内容变化的网页，则做舍弃处理。

发明内容

为解决上述问题，本发明提出一种精准高效的目标舆情智能监控系统及方法。所述系统以增量式主题数据获取系统为核心，以提升数据获取速率及准确性两个方面为出发点，开发出了一套新型高效的舆情监控系统。此系统保证了目前常用系统的速率，提高了数据获取的准确性，并且节省了硬件系统的开销。

本发明是通过以下技术方案实现的：

一种精准高效的目标舆情智能监控系统，所述系统包括：

若干数据获取模块，用于实现舆情信息的增量式获取和舆情信息实际内容的主题式获取；

URL(全称Uniform Resource Locator；统一资源定位器)模块，用于接收来自综合管理模块的初始URL表和数据获取模块筛选后的URL，记录、存储并按照综合管理模块中监控单元监控到的服务器内存、CPU的使用率情况，经调度模块分发到各项资源利用率相对较低的服务器的数据获取模块；

综合管理模块，用于实现统一资源调度及系统综合管理功能；

若干数据获取模块分布在若干个服务器上；

所述数据获取模块、URL模块和综合管理模块三者通信连接。

进一步地，所述URL模块包括接收单元和存储单元，接受所述综合管理模块和数据获取模块提供的信息。