[发明专利]一种能够自动采集分析的网络舆情检测系统

说明书

本发明提供了一种能够自动采集分析的网络舆情检测系统，网络舆情检测系统包括：数据采集层，数据采集单元采集各大热门网站的资源信息；分析处理层，采集到的舆情数据进行处理分析；应用服务层，当前的网络舆情进行判断；本发明在现有的网络舆情预测方法基础上，通过主成分分析的网络舆情快速预测方法，利用主成分分析对网络舆情指标进行降维处理，保留其绝大部分信息的基础上，减少预测的复杂度，从而缩短预测过程所需要的时间，同时，本申请还可将主成分分析方法与多种预测模型结合起来使用，减少数据之间的相关性和冗余性，借以减少预测过程的时间消耗，提高预测速度，实现快速精准的预测舆情信息。

技术领域

本发明属于网络舆检测技术领域，涉及一种能够自动采集分析的网络舆情检测系统。

背景技术

在互联网影响力日益增大的今天，社会各界对网络舆情愈来愈重视，网络具有开放性、匿名性，与传统的通讯方式相比较，民众更愿意在互联网上发表自己的观点。网络舆情具有传播速度快、范围广等特点，随着网民数量的增多，网络舆情的影响力也日益增大，但由于我国目前对网络舆情管理的规章制度还不完善，缺少现实社会的有效监管和限制。因此，加强对网络舆情的预测和预警，营造一个良好、通畅的网络平台对缓解社会矛盾，促进社会和谐有重要意义，目前影响网络舆情预测准确性的因素中,舆情指标的数据量过于庞大是一个重要的原因，因此如何有效地网络舆情指标数据的特征，使之既能降低特征空间的维数，又能很好的用于网络舆情预测当中，是一个重要而又实际的问题，需要进行改进。

发明内容

本发明的目的在于提供一种能够自动采集分析的网络舆情检测系统，以解决上述背景技术中提出的问题。

本发明的目的可通过下列技术方案来实现：

一种能够自动采集分析的网络舆情检测系统，用于对网络热点舆情进行采集和检测，所述网络舆情检测系统包括：

数据采集层，通过数据采集单元采集各大热门网站的资源信息，从而便于分析处理层进行舆情数据分析；

分析处理层，对采集到的舆情数据进行处理分析，从而为应用服务层提供数据支撑；

应用服务层，通过分析处理层处理后的舆情数据，对当前的网络舆情进行判断，并预测舆情的下一步发展。

在上述的一种能够自动采集分析的网络舆情检测系统中，所述数据采集层包括数据采集单元、参数设置单元和数据解析单元，其中，各单元的功能如下：

数据采集单元：通过数据采集单元对网络舆情进行数据收集，设置采集端口，数据采集单元根据设置的采集端口进行自动爬取；

参数设置单元：对数据采集单元的抓取参数进行设置，主要内容包括两个方面，爬取目标和存储单元，设置抓取黑名单和抓取白名单，数据采集单元从白名单进行数据抓取；

数据解析单元：在采集端口中，会对所发布的资源信息进行记录，包括浏览次数、转载次数、发布信息等，其中存在很多的重复性内容，通过数据解析单元对各个数据内容进行分解，去除重复性内容，保留具有价值的信息，并对采集信息进行分类处理。

在上述的一种能够自动采集分析的网络舆情检测系统中，参数采集单元中，在对爬取目标进行设定时，需要对爬取过程、爬取效果等进行设置，并根据实际需要来设计爬取名单，仅对白名单上的内容进行工作，可以减少不必要的环节，从而保证工作质量和效率。

在上述的一种能够自动采集分析的网络舆情检测系统中，所述存储单元为主存储区和多个分存储区，且多个白名单与分存储区一一对应，所述分存储区内部的数据经过处理后汇总进入主存储区。

在上述的一种能够自动采集分析的网络舆情检测系统中，所述分析处理层包括舆论判定单元、舆论跟踪单元、舆论评估单元和舆论报告单元，其中，