[发明专利]基于大数据平台的网络舆情分析系统

权利要求书

1.一种基于大数据平台的网络舆情分析系统，其特征在于，包括：

采集存储层：对网页中的数据进行采集、存储至大数据数据库和索引构建；

分析层：通过大数据内存计算框架对接大数据数据库中的数据进行舆情信息的分析；

呈现层：呈现当前的舆情状态。

2.根据权利要求1所述的基于大数据平台的网络舆情分析系统，其特征在于，所述采集存储层包括：

网络爬虫模块：采用网络爬虫对网页中的数据进行爬取；

数据存储模块：将爬取的数据存入大数据数据库；

索引构建模块：在存入数据的同时启动索引后端服务，按时间顺序进行数据库的舆情内容访问，并根据内容进行倒排索引构建。

3.根据权利要求2所述的基于大数据平台的网络舆情分析系统，其特征在于，所述网络爬虫模块在爬取的同时结合当前互联网搜索引擎的结果进行爬取修正，不同的网站对象采用不同的网络爬虫模块进行爬取，爬取的结果以文本的方式统一存储到大数据数据库。

4.根据权利要求2所述的基于大数据平台的网络舆情分析系统，其特征在于，所述数据存储模块以网页地址和时间戳组成主键，以网页内容为数据值，构建舆情原始内容数据集。

5.根据权利要求1所述的基于大数据平台的网络舆情分析系统，其特征在于，所述分析层包括：

文本特征提取模块：对所述采集存储层采集到的数据进行解析梳理，得到文本特征值；

文本分类模块：采用分类器，根据文本特征对网页内容进行分类；

热点聚类模块：对于当天各个类下的文本根据特征向量分别作K均值聚类，生成当日的热点事件，以各个类的质心作为整个热点的特征向量；

舆情热点分析模块：使用分类器对各个网页文本进行正负面分类，并对每个热点事件进行统计，以描述热点事件整体情感倾向或敏感倾向；

热点事件态势预测模块：对热点事件再次进行聚类，以生成对各个热点事件基于时间轴的摘要汇总，对事件的情感倾向或敏感倾向进行线性回归预测。

6.根据权利要求5所述的基于大数据平台的网络舆情分析系统，其特征在于，所述文本特征提取模块包括：

文本清洗：对html源网页进行去标签化处理，提取网页中的中英文文本内容，并对gbk、gb2312编码的中文做内码转换，统一成utf8编码；

文本分词：通过词库，对文本进行分词；

文本特征提取：计算文本中各个词语的TF-IDF值，对网页文本构建词频特征向量，并将特征值存储于大数据数据库。

7.根据权利要求5所述的基于大数据平台的网络舆情分析系统，其特征在于，所述文本分类模块采用朴素贝叶斯分类器进行分类。

8.根据权利要求5所述的基于大数据平台的网络舆情分析系统，其特征在于，所述K均值聚类对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇，让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。

9.根据权利要求5所述的基于大数据平台的网络舆情分析系统，其特征在于，所述舆情热点分析模块使用支持向量机分类器对各个网页文本进行正负面分类。

10.根据权利要求1所述的基于大数据平台的网络舆情分析系统，其特征在于，所述呈现层包括：

-根据用户的关键字进行定向爬取和呈现；

-搜索指定的网页内容；

-通过关键字进行舆情报告分析；

-对当前爬取的舆情进行总体状况统计；

-对舆情发展的趋势进行阈值设置，当敏感信息超过设定值后报警。