[发明专利]一种基于LSTM模型的网络舆情预警方法

说明书

本发明涉及一种基于LSTM模型的网络舆情预警方法，其主要技术特点是基于网络舆情预警指标体系和长短时记忆网络模型，本发明提出包括主题属性、传播扩散等5个维度的指标体系，并在此基础上提出Re‑LSTM(Regularization Long Short Term Memory，长短时记忆网络)模型，使用正则化方法约束网络中各单元输入权重并用softsign函数替代tanh激活函数。本发明设计合理，与其他经典模型对比，此次构建的模型不仅能够提高预警准确率，而且能够更好的避免梯度消失和过拟合问题。

技术领域

本发明属于网络舆情算法分析领域，尤其是一种基于LSTM模型的网络舆情预警方法(method on early warning of network public opinion based on long short termmemory model)。

背景技术

网络舆情是网民通过互联网手段对舆情事件表达传播的各种态度、情绪和观点的集中体现。其中，交流信息中不乏出现主观臆测甚至虚假信息，而这些信息在网络中的传播，必然会对政府公信力、社会稳定发展等造成巨大的影响。如何把控网络舆情的发展趋势尤为重要。总之合理的构建网络舆情预警指标体系和舆情预警模型，可以有效地预判舆情发展趋势、而且能够提高网络舆情预警正确率和准确度。

网络舆情预警问题主要从网络舆情预警指标体系构建以及根据网络舆情数据集选择并优化预警模型两方面进行研究。针对网络舆情预警指标体系构建方面，以往学者提出网络舆情评估指标体系并运用层次分析法和德尔菲法定量计算指标的权重并利用模糊互补判断矩阵构建评价模型。为了预测和评估微博平台网络舆情问题，有学者提出以信息源指数(ISI)、地理指数(GI)、主题指数(SI)和行业指数(II)为一级指标的微博舆情指标体系，采用不同的定量方法提供更客观、全面的评价和分析。网络舆情预警模型主要分为两大类，一类是以数学物理方法为基础的预警模型，例如利用层次分析法和系统动力学理论建立了网络舆情预警机制的系统动力学模型，从定量和定性两个方面对网络舆情预警机制进行研究；一类是以现代科学理论和数据挖掘为基础的预警模型，包括贝叶斯网络、隐马尔可夫过程、神经网络等模型。

目前的网络舆情指标体系对舆情主题属性和舆情传播扩散指标考虑较少，可能会导致预警准确率不高。目前的网络舆情预警模型取得了较好的效果，但不能很好的考虑网络舆情数据不同特征之间的相互联系。

综上分析，为了改善目前指标体系存在的问题，此次构建指标体系需要重点突出主题属性和传播扩散指标，以提高指标体系的完善性；为了更好的提高提高网络舆情预警准确率，此次采用LSTM算法进行建模，此算法可以很好的考虑网络舆情数据不同特征之间的相互联系。

发明内容

本发明的目的在于克服目前的指标体系和网络舆情预警模型存在的问题，综合考虑了目前指标体系和预警模型的优缺点，为了提高网络舆情预警准确率，本发明在指标体系构建方面重点突出了主题属性和传播扩散指标的重要性；在预警模型构建方面基于LSTM算法进行Re-LSTM模型构建。

为实现上述目的，本发明的技术方案是：一种基于LSTM模型的网络舆情预警方法，包括以下步骤：

步骤1：构建以网络舆情的主题属性、舆情来源、舆情内容要素、舆情受众、舆情传播扩散为一级指标的网络舆情预警指标体系，阐述各级指标的具体含义并给出各末级指标具体的量化表达式。

步骤2：网络舆情数据预处理过程。利用python爬虫技术从微博和新浪新闻上面爬取网络舆情数据，该数据集主要包含标题、内容、搜索量、转发数、赞数、评论数、点击数、发帖数等字段。标题和内容属于文本数据，首先使用python结巴分词工具进行中文分词，其次通过Skip-Gram模型对分词进行词向量表示。