[发明专利]基于深层多词嵌入Bi-LSTM残差网络的健康舆情分析方法

说明书

本发明公开了一种基于深层多词嵌入Bi‑LSTM残差网络的健康舆情分析方法，涉及信息技术领域，该基于深层多词嵌入Bi‑LSTM残差网络的健康舆情分析方法通过改进Bi‑LSTM网络，结合多词嵌入以及残差网络方法，提高了网络的鲁棒性，使之能够对复杂舆情文本进行处理，得到了很好的效果，从而提高其分类器的分类精度。

技术领域

本发明涉及信息技术领域，特别涉及一种基于深层多词嵌入Bi-LSTM残差网络的健康舆情分析方法。

背景技术

网络舆情分析是结合了包括互联网信息监测、舆情态势分析、舆论环境研究、网络危机处置和互联网信息监测在内的一种新兴技术。通过及时监测、收集网上相关的舆论信息，加以分析后做出决策，对维护公共秩序和稳定起到重要的作用。

研究表明，网络的深度是实现好的效果的重要因素。然而梯度弥散/爆炸成为训练深层次的网络的障碍，导致无法收敛。有一些方法可以弥补，如归一初始化，各层输入归一化，使得可以收敛的网络的深度提升为原来的十倍。然而，虽然收敛了，但网络却开始退化了，即增加网络层数却导致更大的误差。此外，现有深度学习模型多是仅使用一个预训练的词向量作为网络输入，局限了网络能够学习的特征空间。预训练词向量是由有限量的语料训练得到的，因此对于不同的文本语料其表现会有较大浮动。

发明内容

本发明所要解决的技术问题是提供一种基于深层多词嵌入Bi-LSTM残差网络的健康舆情分析方法，通过对Bi-LSTM模型进行改进，引入深度残差网络，使网络在深度上能够大大增加。通过引入多个词向量，使得网络能够同时从多个特征空间学习，提高网络鲁棒性。

为实现上述目的，本发明提供以下的技术方案：

该基于深层多词嵌入Bi-LSTM残差网络的健康舆情分析方法通过各种渠道收集大量的文本语料，进行预处理和分词后，得到文档和词语数据，使用Word2Vec，Glove，FastText等新型词向量训练工具进行词向量训练，得到多个预训练词向量，整个深度神经网络由多个子网络构成，对于每一个子网络而言，其结构相同，但使用不同的预训练词向量，将多个子网络的输出通过Attention机制进行提取拼接后，作为全连接层的输入，并在网络末端将全连接层的输出作为sigmoid层的输入，用于最后的分类，此外，区别于直接将上一层Bi-LSTM的输出直接作为下一层Bi-LSTM的输入，将上一层Bi-LSTM的输出与上上一层Bi-LSTM的输出进行加和计算，将加和结果作为下一层Bi-LSTM层的输入，从而将人工神经元残差随网络传递，达到防止网络退化的目的。

该基于深层多词嵌入Bi-LSTM残差网络的健康舆情分析方法的具体步骤如下：

Step1：对舆情文本数据进行预处理，填补缺失值；

Step2：使用不同的语料分别训练多个词向量；

Step3：利用keras搭建适用于文本数据的Bi-LSTM网络；

Step4：使用残差连接方法加深Bi-LSTM网络，引入多个词向量同时进行训练；

Step5：通过实验对比本专利改进过后的深层多词嵌入Bi-LSTM残差网络(ours)和传统单词嵌入的Bi-LSTM、未使用残差连接的深层Bi-LSTM网络、未使用多词嵌入的深层Bi-LSTM残差网络对舆情文本数据的分类效果，从准确率的角度上验证改进的深层多词嵌入Bi-LSTM残差网络的有效性。

采用以上技术方案的有益效果是：经过该基于深层多词嵌入Bi-LSTM残差网络的健康舆情分析方法改进过后的深层多词嵌入Bi-LSTM残差网络模型分类准确率皆明显高于其他三个模型，对数损失值明显更低，并且随着迭代次数的增加，改进过后的深层多词嵌入Bi-LSTM残差网络模型始终优于其他三个模型。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的描述。