[发明专利]基于CNN-BiMGU模型的短文本情感分类方法

权利要求书

1.一种基于CNN-BiMGU模型的短文本情感分类方法，所述CNN-BiMGU模型包括嵌入层、卷积层、池化层、BiMGU层、注意力机制层、全连接层和分类层，其特征在于：所述基于CNN-BiMGU模型的短文本情感分类方法主要包括以下步骤：

步骤1、利用嵌入层对包含商品评论的数据集进行预处理，通过BERT模型训练语料集将所述数据集编码为词向量；

步骤2、将步骤1得到的所述词向量输入到卷积层并进行卷积操作，通过提取局部特征得到文本特征矩阵；

步骤3、将步骤2得到的所述文本特征矩阵输入到池化层进行特征降维处理，采用最大池化操作获取主要特征；

步骤4、将步骤1得到的所述词向量输入到BiMGU层，以获取隐藏状态向量；

步骤5、将步骤4得到的所述隐藏状态向量进行Attention操作，以获取重要特征；

步骤6、将步骤3和步骤5的输出进行拼接并输入到全连接层，通过分类层的softmax分类器完成对所述数据集的情感分类，得到分类结果。

2.根据权利要求1所述的基于CNN-BiMGU模型的短文本情感分类方法，其特征在于，步骤1中的预处理为：将包含商品评论的数据集借助jieba工具进行数据清洗、分词和去除停用词，其中，数据清洗包括去除特殊符号、多余空白以及将繁体字转换为简体字；分词是对文本序列进行切分；去除停用词是利用Stopword.txt停用词表去除所述数据集中高频出现但无实际意义的词语。

3.根据权利要求1所述的基于CNN-BiMGU模型的短文本情感分类方法，其特征在于：步骤1中的BERT模型训练语料集是一种预训练模型，所述BERT模型训练语料集用于将预处理后的数据集编码为词向量，同时建立词向量矩阵。

4.根据权利要求3所述的基于CNN-BiMGU模型的短文本情感分类方法，其特征在于，步骤2具体为：利用卷积层对所述词向量进行文本特征提取，通过设置不同大小的卷积核进行多通道提取局部特征，利用卷积滤波器m∈R^h×k进行卷积操作，其中，h表示左右滑动过程中窗口的大小，k表示词向量矩阵对应的维度，数据集中第i个词的文本特征如公式(1)所示：

c_i＝f(w·x_i:i+h-1+b) (1)

其中，w表示滤波器的权重矩阵；x_i:i+h-1表示文本句子中第i个词到第i+h-1个词所构成的局部特征向量；b表示偏置项；f为非线性激活函数Relu，卷积之后得到一个文本特征矩阵，表示为：C＝[c₁,c₂,…，c_n-h+1]，C∈R^n-h+1。

5.根据权利要求4所述的基于CNN-BiMGU模型的短文本情感分类方法，其特征在于：所述卷积核设置有三个，大小分别为3、4、5。

6.根据权利要求4所述的基于CNN-BiMGU模型的短文本情感分类方法，其特征在于：步骤3中所述最大池化操作是指选取池化窗口中的最大值，对文本特征矩阵进行降维处理，以获取主要特征，所述主要特征通过公式(2)计算获得：

7.根据权利要求3所述的基于CNN-BiMGU模型的短文本情感分类方法，其特征在于：步骤4中的BiMGU层采用双向MGU模型，包括前向MGU模型和后向MGU模型，所述词向量从前向MGU模型和后向MGU模型分别输入双向MGU模型中，前向MGU模型和后向MGU模型均通过隐藏层保存词向量的上下文语义特征，最后将前向MGU模型和后向MGU模型的隐藏层进行输出拼接得到隐藏状态向量，第k层隐藏状态向量的隐藏层可表示为：

其中，和分别为前向MGU模型和后向MGU模型的隐藏层；

将和进行合并，得到BiMGU层在时刻t的隐藏状态向量H_t：