[发明专利]一种基于深度学习网络的短文本分类方法

说明书

本发明涉及基于深度学习网络的短文本分类方法，属于自然语言处理技术领域。包括以下步骤：将短文本数据集进行数据清洗，得到质量更高的短文本数据集；将短文本数据集进行处理，得到短文本词汇表、关键词词汇表、标签词汇表；利用CBOW神经网络训练得到文本词向量，再将标签替换短文本中的关键词，训练得到标签词向量；将短文本输入卷积神经网络和长短期记忆神经网络进行特征提取，将提取的特征与标签词向量求和构成的查询向量进行注意力机制得分计算；将新的特征向量输入全连接层进行输出后，输入最终的损失函数层进行预测分类。本发明解决了短文本特征不足而无法准确分类的问题，提高了短文本分类的准确性。

技术领域

本发明涉及一种基于深度学习网络的短文本分类方法，属于自然语言处理技术领域。

背景技术

随着网络的快速发展及其在生活中的广泛应用导致了短文本数据的激增。将短文本根据应用场景进行分类，在很多应用程序中具有重要意义。例如邮件系统中的垃圾邮件过滤、外卖系统中的情感分析、社交软件的个性化推荐等等。因此，在人工智能领域下的自然语言处理领域，短文本分类已成为学术界和工业界的一个研究热点。

与普通文本相比，短文本通常由几个或十几个词语组成，且数据规模庞大，因此短文本具有稀疏性、大规模性、即时性，导致传统的方法难以处理短文本分类。其主要原因在于短文本的字数有限，难以提取足够的特征。因此需要设计一种良好的短文本分类方法，来解决上述问题。

现有技术中，针对短文本分类问题，主要方法有基于机器学习与基于深度学习两类。基于传统机器学习的方法主要依靠词频、词语共现、共享文档等来定义文档相似度，但短文本由于数据稀疏难以达到预期准确率。基于深度学习的方法，能够从文本中提取较为丰富的特征。但是现有方法忽略了类别本身的特征，仅从短文本本身提取特征，导致文本特征不够丰富。

发明内容

针对上述问题，本发明提出了一种基于深度学习网络的短文本分类方法，在长短期神经网络和卷积神经网络的的基础上，引入融合标签向量的注意力机制，并设计了新的损失函数来适应双模型，能够从短文本中提取更为丰富的特征。

为了实现上述发明目的，本发明提出一种基于深度学习网络的短文本分类方法，包括以下步骤：

S1：将短文本数据集进行数据清洗，得到数据清洗后的短文本数据集。原始数据集的格式为S(s,t)|t∈[1,k]，其中s代表短文本，t为对应的类别标签(数据集S中用阿拉伯数字代替文本表示类别标签，数字标签与文本标签一一对应，文本标签为短文本的类别文字表示)，k与文本类别总数相等；

S2：将短文本数据集进行整理和切词，得到短文本词汇表、关键词词汇表、标签词汇表；

S3：将短文本数据集输入CBOW神经网络训练得到文本词向量，再用文本标签替换短文本中的关键词，训练得到标签词向量；

S4：将短文本数据集输入卷积神经网络和长短期记忆神经网络进行特征提取，将提取的特征与标签词向量求和得到查询向量，对查询向量进行注意力机制得分计算，得到卷积网络与长短期记忆网络输出的特征向量；

S5：将新的特征向量输入全连接层进行输出后，输入最终的损失函数层进行预测分类。本发明解决了短文本特征不足而无法准确分类的问题，提高了短文本分类的准确性。

进一步地，上述S1中的数据清洗具体包括两个步骤：

S11：将短文本数据集中的无效数据进行剔除，包括短文本与其类别标签不相符，短文本标签缺失，无效的短文本；

S12：将短文本数据集中的重复数据及相似数据进行剔除，得到短文本数据集S’。

进一步地，上述S2中短文本，构建短文本词汇表具体包括以下步骤：

S21：构建短文本词汇表：将数据清洗后的短文本数据集S’进行整理，利用结巴分词将其进行单词切分，加入短文本词汇表Wt；