[发明专利]一种文本分类方法及系统

说明书

本发明实施例提供一种文本分类方法及系统。其中，方法包括：获取待分类的文本；将所述待分类的文本输入至文本分类模型中，根据所述文本分类模型的输出结果，获取所述待分类的文本的类别；其中，所述文本分类模型基于若干个卷积神经网络和若干个循环神经网络构成，并基于样本文本以及预先确定的文本类别标签进行训练后得到。本发明实施例提供的方法及系统，通过将CNN和RNN进行融合以构成文本分类模型，进而通过文本分类模型对文本进行分类，克服了CNN不适合提取长序列语义信息，以及RNN对长序列全局语义信息的提取效果的不足，能够既适合提取局部语义信息，也适合提取长序列全局语义信息，从而使得文本分类准确率大大提高。

技术领域

本发明实施例涉及人工智能深度学习的自然语言处理技术领域，尤其涉及一种文本分类方法及系统。

背景技术

深度学习是现今实现文本分类任务效果最好的方式，其中卷积神经网络(Convolutional Neural Networks，CNN)和循环神经网络(Recurrent Neural Network，RNN)是深度学习中应用范围最广的特征提取方法。

CNN最早可追溯到1987年反向传播(Back propagation，BP)算法的提出，然后于1989年Yann LeCun将其用到多层神经网络中，直到1998年Yann LeCun提出LeNet-5模型，CNN逐渐展露雏型。CNN可分为三个部分：输入层、隐藏层和输出层。在自然语言处理中，输入层的输入信息由预先训练好的词嵌入模型或词向量表示成输入序列，常用的词嵌入模型包括由Google在 2013年提出的Word2vec模型和由Stanford NLP Group于2014年提出的Glove 模型等。隐藏层主要由卷积层、池化层和全连接层组成，其中卷积层负责提取输入序列的语义特征，池化层负责语义特征的选择和过滤，全连接层负责语义特征的组合输出对应每个分类的预测得分。输出层使用逻辑函数或者归一化指数函数，如softmax函数，输出对应每个分类的预测概率。CNN的优点在于擅长提取局部语义信息，训练速度快。但正因为其适合提取局部语义信息，CNN在提取长序列语义信息时效果不如RNN。

1989年，Ronald Williams和David Zipser提出了RNN的实时循环学习 (Real-Time Recurrent Learning，RTRL)。随后Paul Werbos在1990年提出了 RNN的随时间反向传播(BP Through Time，BPTT)。RNN有诸多变体，其中广泛应用的长短期记忆(Long Short-Term Memory，LSTM)由Sepp Hochreiter 和Schmidhuber在1997年提出，门控循环单元(Gated Recurrent Unit， GRU)由Kyunghyun Cho在2014年提出。RNN可分为三个部分：输入层、隐藏层和输出层。其中输入层和输出层与上述CNN的输入输出层相同，隐藏层为循环层，负责提取输入序列的时序特征，当前时刻提取的时序特征依赖于上一时刻提取的时序特征。RNN的优点是适合分析全局语义信息或上下文语义信息，尤其是长序列的全局语义信息。由于隐藏层为循环层，因此循环神经网络的训练速度较慢。而且在长序列中，随着时间推移，隐藏层提取到的特征更偏向于后来输入的信息，这将影响RNN对全局语义信息的提取效果，而在CNN中提取的输入信息各部分特征是平等或无偏好的。

综上，CNN只擅长提取局部语义信息，不适合提取长序列语义信息，RNN 适合分析长序列的全局语义信息，但随着时间推移隐藏层提取到的特征更偏向于后来输入的信息，从而影响对全局语义信息的提取效果。

发明内容

针对现有技术中存在的技术问题，本发明实施例提供一种文本分类方法及系统。

第一方面，本发明实施例提供一种文本分类方法，包括：

获取待分类的文本；

将所述待分类的文本输入至文本分类模型中，根据所述文本分类模型的输出结果，获取所述待分类的文本的类别；