[发明专利]一种文本自动分类方法

说明书

技术领域

本发明涉及文本分类领域，特别是指一种文本自动分类方法。

背景技术

在网络信息中，文本作为主要的信息承载途径占据着重要地位。文本分类(Text Classification，TC)也就是利用计算机对文本集或是其它的实体和物件按照一定的分类体系或标准进行自动分类标记。目前，深度学习已经成功应用于多种模式分类问题，使用基于深度学习的方法，可以更好得挖掘蕴含在文本中的复杂语义关系。

但是，现有技术中，一般采用单一的方法对文本进行分类，特征提取能力较弱，对噪声数据的处理能力较差，使得分类结果准确性较低。

发明内容

本发明要解决的技术问题是提供一种文本自动分类方法，以解决现有技术所存在的噪声处理能力差、特征提取能力弱的问题。

为解决上述技术问题，本发明实施例提供一种文本自动分类方法，包括：

获取待分类的文本；

采用降噪自动编码器和受限玻尔兹曼机，构建降噪深度神经网络模型；

利用构建的降噪深度神经网络模型，对获取的待分类的文本进行特征提取；

根据特征提取结果，利用Softmax回归算法进行自动分类。

进一步地，在利用构建的降噪深度神经网络模型，对获取的待分类的文本进行特征提取之前，所述方法还包括：

剔除所述获取的待分类的文本中的噪声数据，其中，所述噪声数据包括：无用的信息和/或正文中的标点符号及特殊字符。

进一步地，在剔除所述获取的待分类的文本中的噪声数据之后，所述方法还包括：

对去除噪声数据的文本数据进行分词处理。

进一步地，在对去除噪声数据的文本数据进行分词处理之后，所述方法还包括：

根据文本数据的分词结果，对文本数据去停用词，其中，去掉的停用词为没有区分和预测能力的特征词。

进一步地，在对文本数据去停用词之后，所述方法还包括：

将去停用词后得到的特征词映射成为词表形式；

计算特征词表中每个特征词的权值并记录在特征词表中，其中，所述特征词表包括文本、文本中的特征词与文本中每个特征词的权值之间的对应关系；

根据得到的特征词表，将每个文本依次表示为特征向量的形式。

进一步地，所述根据得到的特征词表，将每个文本依次表示为特征向量的形式包括：

按照预设的规则，判断第一文本是否是短文本；

若是，则根据短文本特征扩充算法，对所述第一文本进行特征扩充，并基于特征扩充结果，将所述第一文本表示为特征向量的形式；

若不是，则根据得到的特征词表，直接将所述第一文本表示为特征向量的形式。

进一步地，在根据得到的特征词表，将每个文本依次表示为特征向量的形式之后，所述方法还包括：

对表示为向量特征形式的每个数值进行归一化处理。

进一步地，所述降噪深度神经网络模型包括：

位于所述降噪深度神经网络模型最底层的第一降噪自动编码器、位于所述第一降噪自动编码器上层的第二降噪自动编码器、位于所述第二降噪自动编码器上层的第一受限玻尔兹曼机、位于所述第一受限玻尔兹曼机上层的第二受限玻尔兹曼机。

进一步地，所述第一降噪自动编码器和第二降噪自动编码器组成降噪模块，所述降噪模块用于对输入所述降噪深度神经网络模型的特征向量进行降噪处理；其中，所述第二降噪自动编码器所在层是所述降噪模块的输出层同时也是所述第一受限玻尔兹曼机的输入层；

所述第二受限玻尔兹曼机是所述降噪深度神经网络模型的输出层，输出层的输出结果为所述待分类的文本的特征表示。

进一步地，所述降噪深度神经网络模型的输入是一个固定维度的特征向量。

本发明的上述技术方案的有益效果如下：

上述方案中，通过采用降噪自动编码器和受限玻尔兹曼机，构建降噪深度神经网络模型；利用构建的降噪深度神经网络模型，对获取的待分类的文本进行特征提取；根据特征提取结果，利用Softmax回归算法进行自动分类。这样，基于具有强大的抗噪能力的降噪自动编码器和具有强大的特征提取能力的受限玻尔兹曼机构建的降噪深度神经网络模型提取的待分类的文本的特征，能够提高文本分类的准确性和抗噪能力。

附图说明

图1为本发明实施例提供的文本自动分类方法的流程示意图；

图2为本发明实施例提供的将获取的待分类文本表示为特征向量的流程示意图；

图3为本发明实施例提供的降噪深度神经网络模型的拓扑示意图；