[发明专利]一种基于N-gram向量和卷积神经网络的中文文本多分类方法

说明书

本发明涉及一种基于Ngram向量和卷积神经网络的中文文本多分类方法，属于文本多分类的技术领域。针对文本多分类的效果并不十分理想的问题，本发明基于CNN框架，提出了一种初始化CNN滤波器系数的方法，在一定程度上取得较好的文本分类效果。首先对待分类语料进行词向量训练；然后挑选出对特定类别最为重要的n‑gram，并将聚类后的n‑gram质心向量作为初始的滤波器系数；使用uni‑gram、bi‑gram和tri‑gram的质心分别嵌入到宽度为3、4和5的滤波器中心。初始化系数能更有效的抽取出代表不同类别的n‑gram，最终改善文本分类效果。实验在两个公共的中文数据集上进行，包括搜狗新闻数据集和复旦大学中文语料，本发明方法同比一些文本分类技术，在评价指标上表现了优势。

技术领域

本发明涉及一种基于N-gram向量和卷积神经网络的中文文本多分类方法，特别涉及一种用于计算n-gram权重的方法和嵌入n-gram向量的初始化CNN卷积核参数的方法，属于文本多分类的技术领域。

背景技术

传统机器学习的方法中，支持向量机，决策树等方法已经较为成熟并且可以用来解决文本分类问题，由这些方法构建的文本二分类的分类器性能大多也有较好的表现。近年来，神经网络的模型受到了广泛的关注，基于卷积神经网络的模型用于不同的NLP任务也取得了良好的效果。但是，缺乏数据或不恰当的参数设置可能会大大限制泛化。为了提高性能，已经提出了许多改进的方法。金在2014年的Emnlp会议上提出一种基于CNN的句子分类模型。本文使用不同尺寸的过滤器对文本矩阵进行卷积，然后使用MAX-池对每一滤光器提取的向量进行操作，最后每一个过滤器对应一个数字，把这些filter的结果拼接起来，就得到了一个表格中的句子的向量。最后的预测都是基于该句子的向量.Kalchbrenner等人(Convolutional Neural Network for Modeling Sentences)则提出了一个基于CNN的句子建模框架，相比yoon kim的模型较为复杂，网络中的卷积层使用了一种称之为宽卷积(Wide Convolution)的方式，紧接着是动态的k-max池化层。中间卷积层的输出即特征映射的大小会根据输入句子的长度而变化.Hu等人提出一种基于CNN的句子建模，作者认为卷积的作用是从句子中提取出局部的语义组合信息，而多个Feature Map则是从多种角度进行提取，也就是保证提取的语义组合的多样性.Yin提出了一种叫双CNN-MI的架构，其中的Bi-CNN表示两个使用连体框架的CNN模型，MI表示多粒度的交互特征。他提出的模型使用了多种类型的卷积，池化方法，以及针对得到的句子表征的局部进行相应的相似度计算，从而提升性能，但模型较复杂，耗时。现有技术提出了一种基于语义聚类和卷积神经网络的短文本建模方法。多尺度语义单元被检测并合并到卷积层，然后进行最大池操作。在这些模型当中，Kim的模型虽然简单，但是却有着很好的性能.Ye Zhang等人对这个模型进行了大量的实验，并给出了调参的建议，包括过滤区域大小，正则化参数等等。2017年Li等在kim Yoon模型的基础上，提出了一种新的权重初始化方法，改善CNN模型。但上述均是针对文本分类(大多都是二分类问题)所提出的，针对文本多分类包括中文文本的多分类的研究很少，目前闻彬,何婷婷,罗乐等。提出了一种基于语义理解的文本情感分类方法。机器学习的方法针对特征抓取，不如卷积神经网络在这方面具有优势，有些语义特征被分析出来后但在后续利用这些特征的过程中造成特征的“流失”。

发明内容

本发明要解决的技术问题是提供一种基于N-gram向量和卷积神经网络的中文文本多分类方法，根据有效词对文本特征的重要作用，提取有效的n-gram，提高文本分类准确率。

本发明采用的技术方案是：一种基于N-gram向量和卷积神经网络的中文文本多分类方法，包括以下步骤：

步骤1：文本分词：对待分类语料库中的所有中文文本分词，使用现有的中文分词工具，针对中文分词表现效果较好的中科院汉语分词系统。