[发明专利]文本分类模型构建方法、装置、终端及存储介质

说明书

本发明涉及神经网络技术领域，提供了一种文本分类模型构建方法、装置、终端及存储介质。所述文本分类模型构建方法包括：利用pytorch框架搭建卷积神经网络模型；其中，所述卷积神经网络模型设置于嵌入层；获取文本分类训练数据，利用Word2Vec算法将所述文本训练数据进行词向量训练，得到词向量；将所述词向量输入卷积神经网络模型进行分类训练，直至收敛时，得到文本分类模型。本发明的文本分类模型采用Pytorch框架，由于Pytorch框架面向对象的接口设计来源于torch，而torch的接口设计具有灵活易用的特点,并且PyTorch框架能够逐层打印出计算结果以便于调试，因此构建的文本分类模型更易于维护和调试。

技术领域

本发明涉及神经网络技术领域，尤其涉及一种文本分类模型构建方法、装置、终端及存储介质。

背景技术

随着移动互联网时代的到来，内容的生产和传播都发生了深刻的变化，为了满足信息爆炸背景下用户的多样化需求，迫切需要对文本信息进行有效的组织，文本分类是数据挖掘和信息检索领域研究的热点和核心技术。

现有的文本分类模型，如果要在文本分类问题上采用神经网络算法一般会采用tensorflow框架。但tensorflow框架代码冗长、接口设计过于晦涩难懂，导致构建的文本分类模型维护困难、调试不便、不易于操作。

发明内容

本发明提供一种文本分类模型构建方法、装置、终端及存储介质，以解决当前采用tensorflow框架构建文本分类模型时，因tensorflow框架代码冗长、接口设计过于晦涩难懂而导致构建的文本分类模型维护困难、调试不便、不易于操作的问题。

为解决上述问题，本发明采用如下技术方案：

本发明提供一种文本分类模型构建方法，包括如下步骤：

利用pytorch框架搭建卷积神经网络模型；其中，所述卷积神经网络模型设置于嵌入层；

获取文本分类训练数据，利用Word2Vec算法将所述文本训练数据进行词向量训练，得到词向量；

将所述词向量输入卷积神经网络模型进行分类训练，直至收敛时，得到文本分类模型。

在一实施例中，所述利用Word2Vec算法将所述文本训练数据进行词向量训练之前，还包括：

根据正则表达式匹配规则去除文本训练数据的停用词和符号；

利用结巴分词库将去除停用词和符号的文本训练数据进行中文分词。

在一实施例中，所述利用结巴分词库将去除停用词和符号的文本训练数据进行中文分词的步骤，包括:

利用结巴分词库确定文本训练数据中汉字之间的相关度；

将相关度大于预设值的汉字组成分词，得到分词结果。

在一实施例中，所述将所述词向量输入卷积神经网络模型进行分类训练的步骤，包括：

根据所述词向量并通过交叉熵损失函数和ADAM优化算法对卷积神经网络模型进行分类训练。

在一实施例中，所述利用Word2Vec算法将所述文本训练数据进行词向量训练的步骤，包括：

利用Word2Vec算法对大型语料数据进行词向量训练，得到词向量字典；

根据所述词向量字典将文本训练数据转化为词向量。

在一实施例中，所述利用pytorch框架搭建卷积神经网络模型之后，还包括：