[发明专利]文本分类模型、文本分类的方法以及装置

说明书

本申请提供了一种文本分类模型、文本分类的方法以及装置，该文本分类模型包括嵌入层、BiLSTM层、注意力层、胶囊网络层、Flatten层、全连接层以及Softmax函数层，其中，嵌入层用于将文本的多个词语转换为词向量；BiLSTM层的输入端与嵌入层的输出端连接；注意力层的输入端BiLSTM层的输出端连接；胶囊网络层的输入端与注意力层的输出端连接；Flatten层的输入端与胶囊网络层的输出端连接；全连接层的输入端与Flatten层的输出端连接；Softmax函数层的输入端与全连接层的输出端连接。该文本分类模型的训练时间较短，训练效率较高。

技术领域

本申请涉及自然语言处理领域，具体而言，涉及一种文本分类模型、文本分类的方法、装置、计算机可读存储介质、处理器以及电子设备。

背景技术

近几年随着深度学习的崛起，自然语言处理技术快速发展，人机交互的方式也从GUI(Graphical User Interface，图形用户界面)方式渐渐转为CUI(Command UserInterface，命令用户界面)方式。通过引入深度学习算法和自然语言处理技术，分析用户自然对话中的关键语义从而进行意图识别，为用户提供最适当最匹配的信息或服务。

目前广泛使用的文本分类算法为基于预训练语言模型的文本分类，谷歌人工智能团队于2018年10月发布了新一代自然语言处理通用模型——基于双向编码器特征的多头注意力模型BERT(Bidirectional Encoder Representations from Transformers)模型，BERT模型在海量语料的基础上运行自监督学习方法学习词向量，提供了供其它任务做迁移学习的预训练模型。

然而，预训练模型因参数庞大，运算复杂，对GPU(Graphics Processing Unit，图形处理器)资源要求较高，需要大量GPU资源，导致模型训练与预测时间较长，训练效率较低。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种文本分类模型、文本分类的方法、装置、计算机可读存储介质、处理器以及电子设备，以解决现有技术中预训练模型进行文本分析的训练效率较低的问题。

根据本发明实施例的一个方面，提供了一种文本分类模型，包括嵌入层、BiLSTM(Bidirectional Long Short Term Memory，双向长短时记忆网)层、注意力(Attention)层、胶囊网络层、Flatten(压平)层、全连接层以及Softmax函数层，其中，所述嵌入层用于将文本的多个词语转换为词向量；所述BiLSTM层的输入端与所述嵌入层的输出端连接；所述注意力层的输入端与所述BiLSTM层的输出端连接；所述胶囊网络层的输入端与所述注意力层的输出端连接；所述Flatten层的输入端与所述胶囊网络层的输出端连接；所述全连接层的输入端与所述Flatten层的输出端连接；所述Softmax函数层的输入端与所述全连接层的输出端连接。

可选地，所述胶囊网络层包括基础胶囊网络层以及全连接胶囊网络层，其中，所述基础胶囊网络层的输入端与所述注意力层的输出端连接，所述基础胶囊网络层用于将转换为第一预定维数向量；所述全连接胶囊网络层的输入端与所述基础胶囊网络层的输出端连接，所述全连接胶囊网络层的输出端与所述Flatten层的输入端连接，所述全连接胶囊网络层用于将所述第一预定维数向量转换为第二预定维数向量。

可选地，所述文本分类模型还包括第一Dropout层，所述第一Dropout层的输入端与所述嵌入层的输出端连接，所述第一Dropout层的输出端与所述BiLSTM层的输入端连接。

可选地，所述文本分类模型还包括第二Dropout层，所述第二Dropout层的输入端与所述全连接层的输出端连接，所述第二Dropout层的输出端与所述Softmax函数层的输入端连接。