[发明专利]基于最小信息熵的神经网络分词系统及训练方法

说明书

本发明实施例提供一种基于最小信息熵的神经网络分词系统及训练方法。所述系统包括：卷积神经网络、双向长短期记忆神经网络、第一词库预测层和最小信息熵词库预测层，其中：卷积神经网络用于提取输入文本的特征向量并输出至双向长短期记忆神经网络；双向长短期记忆神经网络用于对特征向量进行前后文信息的读取之后输出至第一词库预测层和最小信息熵词库预测层；第一词库预测层用于根据第一词库计算并输出每个字的标签；最小信息熵词库预测层用于根据最小信息熵词库计算并输出每个字的标签。本发明实施例通过在神经网络分词系统中添加最小信息熵词库预测层，使分词系统提高未登录词的识别能力，进而提高分词准确率。

技术领域

本发明实施例涉及自然语言处理技术领域，尤其涉及一种基于最小信息熵的神经网络分词系统及训练方法。

背景技术

随着深度学习的兴起，神经网络分词系统成为研究热点。目前基于统计的分词方法已被各大公司采用，通用的神经网络分词系统框架如图1所示，参照图1，包括CNN(Convolutional Neural Networks，卷积神经网络)、BLSTM(Bidirectional Long Short-term Memory，双向长短期记忆神经网络) 和预测层，其中BLSTM包括前向LSTM和后向LSTM，预测层为CRF (conditional random field，条件随机场)。

基于该框架的分词系统的输入为一个一个的汉字，通过word2vector (word tovector)工具将每个字都转换为一个多维向量，将字向量以句子为单位输入到卷积神经网络中进行特征提取。典型的卷积神经网输出特征图至全连接层，全连接层将多层卷积池化运算后的多组特征依次组合为一组向量，该向量被输入到BLSTM中进行学习。BLSTM由两个LSTM网络堆叠起来，一个从正向读取文本，另一个反向获取文本，这样就可以同时获取文本的前后文信息，BLSTM输出结果到CRF即条件随机场层，该层通过条件随机场理论对BLSTM层的输出向量进行计算得到每个字的标签，如单个字“S”，一个词的开始为“B”等。这样在给每个词打上标签后我们就得到了分词结果。

但是这种基于统计的分词方法严重依赖于语料，对语料中不存在的单词的分割几乎无法完成，造成分词结果准确率低。

发明内容

本发明实施例提供一种基于最小信息熵的神经网络分词系统及训练方法，用以解决现有技术中分词结果准确率低等问题。

一方面，本发明实施例提供一种基于最小信息熵的神经网络分词系统，所述系统包括：卷积神经网络、双向长短期记忆神经网络、第一词库预测层和最小信息熵词库预测层，其中：

所述卷积神经网络，用于提取输入文本的特征向量，并将所述特征向量输出至所述双向长短期记忆神经网络；

所述双向长短期记忆神经网，用于接收所述特征向量，进行前后文信息的读取和去冗余之后输出至所述第一词库预测层和所述最小信息熵词库预测层；

所述第一词库预测层，用于接收所述双向长短期记忆神经网络输出的特征向量并根据第一词库计算并输出所述输入文本的每个字的标签；

所述最小信息熵词库预测层，用于接收所述双向长短期记忆神经网络输出的特征向量并根据最小信息熵词库计算并输出所述输入文本的每个字的标签。

另一方面，本发明实施例提供一种基于最小信息熵的神经网络分词系统的训练方法，所述方法包括：

计算所述基于最小信息熵的神经网络分词系统的损失函数L_total计算公式如下：

L_total＝L_C+L_C1+L_Fab