[发明专利]基于最小信息熵的神经网络分词系统及训练方法

权利要求书

1.一种基于最小信息熵的神经网络分词系统，其特征在于，所述系统包括：

卷积神经网络、双向长短期记忆神经网络、第一词库预测层和最小信息熵词库预测层，其中：

所述卷积神经网络用于提取输入文本的特征向量，并将所述特征向量输出至所述双向长短期记忆神经网络；

所述双向长短期记忆神经网络用于接收所述特征向量，进行前后文信息的读取和去冗余之后输出至所述第一词库预测层和所述最小信息熵词库预测层；

所述第一词库预测层用于接收所述双向长短期记忆神经网络输出的特征向量并根据第一词库计算并输出所述输入文本的每个字的标签；

所述最小信息熵词库预测层用于接收所述双向长短期记忆神经网络输出的特征向量并根据最小信息熵词库计算并输出所述输入文本的每个字的标签。

2.根据权利要求1所述的系统，其特征在于，所述最小信息熵预测层包括全连接层和条件随机场层，所述全连接层用于接收所述双向长短期记忆神经网络输出的特征向量，分类后输出至所述条件随机场层；所述条件随机场层用于根据最小信息熵词库计算所述条件随机场输出的特征向量，并输出所述输入文本的每个字的标签。

3.根据权利要求1所述的系统，其特征在于，所述最小信息熵词库预测层用于输出单字词的标签为S，多字词的第一个字的标签为B，多字词的中间的字的标签为I，多字词的最后一个字的标签为E。

4.一种用于如权利要求1至3任一项所述的基于最小信息熵的神经网络分词系统的训练方法，其特征在于，所述方法包括：

计算所述基于最小信息熵的神经网络分词系统的损失函数L_total，计算公式如下：

L_total＝L_C+L_C1+L_Fab

其中，L_C为第一词库对应的损失函数，L_C1为最小信息熵词库对应的损失函数，L_Fab为经过所述第一词库输出的分词结果的点信息的相反数；

最小化所述基于最小信息熵的神经网络分词系统的损失函数L_total，得到收敛的基于最小信息熵的神经网络分词系统。

5.根据权利要求4所述的方法，其特征在于，

所述第一词库对应的损失函数Lc＝-∑_i,x∈Clogp(y|x；W,b)；

所述最小信息熵词库对应的损失函数Lc₁＝-∑_i,x∈C1logp(y|z；W,b)；

所述点信息的相反数

其中，p(y|x；W,b)表示在给定输入字向量x、权重W和偏置b的前提下输出标签y的概率；

p(y|z；W,b)表示在给定输入字向量z、权重W和偏置b的前提下输出标签y的概率；

F_ab的值越大，表示词a和词b合并一起后的信息熵越小，p_ab表示词a和词b合并后出现的概率。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

构建最小信息熵词库的步骤：

统计k个字合并后出现的概率p_a，其中k≥2，且k为整数；

根据所述k个字合并后出现的概率在语料中进行分词，得到k个字合并后熵最小的分词结果；

对所述分词结果进行标记，得到最小信息熵词库。

7.根据权利要求6所述的方法，其特征在于，所述得到k个字合并后熵最小的分词结果包括：

计算使F_a最大值的分词结果为k个字合并后熵最小的分词结果；

其中，p_a为k个字合并后出现的概率，p_i为k个字中的单个字出现的概率。