[发明专利]一种基于分词工具共性信息和部分监督学习的分词方法

权利要求书

1.一种基于分词工具共性信息和部分监督学习的分词方法，其特征在于包括如下步骤：

步骤(1)使用大量无标注数据和BiLSTM神经网络预训练一个具有多种分词工具共性信息的BiLSTM模块，获得训练好的BiLSTM神经网络模块；所述的BiLSTM神经网络模块是初始分词模型的一部分；

步骤(2)使用少量标注数据训练初始分词模型，得到一个基于卷积神经网络和多种分词工具共性信息的分词模型M₀；

步骤(3)利用分词模型M₀对大量无标注数据集进行标注，得到大量伪标签数据；修改分词模型M₀中的损失函数，利用少量标注数据和大量伪标签数据共同训练损失函数修改后的分词模型M₀，得到基于多种分词工具共性信息和部分监督学习的中文分词模型M₁；

步骤(4)迭代步骤(3)，直到n次,得到最终分词模型Mn；

步骤(2)具体为：

2-1.设输入的句字x＝[c₁，c₂...c_n]，使用word2vec将其转换为字符嵌入层向量

2-2.使用步骤2-1获得的字符嵌入层向量作为输入，CNN和蕴含多种分词工具共性信息的BILSTM神经网络模块作为特征提取层；

其中，W和b都是卷积核的参数，k是卷积核的大小，表示从第个字符到第个字符之间的连接；

其中，是CNN网络获取第i个字符的特征，是蕴含多种分词工具共性信息模块获取的第i个字符的特征，h_i是和相融合的特征；

2-3.将特征提取层的输出输入到CRF层解码；

对于输入句子x＝[c₁,c₂...c_n]，通过初始分词模型M0可以获得一个预测标签序列y＝[y₁，y₂...y_n]，这个预测标签序列打分的公式如下：

其中，表示标签转移矩阵，P_i,y_i表示标签得分矩阵；句子x的标签序列为y的似然概率定义为：

其中，Y_x表示句子x所有可能的标注序列集合，y′表示随机的一个标注序列；

损失函数的公式如下：

其中,x_i是第i个训练句子，y_i是这个句子正确的标签序列，N_l是训练集中标注句子的数量，θ是初始分词模型的模型参数。

2.根据权利要求1所述的一种基于分词工具共性信息和部分监督学习的分词方法，其特征在于，步骤(1)具体为：

1-1.用现有的四种分词工具分别对大量无标注数据进行标注，并在句子的首尾加上准则标记；

1-2.使用步骤1-1获得的标注数据作为输入，BiLSTM神经网络作为特征提取层，预训练一个富含多种分词工具共性信息的BiLSTM神经网络模块；

1-3.BiLSTM神经网络模块以字符嵌入为输入，输出含有多个分词工具共性信息的上下文表示：

其中，表示句子的嵌入层向量，中的下标i表示句子中第i个字符，表示第i个字符的特征。

3.根据权利要求2所述的一种基于分词工具共性信息和部分监督学习的分词方法，其特征在于，步骤(3)具体为：

3-1.使用分词模型M0对无标注数据进行标注，获得伪标签数据集PUL；

3-2.利用少量标注数据和步骤3-1获得的伪标签数据集PUL共同训练初始分词模型M0，伪标签标注数据的损失函数被定义为：

其中，θ^t-1是第t-1次迭代学习到的模型参数，N_u为伪标签数据集中句子的数量，p(y_i|x_i；θ^t-1)是根据上一轮迭代的模型θ^t-1对伪标签句子x_i生成标签y_i的概率分布。

4.根据权利要求3所述的一种基于分词工具共性信息和部分监督学习的分词方法，其特征在于，步骤(4)具体为：按照步骤(3)的流程迭代的训练模型；此时，模型的更新既基于标注数据，也基于无标注数据；在第t次迭代，模型更新的目标函数为：

其中，θ^t是第t次迭代学习到的模型参数，是标注数据的损失函数，是伪标签标注数据的损失函数，λ是一个可训练的参数。