[发明专利]分词模型的训练方法、装置、系统和存储介质

权利要求书

1.一种分词模型的训练方法，包括：

获取标注数据集，所述标注数据集中包括具有分隔标识的训练文本；

获取搜索行为数据集，根据所述搜索行为数据集生成词频词典；

根据所述标注数据集对应的分词模型和所述标注数据集对应的分词模型参数，确定所述具有分隔标识的训练文本在不同切分情况下的分词结果；

结合所述词频词典对所述分词结果打分，确定所述分词结果的得分，将得分最高的分词结果作为所述具有分隔标识的训练文本的预测分词结果；

根据所述具有分隔标识的训练文本，确定所述训练文本的标注分词结果，利用所述预测分词结果和所述标注分词结果，构建所述标注数据集对应的分词模型的损失函数；

利用所述损失函数，调整所述标注数据集对应的分词模型参数，以利用所述调整后的分词模型参数，得到所述标注数据集对应训练后的分词模型；

利用词编码模块，确定所述具有分隔标识的训练文本在不同切分情况下的第一分词结果中分词的词向量，以及确定所述搜索训练文本在不同切分情况下的第二分词结果中分词的词向量；

利用词连接向量确定模块，根据所述第一分词结果中分词的词向量和所述第二分词结果中分词的词向量，确定所述第一分词结果中分词的连接特征向量和所述第二分词结果中分词的连接特征向量，其中，所述搜索行为数据集对应的分词模型和所述标注数据集对应的分词模型，共享词编码模块和词连接向量确定模块。

2.根据权利要求1所述的分词模型的训练方法，其中，所述结合所述词频词典对所述分词结果打分，确定所述分词结果的得分，包括：

根据所述分词结果中分词的词向量和参数向量，确定所述分词结果中分词的分值；

根据所述分词的词向量和所述分词的连接特征向量，确定所述分词结果中分词的连接分值；

查找所述词频词典，确定所述分词结果中分词的词频分值；

将所述分词结果中所述分词的分值、所述分词的连接分值和所述分词的词频分值的和，作为所述分词结果的得分。

3.根据权利要求2所述的分词模型的训练方法，其中，

所述分词的连接特征向量是根据长短时记忆模型，利用所述分词的词向量训练得到的向量。

4.根据权利要求3所述的分词模型的训练方法，其中，所述利用所述损失函数，调整所述标注数据集对应的分词模型参数，包括：

确定所述损失函数对应的梯度；

根据所述损失函数对应的梯度，调整所述标注数据集对应的分词模型参数。

5.根据权利要求1所述的分词模型的训练方法，其中，

所述搜索行为数据集包括：用户搜索过程中输入的搜索数据和点击的搜索结果的标题信息。

6.根据权利要求1所述的分词模型的训练方法，其中，所述利用所述损失函数，调整所述标注数据集对应的分词模型参数，以利用所述调整后的分词模型参数，得到所述标注数据集对应训练后的分词模型，包括：

利用所述预测分词结果和所述标注分词结果，确定所述标注数据集对应的训练后的分词模型的分词误差；

根据所述分词误差，构建所述标注数据集对应的分词模型的损失函数；

利用所述损失函数，调整所述标注数据集对应的分词模型参数；

当所述分词误差的变化量停止增长且小于设定阈值，或所述标注数据集对应的分词模型的训练次数达到最大训练次数时，得到所述标注数据集对应训练后的分词模型。