[发明专利]中文实体识别模型的训练方法、装置、设备及存储介质

权利要求书

1.一种中文实体识别模型的训练方法，其特征在于，所述中文实体识别模型由BERT层、BiGRU层、TextCNN层和CRF层构成，包括如下步骤：

获取中文文本，对所述中文文本进行多语言翻译，生成多种语言的源文本；

利用机器翻译工具对所述多种语言的源文本分别进行回译，得到多种源中文文本；

利用预设投票机制对所述多种源中文文本进行相应的投票，得到每种源中文文本的票数，根据所述票数对所述多种源中文文本进行排序，并将票数排在前N位的源中文文本作为目标中文文本；其中，所述N为大于或等于1的正整数；

将所述目标中文文本输入所述BERT层中训练得到所述目标中文文本的文本向量；

将所述文本向量输入所述BiGRU层中，得到第一特征向量；其中，所述BiGRU 层用于对输入的所述文本向量进行文本深层次特征的提取；

将所述文本向量输入所述TextCNN层中，得到第二特征向量；其中，所述TextCNN层用于对所述文本向量进行分类预测；

将所述第一特征向量和所述第二特征向量进行加权平均后得到目标特征向量；

将所述目标特征向量输入所述CRF层中，输出所述中文文本的实体识别结果；其中，所述CRF层用于对所述目标特征向量进行筛选；

判断所述实体识别结果是否满足要求；

若是，完成所述中文实体识别模型的训练；

其中，所述TextCNN层利用卷积神经网络对词向量进行分类，通过一维卷积获取句子中n-gram的特征表示；

所述利用预设投票机制对所述多种源中文文本进行相应的投票，得到每种源中文文本的票数的步骤，包括：

提取所述源中文文本的语法特征、语义特征和主题特征；

根据所述语法特征、语义特征和主题特征分别对所述源中文文本进行相应的语法投票、语义投票及主题投票，得到语法票数、语义票数以及主题票数；

根据所述语法票数、语义票数、主题票数及预先设置的权重进行加权求和，确定每种源中文文本的票数；

通过训练预料对中文实体识别模型进行预训练时，只选择掩码语言模型作为损失函数。

2.根据权利要求1所述的方法，其特征在于，所述利用机器翻译工具对所述多种源文本分别进行回译的步骤，还包括：

判断所述源文本的文本数量是否大于预设阈值；

若是，利用机器翻译工具对所述多种源文本分别进行回译；

否则，将所述源文本中的至少一个词进行同义词替换，利用机器翻译工具对所述同义词替换后的源文本进行回译。

3.根据权利要求1所述的方法，其特征在于，所述提取所述源中文文本的语法特征的步骤，包括：

通过预设的词性识别工具，识别所述源中文文本中字符的词性，得到识别结果；

通过预设的编码器将所述识别结果转化为特征向量，得到所述语法特征。

4.根据权利要求1所述的方法，其特征在于，所述提取所述源中文文本的语义特征的步骤，包括：

检测所述源中文文本中字符的位置，得到所述源中文文本中字符的位置信息；

通过预设的编码器将所述源中文文本中字符的位置信息转化为特征向量，得到所述语义特征。

5.根据权利要求1所述的方法，其特征在于，所述判断所述实体识别结果是否满足要求的步骤，包括：

根据所述实体识别结果计算所述中文实体识别模型的损失值；

判断所述损失值是否小于预设损失值；

当确定所述损失值小于预设损失值时，则判定所述实体识别结果满足要求。

6.根据权利要求5所述的方法，其特征在于，所述判断所述损失值是否小于预设损失值的步骤之后，还包括：

当确定所述损失值不小于预设损失值时，根据所述损失值调整所述中文实体识别模型的参数，并返回执行所述将所述目标中文文本输入中文实体识别模型进行训练的步骤，以对调整参数后的所述中文实体识别模型再次训练。