[发明专利]文本实体识别方法、装置

权利要求书

1.一种文本实体识别方法，其特征在于，所述方法包括：

获取待识别文本；

通过多种词向量模型对所述待识别文本进行特征转换，得到所述待识别文本的多个文本特征向量；

由预先训练的神经网络模型学习所述多个文本特征向量，得到实体特征向量，所述实体特征向量用于表征所述待识别文本中的实体特征；

基于所述实体特征向量，通过条件随机场模型确定所述待识别文本对应的实体标签序列，以识别出所述待识别文本中各个实体的实体标签。

2.根据权利要求1所述的方法，其特征在于，所述多个文本特征向量包括第一文本特征向量和第二文本特征向量，所述通过多种词向量模型对所述待识别文本进行特征转换，得到所述待识别文本的多个文本特征向量，包括：

通过所述多种词向量模型分别对所述待识别文本中的字符进行编码处理，得到多个文本词向量；

在所述多个文本词向量中选择任意一个作为所述第一文本特征向量；

对所述多个文本词向量进行拼接，得到拼接向量，并将所述拼接向量作为所述第二文本特征向量。

3.根据权利要求1所述的方法，其特征在于，所述由预先训练的神经网络模型学习所述多个文本特征向量，得到实体特征向量，包括：

将所述多个文本特征向量分别输入至所述神经网络模型，以由所述神经网络模型输出多个子实体特征向量；

对所述多个子实体特征向量求平均处理，得到所述实体特征向量。

4.根据权利要求1所述的方法，其特征在于，在基于所述实体特征向量，通过条件随机场模型确定所述待识别文本对应的实体标签序列之前，所述方法还包括：

通过注意力机制模型为所述实体特征向量中的各个特征值分配权重，所述权重用于区分所述待识别文本中各个字符串在实体特征上的重要程度；

基于所述权重调整所述实体特征向量中的各个特征值，以更新所述实体特征向量。

5.根据权利要求4所述的方法，其特征在于，在获取待识别文本之前，所述方法还包括：

获取训练文本集，所述训练文本集中包括多条训练文本，其中，每一条训练文本配置有实体标签序列；

基于所述训练文本集中的多条训练文本，通过迭代的方式对所述神经网络模型和所述注意力机制模型进行有监督训练，并基于所述训练文本配置的实体标签序列调整所述神经网络模型和所述注意力机制模型，直至所述神经网络模型和所述注意力机制模型收敛。

6.根据权利要求5所述的方法，其特征在于，所述获取训练文本集，包括：

获取第一待选文本集，所述第一待选文本集包括多条第一待选文本；

通过远监督模型为所述第一待选文本集中的第一待选文本生成标签序列；

从所述第一待选文本集中选择第一待选文本作为训练文本，得到所述训练文本集。

7.根据权利要求6所述的方法，其特征在于，所述从所述第一待选文本集中选择第一待选文本作为训练文本，包括：

获取第二待选文本集，所述第二待选文本集包括多条第二待选文本，其中，每一条第二待选文本配置有实体标签序列；

基于所述第二待选文本集，训练强化学习模型，所述强化学习模型用于识别待选文本中的不完整标签序列或噪声标签序列；

通过所述强化学习模型，从所述第一待选文本集中选择具有完整标签序列或非噪声标签序列的第一待选文本作为训练文本。

8.根据权利要求1所述的方法，其特征在于，所述多种词向量模型包括ALBERT模型和word2vec模型。

9.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括双向长短时记忆循环神经网络模型。

10.一种文本实体识别装置，其特征在于，所述装置包括：

第一获取单元，被用于获取待识别文本；

转换单元，被用于通过多种词向量模型对所述待识别文本进行特征转换，得到所述待识别文本的多个文本特征向量；

学习单元，被用于由预先训练的神经网络模型学习所述多个文本特征向量，得到实体特征向量，所述实体特征向量用于表征所述待识别文本中的实体特征；

确定单元，被用于基于所述实体特征向量，通过条件随机场模型确定所述待识别文本对应的实体标签序列，以识别出所述待识别文本中各个实体的实体标签。