[发明专利]基于词性融合的命名实体识别方法、模型及模型训练方法

权利要求书

1.一种基于词性融合的命名实体识别模型训练方法，包括：

步骤1，接收实体识别训练集任务语句，其中所述任务语句中的每个单字表示为单字向量w_i；

步骤2，对所述任务语句进行分词处理，得到至少一个实体词语以及每一所述实体词语的词性，并对每一所述实体词语的词性随机生成词性向量h^j；

步骤3，依据所述每个单字的所述单字向量w_i和所述每个汉字所在实体词语的词性向量h^j得到所述每个单字的修正单字向量w_i’；

步骤4，将所述每个单字的修正单字向量w_i’输入转换器的编码器中，得到每个单字的输出向量；

步骤5，将所述每个单字的输出向量输入至条件随机场层，将每个单字标记实体标签；

步骤6，检测所述实体标签的准确率并进行迭代训练。

2.如权利要求1所述的基于词性融合的命名实体识别模型训练方法，其特征在于，所述修正向量w_i’的计算公式为：

w_i′＝_i+α*h^j

其中α为修正参数，且0＜α＜1。

3.如权利要求1所述的基于词性融合的命名实体识别模型训练方法，其特征在于，所述单字向量、词性向量和修正单字向量的维度小于等于768。

4.如权利要求1所述的基于词性融合的命名实体识别模型训练方法，其特征在于，所述编码器的层数小于等于16层。

5.如权利要求1所述的基于词性融合的命名实体识别模型训练方法，其特征在于，所述编码器包括Multi-Head Attention模块；其中，

所述Multi-Head Attention模块的输入为所述修正向量w_i’，输出为：

head_i＝Attention(QW_i^Q,KW_i^K,VW_i^K)，

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^O，

d_model为输入向量维度，d_K、d_V为子空间维度，为尺度因子，Q、K、V分别为Attention机制的query、key和value，W_i^Q、W_i^K、W_i^V和W^O为权重矩阵，R为实数。

6.如权利要求1所述的基于词性融合的命名实体识别模型训练方法，其特征在于还包括对经过处理的文本进行实体标注，所述实体标注采用BIESO标注方法。

7.一种基于词性融合的命名实体识别模型，包括：

分词器，适于对任务语句进行分词处理得到至少一个实体词语以及每一实体词语的词性，并对每一实体词语的词性随机生成词性向量；

转换器，所述转换器包括编码器，所述编码器适于通过每个单字的修正单字向量得到其输出向量，所述修正单字向量为所述任务语句每个单字的单字向量与所述词性向量的线性相加之和；

条件随机场层，适于输入所述每个单字的输出向量，且对每个单字标记实体标签。

8.如权利要求7所述的基于词性融合的命名实体识别模型，其特征在于，所述修正向量w_i’的计算公式为：

w_i′＝w_i+α*h^j

其中w_i为所述每个单字的所述单字向量，h^j为所述每个汉字所在实体词语的词性向量，α为修正参数，且0＜α＜1。