[发明专利]一种基于注意力机制的命名实体识别方法

摘要

本发明公开了一种基于注意力机制的命名实体识别方法，包括以下步骤：S1、对文本数据进行数据预处理；S1.1、对文本进行分句，分字符处理；S1.2、对句子、字符和标签进行统计，形成句表、字符表和标签表；S1.3、通过查询预训练好的字符向量表得到字符表中每个字符的字符向量表示，本发明利用注意力机制替代了编码‑解码架构中常用的递归神经网络和卷积神经网络，更容易捕获“长距离依赖信息”，能够提升命名实体任务的准确率，并且基于注意力机制的网络架构更易于并行处理，计算效率得到巨大的提升，解决现有技术中的模型无法考虑长距离的上下文信息和上下文信息相关性的问题，从而使得识别的准确率受到限制的技术问题。

主权项

1.一种基于注意力机制的命名实体识别方法，其特征在于：包括以下步骤：S1、对文本数据进行数据预处理；S2、将字符序列(x₁，…，x_n)输入到编码器，得到字符序列的编码表示其中n>1，d_m＝512，编码器由1个输入表示层和6个结构相同的编码层依次叠加而成；每一层的输出分别记为X^((l))，其中l＝0，…，6；X⁽⁰⁾就是输入表示层的输出，作为第一个编码层的输入，然后每一个编码层的输出X^(l)作为下一个编码层的输入，然后得到输出X^(l+1)，1≤l≤6；S3、给定编码器的输出解码器依次生成输出标签序列(y₁，…，y_n)的每一个字符，在第t个时间步生成第t个标签字符y_t，其中1≤t≤n；解码器由1个输出表示层、6个结构相同的解码层和1个分类层依次叠加而成；每一层的输出分别记为Y^(l)，l＝0，…，6，Y⁽⁰⁾就是输出表示层的输出，作为第一个解码层的输入，然后每一个解码层的输出Y^(l)作为下一个解码层的输入，然后得到输出Y^(l+1)，其中1≤l≤6，最后一个解码层的输出Y⁽⁶⁾作为分类层的输入，分类层输出预测标签在标签表中的序号；S4、为了编码器和解码器更快地收敛，自注意力层、编码‑解码注意力层和前馈神经网络层之后都会再连接一个残差连接层和一个标准化层；自注意力层、编码‑解码注意力层和前馈神经网络层的输入为X，输出为Y，那么经过残差连接层和标准化层后得到的输出为Z，它的第l个行向量分别为：Z_i＝LayerNorm(X_l+Y_l)，其中l＝1,…,n，其中LayerNorm是对向量的标准化操作，即：