[发明专利]一种基于ALBERT的科协活动命名实体识别的方法

权利要求书

1.一种基于ALBERT的科协活动命名实体识别的方法，其特征在于，包括以下步骤：

S1、将输入的科协活动文本转化为词向量；

S2、将输入的词向量进行编码，提取全文特征信息；

S3、学习标签之间的约束，输出概率最高的标签序列。

2.如权利要求1所述的基于ALBERT的科协活动命名实体识别的方法，其特征在于，步骤S1采用轻量级的ALBERT模型；步骤S2采用BiLSTM的变体BiGRU结合多头自注意力机制；步骤S3采用CRF获取全局最优序列。

3.如权利要求2所述的基于ALBERT的科协活动命名实体识别的方法，其特征在于，所述ALBERT模型通过参数因式分解技术，引进一个低维向量，将全连接层与Attention层的参数都进行共享，提升训练速度。

4.如权利要求2所述的基于ALBERT的科协活动命名实体识别的方法，其特征在于，所述多头自注意力机制为自注意力机制的集合，每个注意力头学习在不同表示空间中的特征，结合序列各个位置的相关度，扩展了模型对不同位置的关注能力。

5.如权利要求2所述的基于ALBERT的科协活动命名实体识别的方法，其特征在于，所述CRF在训练过程中学习相邻标签间的约束关系，提高预测输入句子标签序列的准确性。