[发明专利]一种基于迁移学习的中医健康咨询文本命名实体识别方法

权利要求书

1.一种基于迁移学习的中医健康咨询文本命名实体识别方法，其特征在于，所述方法包括以下步骤：

S1、构造函数，根据与中医健康咨询命名实体识别任务的相关性，选择其他领域文本命名实体识别标注数据集，构造神经网络，利用其他领域文本命名实体识别标注数据集对神经网络进行预训练；

S2、分别构造前向和反向的循环神经网络，利用中医健康咨询文本无标注数据集，分别对前向和反向的循环神经网络进行预训练，得到前向语言模型和反向语言模型；

S3、在S1预训练的神经网络基础上，融合S2中前向语言模型和反向语言模型的循环神经网络层特征，结合全连接网络层和条件随机场层，得到中医健康咨询文本命名实体识别模型；

S4、在S3的文本命名实体识别模型的基础上，使用中医健康咨询文本命名实体识别标注数据集，执行逐层学习率衰减的微调训练，训练完成后得到最终的中医健康咨询文本命名实体识别模型。

2.根据权利要求1所述的一种基于迁移学习的中医健康咨询文本命名实体识别方法，其特征在于：所述步骤S1的其他领域文本命名实体识别标注数据集是在现有的中文命名实体识别公开数据集中，通过一个函数选择中医健康咨询文本命名实体识别任务的文本命名实体识别标注数据集，该函数用于衡量其他领域文本命名实体识别标注数据集和中医健康咨询文本命名实体识别任务的相关性程度，该函数如下：

其中，S表示当前选择的其他领域文本命名实体识别标注数据集，T表示中医健康咨询文本命名实体识别标注数据集，X表示S和T中所有词的集合，衡量了S数据集规模的大小，通过求T和S词概率分布的KL散度的倒数，衡量S和T之间的分布相关性，选择score(S)值最大的其他领域文本命名实体识别标注数据集。

3.根据权利要求1所述的一种基于迁移学习的中医健康咨询文本命名实体识别方法，其特征在于：所述神经网络包括词向量层，双向的循环神经网络层，全连接网络层和条件随机场层。

4.根据权利要求1所述的一种基于迁移学习的中医健康咨询文本命名实体识别方法，其特征在于：所述前向的循环神经网络由词向量层、前向的循环神经网络层、全连接神经网络层和归一化指数函数层(Softmax)叠加构成；反向的循环神经网络由词向量层、反向的循环神经网络层、全连接神经网络层和归一化指数函数层叠加构成。

5.根据权利要求1所述的一种基于迁移学习的中医健康咨询文本命名实体识别方法，其特征在于：所述步骤S2中的预训练是用前向和反向的循环神经网络作为编码器，分别对中医健康咨询文本无标注数据集进行训练，具体为输入一个句子A到前向和反向的循环神经网络中，前向的循环神经网络输出A中每一个词对应的后一个词，反向的循环神经网络输出A中每一个词对应的前一个词，从而得到前向语言模型和反向语言模型。

6.根据权利要求1所述的一种基于迁移学习的中医健康咨询文本命名实体识别方法，其特征在于：所述步骤S3的过程具体包括：将前向语言模型和反向语言模型中循环神经网络层的输出进行concact(连接)操作后，再将操作结果与双向的循环神经网络层的输出进行concact操作，并将操作结果输入到卷积神经网络层中进行融合，然后构造新的全连接网络层和条件随机场层进行预测和损失函数的计算，得到中医健康咨询文本命名实体识别模型。

7.根据权利要求1所述的一种基于迁移学习的中医健康咨询文本命名实体识别方法，其特征在于：步骤S4的微调训练为：

将文本命名实体识别模型分为三个部分，每一个部分在反向传播更新权重时，按照从最上面部分往下衰减的方式使用不同的学习率，衰减的方式使用指数衰减，最大学习率为lr，衰减系数为μ，μ1，则最上层为lr，中间层的学习率为lr/μ，最底层的学习率为lr/μ²。

8.根据权利要求1所述的一种基于迁移学习的中医健康咨询文本命名实体识别方法，其特征在于：所述中医健康咨询文本无标注数据集是通过网络爬虫得到，通过对中医健康咨询文本无标注数据集的文本进行标注得到中医健康咨询文本命名实体识别标注数据集。