[发明专利]一种面向医疗领域基于深度学习的命名实体识别方法

摘要

本发明提出了一种面向医疗领域基于深度学习的命名实体识别方法。该方法是通过一、利用医疗领域的有标注语料中的训练语料进行长短期记忆单元网络LSTM的训练；二、根据一中的更新的神经网络参数θ进行标注结果的路径查找，得到有标注语料的标注结果，利用命名实体识别评估标准F值对有标注语料中的测试语料的标注结果进行评估；三、在一中的训练过程中，先利用新闻领域的有标注语料进行长短期记忆单元网络LSTM的训练，再根据已经训好的模型和医疗领域的有标注语料，进行医疗领域的模型的训练，利用命名实体识别评估标准F值对有标注语料中的测试语料的标注结果进行评估等步骤实现的。本发明应用于命名实体识别领域。 1

主权项

1.一种面向医疗领域基于深度学习的命名实体识别方法，其特征在于，该方法的具体步骤如下：

步骤一：利用无标注的医疗语料进行词向量vec_i的训练，获得补充医疗领域语料的词表voc和词表voc对应的词向量vec；vec＝[vec₁,vec₂,…,vec_n]；voc＝[voc₁,voc₂,…,voc_n]；其中i＝1,2,…,n，n为无标注语料中的词种类总个数；

步骤二：利用新闻领域的有标注语料中的训练语料进行长短期记忆单元网络LSTM的训练；利用步骤一所述词向量vec作为所述长短期记忆单元网络LSTM的训练的预训练向量，利用LSTM方法根据所述预训练向量以及x_k、y_k计算优化目标利用梯度下降算法优化进行LSTM的参数θ^C的更新；所述有标注语料包括训练语料和测试语料，最后得到LSTM的参数其中，参数为LSTM模型参数θ^C的在最终第n次迭代收敛时的数值，具体包括：W_{X_in}、W_{h_in}、W_{c_in}、W_{X_o}、W_{h_o}、W_{c_o}、W_{X_f}、W_{h_f}、W_{c_f}、b_in、b_o或b_f；其中：W_{x_in}：隐层输入门输入权值参数；W_{h_in}:隐层输入门状态输入权值参数；W_{c_in}:隐层记忆单元输入权值参数；W_{x_o}:隐层输出门输入权值参数；W_{h_o}：隐层输出门状态输入权值参数；W_{c_o}：隐层记忆单元输出层权值参数；W_{x_f}：隐层遗忘门输入权值参数；W_{h_f}：隐层遗忘门状态输入权值参数；W_{c_f}：隐层遗忘门记忆单元输入权值参数；b_in:隐层输入门偏置参数；b_o:隐层输出门偏置参数；b_f:隐层遗忘门偏置参数；

其中，x_k为第k个样例的有标注语料中的训练语料对应的LSTM输入的词序列；y_k为第k个样例的有标注语料中的训练语料对应的标注结果向量；

步骤三：利用医学领域的有标注语料中的训练语料进行长短期记忆单元网络LSTM的训练；利用步骤一得到的词向量vec作为所述长短期记忆单元网络LSTM的训练的预训练向量，利用LSTM方法根据所述预训练向量以及x_k、y_k计算优化目标利用梯度下降算法优化进行LSTM的参数θ的更新；所述有标注语料包括训练语料和测试语料；

其中，x_k为第k个样例的有标注语料中的训练语料对应的LSTM输入的词序列；y_k为第k个样例的有标注语料中的训练语料对应的标注结果向量；

步骤四：对参数更新后的LSTM进行测试，测试过程为：输入步骤二和步骤三所述有标注语料，根据步骤二中的更新的神经网络参数θ^C进行标注结果的路径查找，得到有标注语料的标注结果；利用命名实体识别评估标准F值对有标注语料中的测试语料的标注结果进行评估，并获得评估标注结果后的有标注预料，具体评估计算方法如下：

准确率＝标注正确的实体词数/标注的实体词总数

召回率＝标注正确的的实体词数/实体词总数

F值＝2·准确率·召回率/(准确率+召回率)

步骤五、将有标注语料重复步骤二至步骤四，直至步骤四中所述命名实体识别评估标准F值不增加或重复步骤二和步骤四的次数达到最大值50～100次为止。

2.根据权利要求1所述命名实体识别方法，其特征在于，步骤二所述LSTM的参数θ^C的更新的具体步骤如下：

步骤二一：将词表voc和词表voc对应的词向量vec进行预训练；利用x_k和步骤一中获得的词向量vec来计算得到LSTM神经网络的输入序列X其中，X＝X₁，X₂，...，X_t，...，X_T；

步骤二二：利用输入X_t、第t‑1次计算得到的隐层h_t‑1和第t‑1次计算得到的记忆单元c_t‑1计算第t次计算的LSTM模型的输入门in_t、LSTM模型的输出门o_t以及LSTM模型的遗忘门f_t；根据in_t、o_t和f_t计算得到记忆单元值c_t和隐层值h_t；其中，隐层值h_t的具体模型为：h_t＝o_tgtanh(c_t)；

步骤二三：将步骤二一所述输入序列X＝X₁，X₂，...，X_t，...，X_T内部的各个元素按从X₁到X_T的顺序依次输入到步骤二二所述隐层值h_t的具体模型中并获得隐层遗忘门输出h_f；然后，将步骤二一所述输入序列X＝X₁，X₂，...，X_t，...，X_T内部的各个元素按从X_T到X₁的顺序依次输入到步骤二二所述隐层值h