[发明专利]一种面向医疗领域基于深度学习的命名实体识别方法

摘要

一种面向医疗领域基于深度学习的命名实体识别方法，本发明涉及命名实体识别方法。本发明是要解决CRF模型由于不考虑语义信息，在训练语料极度缺乏的情况下，标注结果中会出现大量的无意义的标注结果的问题，而提出的一种面向医疗领域基于深度学习的命名实体识别方法。该方法是通过一、得到了补充医疗领域语料的词表voc和词表voc对应的词向量vec；二、利用有标注语料中的训练语料进行长短期记忆单元网络LSTM的训练；三、根据二中的更新的神经网络参数θ进行标注结果的路径查找，得到有标注语料的标注结果；利用命名实体识别评估标准F值对有标注语料中的测试语料的标注结果进行评估等步骤实现的。本发明应用于命名实体识别领域。

主权项

1.一种面向医疗领域基于深度学习的命名实体识别方法，其特征在于，该方法具体是按照以下步骤进行的：步骤一、利用无标注语料进行词向量veci的训练，得到了补充医疗领域语料的词表voc和词表voc对应的词向量vec；其中，i＝1,2,3,…,n；vec＝vec1,vec2,…,veci,…,vecn；voc＝voc1,voc2,…,voci,…,vocn；n为无标注语料中的词种类总个数；步骤二、利用有标注语料中的训练语料进行长短期记忆单元网络LSTM的训练；利用步骤一得到的词向量vec作为预训练向量，利用LSTM方法根据预训练向量、x_k以及y_k计算优化目标利用梯度下降算法优化进行LSTM的神经网络参数θ的更新；有标注语料包括训练语料和测试语料；其中，xk为第k个样例的有标注语料中的训练语料对应的LSTM输入的词序列；yk为第k个样例的有标注语料中的训练语料对应的标注结果向量；步骤二一、将词表voc和词表voc对应的词向量vec进行预训练；利用xk和步骤一得到的词向量vec来计算得到LSTM神经网络的输入序列X，其中，计算得到LSTM神经网络的输入序列X采用两种方法，两种方法具体为：一种是将词向量vec作为LSTM模型的初始值所选用的方法即方法一；另一种方法是将词向量vec作为LSTM神经网络的输入所选用的方法即方法二；所述采用方法一计算得到LSTM神经网络的输入序列X具体过程：建立有标注语料中的训练语料词表voc′，将voc′和voc合并词表VOC；VOC＝VOC1,VOC2,VOC3,…,VOCN；随机初始化词表VOC对应的向量矩阵word_emb，使得向量矩阵word_emb维度与词向量vec相同，并按公式(1)进行赋值：word_embi为word_emb中第i个词向量；最后将xk[k1,k2]与word_emb相乘得到LSTM神经网络的输入序列X：X＝xk[k1,k2]·word_emb                       (2)其中，xk[k1,k2]为词序列xk中k1与k2之间的词序列；步骤二二、利用输入Xt、第t‑1次计算得到的隐层ht‑1和第t‑1次计算得到的记忆单元ct‑1计算第t次计算的LSTM模型的输入门int、LSTM模型的输出门ot以及LSTM模型的遗忘门ft；其中，X＝X1，X2，...，Xt，...，XT；根据int、ot和ft计算得到记忆单元值ct和隐层值ht的具体过程为；(1)、首先第t次计算不加门时的记忆单元值其中，WX_c为与Xt相乘的记忆单元参数矩阵；Wh_c为ht‑1相乘记忆单元参数矩阵；bc为记忆单元的偏置；(2)、根据(4)、(6)计算得到的输入门值in_t、遗忘门值f_t、不加门时的记忆单元值和c_t‑1计算第t次计算的记忆单元值c_t：最后，使用记忆单元值ct和式(5)计算得到的输出门ot计算得到隐层的值ht：ht＝ot·tanh(ct)                             (9)；步骤二三、对输入序列X，分别从按X1到XT的顺序分别输入到步骤二二带入到公式(9)得到的隐层输出hf；从XT到X1的顺序分别输入到步骤二二带入到公式(9)，得到的隐层输出hb；步骤二四、采用转移代价的整个序列的代价计算方法将步骤二三得到的隐层结果h_f和h_b进行序列代价计算得到优化目标利用梯度下降算法优化进行LSTM的神经网络参数θ的更新；其中，θ为word_emb、W_{X_in}、W_{h_in}、W_{c_in}、W_{X_o}、W_{h_o}、W_{c_o}、W_{X_f}、W_{h_f}、W_{c_f}、b_in、b_o或b_f；步骤三、LSTM的测试；输入有标注语料，根据步骤二中的更新的LSTM的神经网络参数θ进行标注结果的路径查找，得到有标注语料的标注结果；利用命名实体识别评估标准F值对有标注语料中的测试语料的标注结果进行评估，具体评估计算方法如下：步骤四、将有标注语料重复步骤二和步骤三，直至步骤三的命名实体识别评估标准F值不增加或重复步骤二和步骤三的次数达到最大值50～100次为止。