[发明专利]一种面向医疗领域基于深度学习的命名实体识别方法

说明书

本发明提出了一种面向医疗领域基于深度学习的命名实体识别方法。该方法是通过一、利用医疗领域的有标注语料中的训练语料进行长短期记忆单元网络LSTM的训练；二、根据一中的更新的神经网络参数θ进行标注结果的路径查找，得到有标注语料的标注结果，利用命名实体识别评估标准F值对有标注语料中的测试语料的标注结果进行评估；三、在一中的训练过程中，先利用新闻领域的有标注语料进行长短期记忆单元网络LSTM的训练，再根据已经训好的模型和医疗领域的有标注语料，进行医疗领域的模型的训练，利用命名实体识别评估标准F值对有标注语料中的测试语料的标注结果进行评估等步骤实现的。本发明应用于命名实体识别领域。

技术领域

本发明涉及命名实体识别方法，特别涉及一种面向医疗领域基于深度学习的命名实体识别方法。

背景技术

命名实体识别作为信息抽取的基本任务之一，在问答系统、句法分析、机器翻译等领域中都有重要应用。医疗实体与普通实体区别较大，开放领域实体标注语料信息对医疗实体标注作用甚微；同时医疗领域的实体识别又缺乏标注语料，这主要是由于医疗实体的判断需要专业人士来进行，大大提高了医疗领域实体标注的成本。因此，在医疗领域如何利用少量标注语料进行更好的标注是十分重要的。

深度学习在近几年取得了重大进展，它已经被证明能够发掘出高维数据中的复杂结构进行学习。目前在自然语言处理领域中，一种新的词表示方法：词向量(wordembedding)取得了巨大成功。

词向量(word embedding)是近年来常用来替代传统词袋(bag of word)的词表示方法，解决了词袋表示带来的维数灾难问题。研究人员还发现，通过训练语言模型得到的词向量蕴含了词汇的语义信息，还可以通过一些算法能够在一定程度上得到词汇的相似度等数据。此外，由于词向量的训练无需任何标注工作，所以围绕词向量进行研究可以减少很多工作量，也可以按需训练：既可以使用大量开放语料训练得到可泛用的良好的词向量表示，也可以选择同一领域的语料训练得到对某个领域专用的词向量，更可以根据任务直接进行训练。

词向量的训练一般使用深度神经网络进行，而在自然语言处理领域，循环神经网络(RNN) 模型是应用最广泛的神经网络之一。在自然语言处理领域，上文信息对下文的影响一般用语言模型来刻画，而RNN模型利用一个循环反馈的隐层很自然的利用了上文信息，而且在理论上可以使用到全部的上文信息，这是传统语言模型不能做到的。但RNN模型在实际应用中存在梯度消失的问题，长短期记忆单元(Long Short-Term Memory，LSTM)就是对于RNN的一个有效的改进。LSTM针对RNN无法有效保留所需信息的现状，使用了记忆单元(Memory Cell)记录信息，并引入多个门(gate)控制记忆单元的更新和使用，使得所需的信息可以有效保存下来。LSTM现在已经被广泛应用于从分词、词性标注、命名实体识别到机器翻译等自然语言处理任务中。

在深度神经网络中一个常用的技术是预训练技术。多个研究成果证明，使用大规模语料进行无监督训练得到的词向量来初始化神经网络的参数，要比随机初始化训练可以得到更好的模型，这主要是由于预训练得到的词向量可以利用大规模无标注数据，包含了训练数据中没有的信息，且能在一定程度上防止随机初始化的词向量在优化过程中陷入局部极值。对于训练数据稀缺的医疗领域来说，能够利用大规模无标注数据进行辅助训练是极有意义的。

目前命名实体识别任务使用的模型主要有以CRF为代表的传统模型和深度神经网络模型两类，而在医疗领域一般还在使用传统的CRF模型。

CRF模型由于不考虑语义信息，在训练语料极度缺乏的情况下，标注结果中会出现大量的无意义的标注结果，而LSTM模型蕴含的语义信息可以防止这种情况发生。

发明内容

本发明的目的是为了解决CRF模型由于不考虑语义信息，在训练语料极度缺乏的情况下，标注结果中会出现大量的无意义的标注结果的问题，借助大规模的新闻领域语料，而提出的一种面向医疗领域基于深度学习的命名实体识别方法。