[发明专利]一种医疗文本数据的命名实体识别方法

说明书

技术领域

本发明涉及信息抽取技术领域，特别涉及一种医疗文本数据的命名实体识别方法。

背景技术

在目前大力发展信息化的时代背景下，许多医疗机构正在建设或已完成医疗信息系统。伴随着医疗信息系统的发展与完善，其不断积累下的医疗数据将会为医学及信息科学未来的研究发展提供可靠的数据支撑。近年来，对统计数据的数学研究已经相对成熟，针对海量医疗统计数据的大数据研究也已开展地如火如荼，对预测及防控都起到了良好的作用。

大量文本数据例如文本病历、医学文献、卫生信息标准等，尽管也蕴含着许多有研究价值的信息，但却因为具有非结构化、专业化等特点，难以对其进行数据深度利用。若要对上述文本数据进行深度利用，首先需要克服的就是针对医学特有命名实体进行识别。然而，中文自然语言处理的复杂性和上述提到的医疗文本数据的独特性导致了进行医学命名实体识别是一个难点问题。因此，进行纵向的病种命名实体识别研究，归纳总结出能够快速并且在人工干预较少的情况下提取出准确信息的方法具有重要意义。

发明内容

本发明的目的是提供一种医疗文本数据的命名实体识别方法，能够快速且在人工干预较少的情况下提取出准确信息。

一种医疗文本数据的命名实体识别方法：

I)通过隐马尔可夫模型对原始医学文本进行序列标注，得到预测分词结果；

II)对预测分词结果进行过滤与校准。

优选的，所述步骤II)通过半监督学习过程进行迭代自学习，对预测分词结果进行过滤与校准。

优选的，所述半监督学习过程包括以下步骤：

1)去除预测分词结果中与停用词集中重合的部分；

2)将去除停用词后的分词结果做预处理，统计所有分词结果的频次，并以降序方式排列；

3)将频次高的词加入种子词集；

4)再次对原始医学文本进行分词处理，种子词集中出现的种子词优先成词；

5)重复上述步骤1)至4)，直至种子词集不再有增量；

6)人工对种子词集进行审查，若种子词集中有干扰分词正确的词，进行人工修正。

优选的，所述步骤3)中，所述频次高的词是频次最高的前10个词。

优选的，所述步骤5)对步骤1)至4)的迭代次数为2至3次。

本发明提供了一种基于隐马尔可夫模型分词与半监督学习方法结合对原始医学文本进行分词处理和识别的方法，不仅提高了信息提取和识别的效率，而且降低了人工干预程度。

附图说明

图1是具体实施方式中的半监督学习流程图。

图2是具体实施方式中的半监督学习改进效果对比图。

图3是具体实施方式中的半监督学习改进效果。

具体实施方式

下面通过具体实施例对本发明进行说明，但本发明并不局限于此。

实施例

本实施例采用隐马尔可夫模型(Hidden Markov Model，HMM)，对原始医学文本进行序列标注，得到预测分词结果。在预测分词处理结束后，利用半监督学习方法对分词结果进行迭代自学习，以得到准确的分词及命名实体识别结果。本实施例通过比对各类监督学习方法的优缺点及结合半监督学习方法纠错，对纵向的病种命名实体识别研究。旨在总结出能够快速且在人工干预较少的情况下提取出准确信息的方法。

利用HMM解决命名实体识别标注，即给定一个观察值的序列(1)：

P(Y|X)＝p(x₁，n)，X＝{x₁，x₂，...x_n} (1)

要寻找一个最优的标记序列(2)，使得条件概率P(Y|X)最大：

Y＝{y₁，y₂，...y_n} (2)；

根据贝叶斯公式可得(3)：

在NE识别问题中，X是给定的句子，观察值为词性或词，则上式中P(X)对所有的类别都是一样的，因此可以忽略不考虑。则上面的公式可以转化为下面的形式(4)，即实质是求解一个联合概率：

P(Y|X)＝P(Y)P(X|Y)＝P(X，Y) (4)

观察到的事件是状态的随机函数，该模型是含有隐藏序列和可观察序列的随机过程，其中模型的状态转换过程是不可观察的。可观察的事件的随机过程是隐藏的状态转换过程的随机函数。形式化的描述为一个五元组：