[发明专利]一种自动标注医学文本中实体的方法

说明书

本发明公开了一种自动标注医学文本中实体的方法，该方法的目的是正确标注文本中的实体，包括以下步骤：收集文本；文本预处理；收集实体词典数据；对词典数据进行预处理，生成缩写词词典、词组词典和其他实体词典；应用标注规则对文本数据进行标注，获得标注实体；标注后处理，采用模糊识别方式对标注结果进行处理，增加漏识别的实体以及去除嵌套实体，最后得到最终的标注结果。

技术领域

本发明属于医学实体标注技术领域，特别是涉及一种自动标注医学文本中实体的方法。

背景技术

在医学命名实体识别领域，使用的技术一般是通过训练模型，然后通过模型去标注实体，其中训练模型使用的数据大部分是通过人工标注得到，这需要耗费大量的人力、物力，并且标注结果中的实体类型较少，整体标注的数量少，同时也会产生一些误差，因此需要一种自动标注的方法来解决该问题，使标注的过程更加智能化、简单化，使标注结果更加准确化。

发明内容

有鉴于此，本发明要解决的技术问题是对医学语料中的实体进行标注方法，该方法能够自动标注实体，对文本中出现的医学实体能够精确标注，从而替代研究人员的手工标注过程，加快研究步伐。

本发明替代医学实体标注过程中的人工标注，包括对复数实体、嵌套实体、不规范实体的处理方法，其方法将由文本收集、文本预处理、词典数据收集、词典构建、文本标注、标注后处理组成。

文本收集：将要标注的医学文本数据进行收集。

文本预处理：将文本进行分句、分词处理，并且对分词结果进行词形还原操作。

词典数据收集：将需要的词典数据进行收集。

词典构建：将得到的词典数据进行处理，构建缩写词词典、词组词典、其他实体词典(该词典中不包含缩写词与词组)。

文本标注：利用标注方法对医学文本数据进行标注。

标注后处理：对标注好的数据进行处理，解决一些漏标注的实体以及嵌套实体。

标注方法：

方法一：如果单词为缩写，则直接进行标注。

方法二：如果不是缩写词，则先与词典中的实体进行匹配，如果匹配成功直接标注为实体，否则将单词的首字母变为小写，再与词典中的实体进行匹配，如果匹配成功则标注为实体，否则标注为其他类型。

方法三：如果出现嵌套的实体，则只标注最长的实体，对嵌套在内部的实体不进行标注。

附图说明

图1是本发明的结构图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步的说明。

如图1所示，一种自动标注医学文本中实体的方法，该方法包含了对医学实体的自动标注过程的处理方法，以及处理复数实体、嵌套实体等而采用的组合方法。所述的自动标注方法标注的语料是医学语料，其标注结果更加偏向于医学实体，例如疾病、药物、不良反应、基因等。所述组合方法可以有效解决复数实体、嵌套实体以及因标点符号不规范导致实体无法识别的问题，提高了标注的准确率。

其方法将由文本收集、文本预处理、词典数据收集、词典构建、文本标注、标注后处理组成。

文本收集：将要标注的医学文本数据进行收集。

文本预处理：将文本进行分句、分词处理，并且对分词结果进行词形还原操作。

词典数据收集：将需要的词典数据进行收集。

词典构建：将得到的词典数据进行处理，构建缩写词词典、词组词典、其他实体词典(该词典中不包含缩写词与词组)。