[发明专利]一种基于注意力机制神经网络与知识图谱的医疗文本分级方法

说明书

一种基于注意力机制神经网络与知识图谱的医疗文本分级方法属于计算机人工智能领域，通过基于Attention机制的增强型LSTM模型得到准确性更高的医疗文本的分级结果。方法包括：直接关系抽取模块、直接关系统一模块、间接语义关系推理模块、神经网络分级模块。在本方法中使用了知识图谱作为外部数据源，通过增强型的LSTM作为Encoder模型学习知识图谱与文本数据中实体‑关系‑实体三元组数据作为模型的输入，通过Attention机制得到不同的三元组对于文本分级的重要程度，将普通的LSTM作为的Decoder模型学习中间隐藏向量，在通过softmax层得到最终的文本分级结果。

技术领域

本发明属于计算机人工智能领域，涉及一种基于注意力机制神经网络与知识图谱的医疗文本分级方法。

背景技术

近年来，随着人工智能技术在自然语言处理(Natural Language Processing,NLP)领域的广泛应用，人们对领域知识的探索也越来越多。其中医疗文本是在医疗领域中最常见的数据集，那么对医疗文本采用神经网络得到所对应的疾病分级结果，那么对于医学人工智能化具有非常重要的意义。

医疗文本分级可以认为是一个分类任务，通过抽取医疗文本中的特征数据在通过某种方法得到所对应疾病的严重程度分级结果。传统的文本分级的两种方法是基于传统机器学习方法和神经网络深度学习方法，目前深度学习方法占主动地位。基于深度学习的文本分级模型都是通过去文本数据抽取特征信息然后将其通过某个深度学习模型分类到具体疾病的分级结果。然后在当今的大数据时代，单纯的使用文本数据中的特征信息对于文本分级来说数据量太少，由于医疗文本的特殊性，并不能很好的得到全部的特征信息，那么对于医疗文本分级的准确性有很大的影响，如今的医疗文本分级仍然存在以下问题：(1)没有采用该疾病的知识图谱数据，单纯的使用文本数据导致数据量太少且准确性不高；(2)领域实体结构复杂并且相同概念存在很多中表达方法，尤其在医疗领域对于疾病病名与症状的描述例如“慢性阻塞性肺疾病”并不能很好的提取出来；(3)在目前神经网络中单纯的使用了实体信息，并没有利用在知识图谱中最重要的“关系”信息存在了语义上的割裂。基于以上问题，传统的医疗文本分级方法已经很难适用于如今的应用场景。

丁连红、孙斌、张宏伟等人撰写的《基于知识图谱扩展的短文本分类方法》中提到的基于学习知识图谱中的实体信息并提取文本数据中的实体数据作为特征输入在神经网络中进行分类的算法，使用了对应疾病的知识图谱作为外部数据源并改变了特征提取方法来实现医疗文本的分级任务。该方法虽然增加了只是领域实现了医疗文本的分级任务，但是该方法只是单纯的提取了实体信息，缺失了关键的关系特征，无法完全且准确的提取到文本中的所以信息。该方法虽还不够完善，但是使用了知识图谱的思路在文本分级的问题中给我们提供了思路，即需要使用外部知识来更好的提取文本特征。

发明内容

本发明的内容：

一种基于注意力机制神经网络与知识图谱的医疗文本分级方法，该方法包括：

①提出了一种基于注意力机制神经网络与知识图谱的医疗文本分级方法，该方法，该方法通过抽取知识图谱与文本数据中的实体-关系-三元组数据，通过增强型的LSTM模型得到对医疗文本的分级结果，不仅提高了分级结果的准确性，并且因为对于文本数据而言，只是单纯的提取了三元组数据无需对所有的数据进行提取好向量化还降低了计算成本

②首先得到知识图谱与文本数据中实体-关系-实体之间的直接关系数据，并且通过标准点互信息将知识图谱与文本数据中的直接关系合并为统一的三元组表达方式。

③其次通过TransE算法得到文本数据中的所有间接语义关系三元组，即通过在第2步中的直接关系通过推理机制得到所有的间接关系，得到文本数据中的所有的实体关系-实体三元组数据。

④采用增强型的LSTM模型通过基于Attention机制得到对于不同三元组的对于文本分级的重要性程度，将文本的三元组数据Encoder-Decoder模型得到文本的分级结果。