[发明专利]一种面向文本的领域分类关系自动学习方法

摘要

本发明公开了一种面向文本的领域分类关系自动学习方法，采用MEDLINE作为语料库，进行术语抽取与概念抽取，将抽取到的概念进行基于句法相似度和语义相似度的五个维度相似度的计算，然后各个维度的相似度进行加权，得出最终相似度矩阵，以此为依据进行层次聚类得出初始的树状图，再对树状图进行相应的剪枝和聚簇标记，最终得出体现概念之间的分类关系树状图；本发明不需要大量的手工标记，节省了人力与时间开销；将抽取到的术语与权威知识库UMLS超级叙词表进行映射，得出准确的领域概念；采用层次聚类的分布式方法，结合领域背景知识，提供五个维度相似度的计算；提出基于极值距离估计的无监督的层次聚类动态剪枝方法，能够更好地得出领域相关的分类关系。

主权项

1.一种面向文本的领域分类关系自动学习方法，其特征在于，包括以下步骤：/n(1)将从MEDLINE上抽取到的xml格式的论文中的摘要部分存储为txt格式，作为语料库；/n(2)对步骤(1)得到的语料库采用自然语言处理工具MMTx进行初步术语抽取；/n(3)将步骤(2)抽取到的术语与UMLS超级叙词表映射，不同的术语可能会映射到相同的概念；将所有的术语进行概念映射，最终形成领域概念集合；/n(4)综合句法相似度和语义相似度进行概念间相似度的计算，将相似度分为5个维度，最终的概念C_i和C_j之间的相似度Sim(C_i，C_j)是各维度相似度归一化加权的结果，对于n个概念最终得到一个n×n的相似度矩阵；Sim(C_i，C_j)的计算公式如下：/n /n /n其中，w_l是第l个维度相似度的权值，前三个维度的相似度是基于句法计算的，后两个维度的相似度是基于语义计算的，具体计算方法如下：/n(4.1)sim₁(C_i，C_j)的计算：计算概念C_i和C_j的概念名称C_name的杰卡德相似系数；每个C_name由一系列字符串T构成，那么，概念C_i和C_j的相似度表示为/n /nT_i∩T_j＝{t_i∈T_i，t_j∈T_j|LD|t_i|，|t_j|)＜α}/n其中，LD|t_i|，|t_j|)为t_i和t_j之间的莱文斯坦距离，T_i∩T_j的评估标准是构成它们的字符串之间的莱文斯坦距离小于预定义值α；/n(4.2)sim₂(C_i，C_j)的计算：计算概念C_i的概念名称C_name和C_j所代表的术语集β之间的杰卡德相似系数；/n(4.3)sim₃(C_i，C_j)的计算：计算概念C_i所代表的术语集β和C_j的概念名称C_name之间的杰卡德相似系数；/n(4.4)sim₄(C_i，C_j)的计算：计算两个概念C_i和C_j在临床医学权威知识库SNOMED CT中的相似度；对于概念C_i，首先，查询其在SNOMED CT中的统一标识符conceptID，如果查询不到统一标识符conceptID，则两个概念的相似度为0；如果查询到统一标识符conceptID，则递归查询出概念C_i在SNOMED CT本体库中的所有父节点，得到以概念C_i为中心的由其所有父节点形成的图，采用图的宽度优先搜索算法对两个概念各自的父节点图进行处理，得出二者的公共父节点，其中两个概念的最近距离即为最终距离；对最短距离进行归一化处理即可得到本维度的相似度；/n(4.5)sim₅(C_i，C_j)的计算：计算两个概念在DBpedia知识库中的相似度；概念C_i和C_j的相似度是各自从DBpedia中抽取到的类别数组的杰卡德相似系数；/n(5)对相似度矩阵进行层次聚类得出初始的树状图：基于以上5个维度相似度的计算，采用自底向上的凝聚型聚类算法AHC对分类关系进行学习，簇间距离选用最大距离作为标准；/n(6)对树状图进行相应的剪枝和聚簇标记，得出概念之间的分类关系；具体为：首先创建聚簇标记向量λ＝{λ₁，λ₂，…，λ_m}，m为所有聚簇标记的总数，然后，对层次聚类产生的树状图进行剪枝操作，若在剪枝的过程中有新的聚簇产生，对新的聚簇进行标记并更新树状图，重复此操作，直到不再有新的聚簇产生，即得到最终的概念之间的分类关系。/n