[发明专利]一种无监督事件知识图谱构建方法及系统

说明书

本发明公开了一种无监督事件知识图谱构建方法及系统，依据样本邻域对特征相似性的影响，利用邻域互信息度量特征之间的依赖，将具有依赖关系的特征划分到一个簇类，得到具有事件相关性的特征聚类簇；根据特征聚类簇生成包含对应特征簇的样本集合，在多维统计数据高阶相关性基础上，构造样本集合的相似矩阵，利用局部线性嵌入算法，在保持原始样本流形结构的基础上，获取样本集合的低维嵌入集合；采用稀疏表示方法对低维嵌入集合进行处理，获取样本集合的稀疏表示系数，筛选稀疏表示系数中非零元素对应的特征构建事件的知识图谱。本发明提高了事件图谱的合理性，在一定程度上提高了事件相似度计算的有效性。

技术领域

本发明属于自然语言处理中的话题发现与跟踪技术领域，具体涉及一种无监督事件知识图谱构建方法及系统。

背景技术

随着信息技术的飞速发展，文本信息呈现爆炸式增长，这使得人工对海量文本标识已然成为不可能完成的任务。因此，如何准确高效地发现文本中有用信息已成为亟待解决的难题。文本挖掘技术作为大数据挖掘领域的一个分支，广泛应用于媒体评测、话题检测与跟踪以及情感分析等多个领域，其中特征选择与文本聚类技术是最常用的两种数据挖掘技术。

目前特征选择较为成熟的方法多为在有监督环境下，基于向量空间模型(VectorSpace Mode)的统计方法，如CHI统计选择方法(CHI Statistical Selection Method，简称CHI)、信息增益(Information Gain，简称IG)、互信息(Mutual Information，简称MI)等方法，这些方法在实际应用中会出现两方面问题：一是这些方法的学习是通过对已标识样本进行归纳，这需要人工标记大量的样本，耗费大量专家的时间，面对大数据，标记足够多的样本几乎是不可能的；二是这些方法没有考虑到样本分布及样本相关性对事件表征的影响，导致选出的最具区分度的特征子集，无法准确反映样本空间中的真实信息，降低了文本挖掘技术在实际问题中的性能。另外，由于引入了样本类别信息，使得这些方法并不适用于无监督的特征选择。

聚类作为一种无监督环境下的数据分析方法，其通过分析数据间的依赖度，发现无结构数据背后的“潜在概念”。目前的聚类方法大体可分两类：特征聚类方法和样本聚类方法。特征聚类方法又称为子空间聚类法，它是实现高维数据集聚类的有效途径，其思想是在相同数据集的不同子空间上发现聚类。样本聚类方法的思想是通过对无类别标签的数据样本集进行聚类获得数据类标签，然后根据各个特征在聚类过程中所表现出来的贡献度进行特征选择。相较有监督环境下的特征选择，无监督环境下的特征选择研究稍显薄弱。其主要因素在于：一是无监督特征选择研究是在无先验知识的指导下进行的，不利于评价特征的价值；二是无监督的特征选择研究充满了较多的不确定性，得到的结果往往难以被解释和验证。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种无监督事件知识图谱构建方法及系统，不需要大规模标注样本进行训练，避免了预先定义类别关系和相关特征，实现了多维统计数据中隐含信息成分的提取，提高了事件图谱的合理性，并在一定程度上提高了事件相似度计算的有效性，为无监督环境下建立准确可信的事件标识提供了一种新思路。

本发明采用以下技术方案：

一种无监督事件知识图谱构建方法，包括以下步骤：

S1、依据样本邻域对特征相似性的影响，利用邻域互信息度量特征之间的依赖，将具有依赖关系的特征划分到一个簇类，得到具有事件相关性的特征聚类簇；

S2、根据步骤S1得到的特征聚类簇生成包含对应特征簇的样本集合，在多维统计数据高阶相关性基础上，构造样本集合的相似矩阵，利用局部线性嵌入算法，在保持原始样本流形结构的基础上，获取样本集合的低维嵌入集合；

S3、采用稀疏表示方法对步骤S2获得的低维嵌入集合进行处理，获取样本集合的稀疏表示系数，筛选稀疏表示系数中非零元素对应的特征构建事件的知识图谱。

具体的，步骤S1具体为：