[发明专利]面向不均衡大数据集的无监督文本主题相关基因提取方法

说明书

本发明公开了一种面向不均衡大数据集的无监督文本主题相关基因提取方法，采用因子分析和密度峰值算法来获取高维样本集的聚类簇，标注无标签样本；利用平均局部密度和信息熵来改进基于CHI统计矩阵的特征选取方法，强化低密度、小样本簇的特征表达度；采用基于负熵的快速固定点算法，分析多维数据间的高阶统计相关性，提取独立的隐含主题特征基因及完成分量间高阶冗余的去除。不需采用大规模已标注样本进行训练，能够有效避免对样本类别关系及特征结构的预定义；克服采用过抽样或欠抽样方法对原始不均衡数据集的类别分布所带来的影响。通过对特征类别结构的修正，改善了CHI统计选择方法的性能；还实现了在保持样本集辨识能力情况下的有效特征降维。

技术领域

本发明属于自然语言处理中的数据解释及主题发现技术领域，具体涉及一种面向不均衡大数据集的无监督文本主题相关基因提取方法。

背景技术

随着社会逐渐步入“大数据”时代，人们通过网页、微博、论坛等途径获取的信息数量越来越多，而用于阅读和整理信息的时间却越来越少，因此，高效、准确地分析信息的主题就成为实现大数据理解与价值发现的有效手段，其适用领域更是涵盖了互联网舆情监测与预警、网络有害信息过滤以及情感分析等多方面。而在处理这些领域数据时，常需要面对大量具有冗余或不相关特征的高维数据，这使得学习算法的效率及性能大大降低，因此特征提取作为机器学习和数据挖掘中至关重要的一环，也直接影响到模型构建及分析效率和准确性。

目前，特征提取根据类别信息的不同，可分为有监督和无监督两类。在文本内容分析过程，无论采取何种类别，均需利用向量空间模型(Vector Space Model)将文本表示成由一定数量特征词构成的向量空间，这在实际应用中不可避免地出现两方面的问题：

①数据集内样本类别(簇)分布不均衡，而作为特征子集质量评价的度量函数，无论是基于独立性的相关性分析、相似性分析；还是基于距离的欧几里得距离、马氏距离；甚至目前应用最为广泛基于信息熵的互信息、信息增益等方法，均采取了对数据集内样本类别(簇)分布相同或相近的一致性假设，使得所确定的特征大多来自类别(簇)数量(密度)占优的“大类”，没有或者很少部分来自不占优的“小类”，导致选取出的最具区分度的特征子集，无法准确反映整个样本空间中真实信息，降低后续学习方法解决实际问题的性能；

②“大数据”使得待处理的对象变得愈加纷繁复杂，数据维数呈现爆炸性增长，面对超高维度的数据集，不仅意味着巨大的内存需求，而且意味着高昂的计算成本投入。这些高维特征空间中，繁多的特征点之间存在着很强的相关性，造成大量冗余甚至噪声的引入，使得采用传统方法选取出的特征项泛化能力急剧恶化，高维数据空间的“空空间”现象，也使得多元密度估计问题变得十分困难。如何从纷繁复杂的表象信息中提取出事物的本质特征，即找出相互独立的、隐藏的潜在信息，完成高阶冗余的去除，提取出完整的、独立的主题相关基因数据，提高特征项的泛化能力就愈显重要。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种面向不均衡大数据集的无监督文本主题相关基因提取方法，有效避免对样本类别关系及特征结构的预定义，及克服采用过抽样或欠抽样方法对原始不均衡数据集的类别分布所带来的影响。

本发明采用以下技术方案：

面向不均衡大数据集的无监督文本主题相关基因提取方法，包括以下步骤：

S1、采用因子分析对无标签样本集中的高维样本进行降维，输出样本集的特征指标矩阵；

S2、对每个由公共因子表述的样本，解析局部密度以及到具有更高局部密度点的距离，绘制决策图，运用快速搜索和密度峰值发现算法对降维后的样本集进行探索性聚类，获得n个样本的C个聚类划分，输出样本集的聚类划分；