[发明专利]面向不均衡大数据集的无监督文本主题相关基因提取方法在审
申请号: | 202010255801.8 | 申请日: | 2020-04-02 |
公开(公告)号: | CN111460161A | 公开(公告)日: | 2020-07-28 |
发明(设计)人: | 孙晶涛;李敬明;陈彦萍;张秋余;王忠民;孙韩林;温福喜;何继光 | 申请(专利权)人: | 西安邮电大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62 |
代理公司: | 西安通大专利代理有限责任公司 61200 | 代理人: | 高博 |
地址: | 710121 陕西*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 均衡 数据 监督 文本 主题 相关 基因 提取 方法 | ||
1.面向不均衡大数据集的无监督文本主题相关基因提取方法,其特征在于,包括以下步骤:
S1、采用因子分析对无标签样本集中的高维样本进行降维,输出样本集的特征指标矩阵;
S2、对每个由公共因子表述的样本,解析局部密度以及到具有更高局部密度点的距离,绘制决策图,运用快速搜索和密度峰值发现算法对降维后的样本集进行探索性聚类,获得n个样本的C个聚类划分,输出样本集的聚类划分;
S3、利用信息熵和平均局部密度改进χ2统计量,构建基于加权χ2统计量的样本特征分布矩阵,对样本集χ2统计量中的特征与样本类别进行加权,通过加权后的χ2统计量构建新的统计矩阵表示特征在不同类别和相同类别中的加权概率分布,进行特征选择得到特征子集T=t1,t2,…tp;
S4、利用基于负熵的快速固定点算法分析多维特征子集T=t1,t2,…tp中数据间的高阶统计相关性,提取独立特征基因,完成分量间高阶冗余的去除。
2.根据权利要求1所述的面向不均衡大数据集的无监督文本主题相关基因提取方法,其特征在于,步骤S1具体为:
S101、设样本集合X包含n个样本x1,x2,…,xn,每个样本xi由m个特性指标构成,记为X=(xij)n×m=(X1,X2,…,Xm),对样本间的相关度进行KMO检验,当KMO统计量大于0.5时跳转到步骤S102,否则跳转到步骤S106;
S102、计算样本集X1,X2,…,Xm协方差矩阵Σ=(hij)m×m的特征根及特征向量,并根据特征根之和占全部特征根之和的百分比,确定公共因子的个数;
S103、计算因子载荷矩阵,当每个因子在不同特征指标上的载荷没有明显差异时,跳转到步骤S104,否则跳转到步骤S105;
S104、采用正交旋转法对因子载荷矩阵进行旋转;
S105、评价因子载荷矩阵中的特征指标在对应公共因子中的载荷,保留最大载荷值;
S106、输出样本集X的特征指标矩阵。
3.根据权利要求2所述的面向不均衡大数据集的无监督文本主题相关基因提取方法,其特征在于,步骤S106中,每个样本xi由u个特性指标因子构成的有限样本集合XΔ,n个样本的特性指标矩阵X*具体为:
其中,xij*表示第i个样本的第j个特性指标因子,i=1,2,…,n;j=1,2,…,u,。
4.根据权利要求1所述的面向不均衡大数据集的无监督文本主题相关基因提取方法,其特征在于,步骤S2具体为:
S201、利用调整的余弦相似度,计算样本间的相似度来定义变量dij,计算任意两个数据点之间的距离Sim(i,j);
S202、选取合适的截断距离,以此计算X*中任意数据点的局部密度和该点到具有更高局部密度点的距离
S203、依据全部样本点的局部密度及其到具有更高局部密度点的距离值,以为横轴,以为纵轴,绘制决策图;
S204、利用决策图,标记样本集和的簇中心点及噪声点;
S205、将剩余点进行分配,以获得n个样本的C个聚类划分,输出样本集的聚类划分,以此作为下一步分析的基础。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安邮电大学,未经西安邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010255801.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置