[发明专利]基于主成分聚类的文本信息挖掘方法及装置有效
申请号: | 201410857134.5 | 申请日: | 2014-12-30 |
公开(公告)号: | CN104462607B | 公开(公告)日: | 2018-01-23 |
发明(设计)人: | 余宇新 | 申请(专利权)人: | 余宇新 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 200433 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 成分 文本 信息 挖掘 方法 装置 | ||
1.一种基于主成分聚类的文本信息挖掘方法,包括以下步骤:
由语句集中提取词语,并统计所述词语的词频;
提取词频最大的n个词语,并统计所述n个词语中每个词语在语句集的每个语句中与其余词语的共现次数;
在所述n个词语中提取链接总数最多的q个词语,生成观测数据矩阵,其中所述链接总数为每个词语与其余词语的共现次数的总数,所述观测数据矩阵的矩阵元素为所述q个词语对应的共现次数,其中q≤n;
对观测数据矩阵进行主成分聚类分析,获得聚类结果;
将所述聚类结果与对应的词语以及词频匹配,获得文本信息挖掘的结果;
其特征在于,在将所述聚类结果与对应的词语以及词频匹配之后,还包括:
若所述聚类结果的主成分仅有一个,则在所述词频最大的n个词语中选取至少一个词语,将选取的所述词语在共现次数统计中去除,重新提取链接总数最多的q个词语,生成观测数据矩阵。
2.根据权利要求1所述的基于主成分聚类的文本信息挖掘方法,其特征在于,提取词频最大的n个词语,并统计所述n个词语中每个词语在语句集的每个语句中与其余词语的共现次数,包括:
根据词频对所述词语进行排序,选取词频最大的n个词语;
统计所述n个词语中每个词语在语句集的每个语句中与其余词语的共现次数,构建n个词语的共现矩阵D,
其中,dij=0(i=j),dij表示词语i和词语j的共现次数。
3.根据权利要求1所述的基于主成分聚类的文本信息挖掘方法,其特征在于,在所述n个词语中提取链接总数最多的q个词语,生成观测数据矩阵,包括:
获取每个词语的链接总数;
根据所述链接总数确定第一阈值;
提取链接总数高于所述第一阈值的q个词语,生成观测数据矩阵。
4.根据权利要求1所述的基于主成分聚类的文本信息挖掘方法,其特征在于,在将所述聚类结果与对应的词语以及词频匹配之后,还包括:
获取主成分的各个构成变量的相关系数;
选取相关系数高于第二阈值的所述主成分的构成变量,得到最终的文本信息挖掘的结果。
5.一种基于主成分聚类的文本信息挖掘装置,包括:样本提取模块,用于由语句集中提取词语,并统计所述词语的词频;
共现统计模块,用于提取词频最大的n个词语,并统计所述n个词语中每个词语在语句集的每个语句中与其余词语的共现次数;
数据处理模块,用于在所述n个词语中提取链接总数最多的q个词语,生成观测数据矩阵,其中所述链接总数为每个词语与其余词语的共现次数的总数,所述观测数据矩阵的矩阵元素为所述q个词语对应的共现次数,其中q≤n;
聚类分析模块,用于对观测数据矩阵进行主成分聚类分析,获得聚类结果;
匹配处理模块,将所述聚类结果与对应的词语以及词频匹配,获得文本信息挖掘的结果;
其特征在于,所述匹配处理模块,还用于在将所述聚类结果与对应的词语以及词频匹配之后,确定所述聚类结果的主成分仅有一个;
所述共现统计模块,还用于在所述聚类结果的主成分仅有一个时,在所述词频最大的n个词语中选取至少一个词语,将选取的所述词语在共现次数统计中去除;
数据处理模块,还用于重新提取链接总数最多的q个词语,生成观测数据矩阵。
6.根据权利要求5所述的基于主成分聚类的文本信息挖掘装置,其特征在于,所述共现统计模块,具体用于:
根据词频对所述词语进行排序,选取词频最大的n个词语;
统计所述n个词语中每个词语在语句集的每个语句中与其余词语的共现次数,构建n个词语的共现矩阵D,
其中,dij=0(i=j),dij表示词语i和词语j的共现次数。
7.根据权利要求5所述的基于主成分聚类的文本信息挖掘装置,其特征在于,所述数据处理模块,具体用于:
获取每个词语的链接总数;
根据所述链接总数确定第一阈值;
提取链接总数高于所述第一阈值的q个词语,生成观测数据矩阵。
8.根据权利要求5所述的基于主成分聚类的文本信息挖掘装置,其特征在于,所述匹配处理模块,还用于:
在将所述聚类结果与对应的词语以及词频匹配之后,获取主成分的各个构成变量的相关系数;
选取相关系数高于第二阈值的所述主成分的构成变量,得到最终的文本信息挖掘的结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于余宇新,未经余宇新许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410857134.5/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置