[发明专利]一种数字资源热点生成方法及装置有效
| 申请号: | 201510933594.6 | 申请日: | 2015-12-15 |
| 公开(公告)号: | CN105528432B | 公开(公告)日: | 2019-04-26 |
| 发明(设计)人: | 许茜;叶茂;任彩红;徐剑波;汤帜 | 申请(专利权)人: | 北大方正集团有限公司;北京方正阿帕比技术有限公司;北京大学 |
| 主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F17/27 |
| 代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 马永芬 |
| 地址: | 100871 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数字 资源 热点 生成 方法 装置 | ||
1.一种数字资源热点生成方法,其特征在于,包括如下步骤
从数字资源中提取标题和正文;
分别获取标题相似度矩阵和正文相似度矩阵;
对所述标题相似度矩阵进行聚类,根据标题相似度聚类结果获得标题候选热点集;
对所述正文相似度矩阵进行聚类,根据正文相似度聚类结果获得正文候选热点集;
根据所述标题候选热点集和所述正文候选热点集获取候选热点集。
2.根据权利要求1所述的方法,其特征在于,获取候选热点集后,还包括根据候选热点集中的每个集合内数字资源的数目以及数字资源的属性信息确定集合的排序,将排序在前的预设数量的集合作为热点。
3.根据权利要求1所述的方法,其特征在于,根据标题相似度聚类结果获得标题候选热点集的步骤包括:
获取标题相似度聚类结果中每个集合中的数字资源的数量;
若所述数量小于第一阈值,则删除该集合;
若所述数量位于第一阈值和第二阈值之间,则将该集合加入所述标题候选热点集中;
若所述数量大于第二阈值,则进行二次聚类,得到二次聚类结果,获取二次聚类结果中每个集合中的数字资源的数量,若该数量小于所述第一阈值,删除该集合,若该数量位于第一阈值和第二阈值之间,则将该集合加入所述标题候选热点集,若该数量大于所述第二阈值,则删除该集合。
4.根据权利要求1所述的方法,其特征在于,根据正文相似度聚类结果获得正文候选热点集的步骤包括:
获取正文相似度聚类结果中每个集合中的数字资源的数量;
若所述数量小于第一阈值,则删除该集合;
若所述数量位于第一阈值和第二阈值之间,则将该集合加入所述正文候选热点集中;
若所述数量大于第二阈值,则进行二次聚类,得到二次聚类结果,获取二次聚类结果中每个集合中的数字资源的数量,若该数量小于所述第一阈值,删除该集合,若该数量位于第一阈值和第二阈值之间,则将该集合加入所述正文候选热点集,若该数量大于所述第二阈值,则删除该集合。
5.根据权利要求1所述的方法,其特征在于,根据所述标题候选热点集和所述正文候选热点集获取候选热点集的步骤包括:
获取所述标题候选热点集和所述正文候选热点集中存在共有数字资源的集合;
将正文候选热点集中存在共有数字资源的集合加入所述候选热点集,去掉所述标题候选热点集中存在共有数字资源的集合;
对所述标题候选热点集和所述正文候选热点集中不存在共有数字资源的集合,获取每个集合中的正文的关键词向量,计算每两个集合之间的相似度,若大于预设相似度阈值,则将该两个集合合并,将合并后的集合加入候选热点集;若不大于相似度阈值,则将该两个集合分别加入所述候选热点集。
6.根据权利要求1所述的方法,其特征在于,获取候选热点集后,还包括对所述候选热点集进行去噪的步骤,包括:
针对候选热点集中的每个集合,计算集合内每条数字资源与中心数字资源的相似度,若该相似度小于预设阈值,则删除该数字资源。
7.根据权利要求1所述的方法,其特征在于,还包括:获取标题相似度矩阵的步骤,包括:
对每篇数字资源的标题进行分词,得到词语集合并计算相应词语权重;
根据所述词语集合及权重计算任意两个标题之间的相似度;
根据所述相似度建立标题相似度矩阵。
8.根据权利要求1-7任一所述的方法,其特征在于,还包括:获取正文相似度矩阵的步骤,包括:
对每篇数字资源的正文进行分词,分词后进行停用词及词性过滤,得到词语集合并计算相应词语权重;
在所述词语集合中获取所述词语权重较高的预设数量的特征词语;
根据所述特征词语计算任意两篇正文之间的相似度;
根据所述相似度建立正文相似度矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北大方正集团有限公司;北京方正阿帕比技术有限公司;北京大学,未经北大方正集团有限公司;北京方正阿帕比技术有限公司;北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510933594.6/1.html,转载请声明来源钻瓜专利网。





