[发明专利]基于倒序索引的微博去重方法和系统在审
| 申请号： | 201310681714.9 | 申请日： | 2013-12-12 |
| 公开（公告）号： | CN103646080A | 公开（公告）日： | 2014-03-19 |
| 发明（设计）人： | 王鑫文 | 申请（专利权）人： | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 中原信达知识产权代理有限责任公司 11219 | 代理人： | 陈依虹;刘光明 |
| 地址： | 100080 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于倒序索引的微博去重方法和系统。所述方法包括：由模型训练模块根据词库数据对文本进行分词；由simhash模块根据分词后的结果对文本进行词频统计以将其转换为N维向量，并且对所述N维向量进行simhash运算以便获得f位的二进制签名；由去重运算模块执行以下操作：根据设定参数将所述f位的二进制签名分段，并依据分段结果建立倒序索引；根据所建立的倒序索引来分段检索第一分段下的签名集合，并计算所述第一分段中的对应的海明距离；以及确定在所述第一分段中的所计算的海明距离是否在所述设定参数范围内。 | ||
| 搜索关键词： | 基于 倒序 索引 微博去重 方法 系统 | ||
【主权项】：
一种基于倒序索引的微博去重的方法，所述方法包括：由模型训练模块根据词库数据对文本进行分词；由simhash模块根据分词后的结果对文本进行词频统计以将其转换为N维向量，并且对所述N维向量进行simhash运算以便获得f位的二进制签名；由去重运算模块执行以下操作：根据设定参数将所述f位的二进制签名分段，并依据分段结果建立倒序索引；根据所建立的倒序索引来分段检索第一分段下的签名集合，并计算所述第一分段中的对应的海明距离；以及确定在所述第一分段中的所计算的海明距离是否在所述设定参数范围内。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司，未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310681714.9/，转载请声明来源钻瓜专利网。
