[发明专利]重复文本的检测方法及装置在审
| 申请号： | 201611108388.2 | 申请日： | 2016-12-06 |
| 公开（公告）号： | CN106649221A | 公开（公告）日： | 2017-05-10 |
| 发明（设计）人： | 刘鹏;赵杰;韦强申;李强 | 申请（专利权）人： | 北京锐安科技有限公司 |
| 主分类号： | G06F17/22 | 分类号： | G06F17/22;G06F17/27 |
| 代理公司： | 北京品源专利代理有限公司11332 | 代理人： | 胡彬,邓猛烈 |
| 地址： | 100044 北京市海淀区西小口*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 重复 文本 检测 方法 装置 | ||
1.一种重复文本的检测方法，其特征在于，包括：
获取待检测文本；
将所述待检测文本区分为短文本及长文本；
对所述短文本采用基于文本关联的重复检测；
对所述长文本采用基于局部敏感哈希算法的重复检测。
2.根据权利要求1所述的方法，其特征在于，将所述待检测文本区分为短文本及长文本包括：
基于规则或者分类器，将所述待检测文本区分为短文本及长文本。
3.根据权利要求1所述的方法，其特征在于，对所述短文本采用基于文本关联的重复检测包括：
对所述短文本进行短文本关联；
对关联后的文本进行基于哈希算法的重复检测，其中，关联后的文本为长文本。
4.根据权利要求1所述的方法，其特征在于，对所述长文本采用基于局部敏感哈希算法的重复检测包括：
采用局部敏感哈希算法生成所述长文本的文件指纹，并基于所述文件指纹进行重复检测。
5.根据权利要求4所述的方法，其特征在于，所述局部敏感哈希算法包括但不限于：MinHash算法，或者SimHash算法。
6.一种重复文本的检测装置，其特征在于，包括：
文本获取模块，用于获取待检测文本；
文本区分模块，用于将所述待检测文本区分为短文本及长文本；
短文本检测模块，用于对所述短文本采用基于文本关联的重复检测；
长文本检测模块，用于对所述长文本采用基于局部敏感哈希算法的重复检测。
7.根据权利要求6所述的装置，其特征在于，所述文本区分模块具体用于：
基于规则或者分类器，将所述待检测文本区分为短文本及长文本。
8.根据权利要求6所述的装置，其特征在于，所述短文本检测模块包括：
文本关联单元，用于对所述短文本进行短文本关联；
检测单元，用于对关联后的文本进行基于哈希算法的重复检测，其中，关联后的文本为长文本。
9.根据权利要求6所述的装置，其特征在于，所述长文本检测模块具体用于：
采用局部敏感哈希算法生成所述长文本的文件指纹，并基于所述文件指纹进行重复检测。
10.根据权利要求9所述的装置，其特征在于，所述局部敏感哈希算法包括但不限于：MinHash算法，或者SimHash算法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司，未经北京锐安科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201611108388.2/1.html，转载请声明来源钻瓜专利网。
