[发明专利]一种文本数据的采集方法及装置在审
| 申请号： | 201811531842.4 | 申请日： | 2018-12-14 |
| 公开（公告）号： | CN109710729A | 公开（公告）日： | 2019-05-03 |
| 发明（设计）人： | 贾太滨;李涛 | 申请（专利权）人： | 麒麟合盛网络技术股份有限公司 |
| 主分类号： | G06F16/33 | 分类号： | G06F16/33;G06F17/27 |
| 代理公司： | 北京国昊天诚知识产权代理有限公司 11315 | 代理人： | 姜凤岩;南霆 |
| 地址： | 100085 北京市海淀区信息路2号（北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例涉及一种文本数据的采集方法及装置。采集方法包括：基于第一目标文本中既定字符长度的文本片段经第一哈希算法计算得到的第一哈希值，对文本数据库进行查重；若查重未命中，则将第一目标文本保存至所述文本数据库中，并在文本数据库中配置第一目标文本的文本类型为第一类型；从文本数据库中文本类型为第一类型的文本中选取第二目标文本，并基于所述第二目标文本经第二哈希算法计算到的第二哈希值，对文本数据库进行查重；若查重未命中，则将文本数据库中所述第二目标文本的文本类型更改为第二类型，否则从本文数据库中删除所述第二目标文本对应的数据。本申请在文本数据采集过程中能够高效地基于不同的哈希算法对文本数据进行查重。 | ||
| 搜索关键词： | 目标文本 文本数据库 文本数据 哈希算法 采集 文本类型 未命中 哈希 文本片段 申请 删除 数据库 文本 保存 中文 配置 | ||
【主权项】：
1.一种文本数据的采集方法，其特征在于，包括：基于第一目标文本中既定字符长度的文本片段经第一哈希算法计算得到的第一哈希值，对文本数据库进行查重；若查重未命中，则将所述第一目标文本保存至所述文本数据库中，并在所述文本数据库中配置所述第一目标文本的文本类型为第一类型；从所述文本数据库中文本类型为第一类型的文本中选取第二目标文本，并基于所述第二目标文本经第二哈希算法计算到的第二哈希值，对所述文本数据库进行查重；若查重未命中，则将所述文本数据库中所述第二目标文本的文本类型更改为第二类型，否则从所述本文数据库中删除所述第二目标文本对应的数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于麒麟合盛网络技术股份有限公司，未经麒麟合盛网络技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811531842.4/，转载请声明来源钻瓜专利网。
