[发明专利]一种基于大范围扫描的词典优化方法在审
| 申请号： | 202011309180.3 | 申请日： | 2020-11-20 |
| 公开（公告）号： | CN112269855A | 公开（公告）日： | 2021-01-26 |
| 发明（设计）人： | 母延年 | 申请（专利权）人： | 南京好鱼科技有限公司 |
| 主分类号： | G06F16/31 | 分类号： | G06F16/31;G06F16/36 |
| 代理公司： | 南京中软知识产权代理事务所(特殊普通合伙) 32466 | 代理人： | 郑燕飞 |
| 地址： | 210000 江苏省南京市江宁区董*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及大数据处理技术领域的基于大范围扫描的词典优化方法，具体包括首先设定一个固定筛选阀值，将tim词典中对应的doc文件小于该阀值的词全部筛选出来，而大于该阀值的doclist进行保留；每间隔固定周期就将所有词的doclist进行小文件合并处理同时根据各个文件位置偏移量进行记录doclist所属的分区信息；将每个文件对应的分区偏移量信息记录在大文件的尾部，在每次获取所需文件时进行读取文件尾部位置信息来获得所有doclist的偏移量；合并大文件放入一个kv系统里面，kv系统进行快速读取，将随机目录的小文件进行合并后避免大量的随机磁盘数据输入或输出处理；本发明能够提供一种消耗计算资源少、处理速度快且对文件损耗低的基于大范围扫描的词典优化方法。 | ||
| 搜索关键词： | 一种 基于 范围 扫描 词典 优化 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京好鱼科技有限公司，未经南京好鱼科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011309180.3/，转载请声明来源钻瓜专利网。
