[发明专利]一种分布式数据搜索系统及方法有效
申请号: | 201910430191.8 | 申请日: | 2019-05-22 |
公开(公告)号: | CN110162522B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 石永辉;徐中韬;张阳;杨犀;余迁;柳庆 | 申请(专利权)人: | 武汉市公安局;武汉烽火众智数字技术有限责任公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/22 |
代理公司: | 北京汇泽知识产权代理有限公司 11228 | 代理人: | 秦曼妮 |
地址: | 430022 湖北*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 数据 搜索 系统 方法 | ||
1.一种分布式数据搜索系统,其特征在于,所述系统包括数据采集模块、索引管理模块和搜索模块,其中,
所述数据采集模块,用于采集各类数据;对所采集的各类数据进行清洗,将清洗后的数据存储至数据库;所述数据采集模块将清洗后的数据储存至数据库,具体为:
将清洗后的数据封装成消息体,将所述消息体写入消息队列中;判断所述数据库中是否包含所述消息体的标识信息;
若已包含,则用所述消息体更新所述数据库中具有该标识信息的消息体;并向所述索引管理模块的消息队列写入修改消息;
若不包含,则将所述消息体的标识信息和所述消息体对应存储至数据库,并向所述索引管理模块的消息队列写入新增消息;
所述索引管理模块,用于针对所述数据库构建索引库;所构建的索引库为多个不同等级的索引库,索引管理模块针对所述数据库构建索引库,具体为:
在获得数据库的修改消息后,基于所获得的修改消息修改最低级别的索引库中的索引;在获得数据库的新增消息后,基于所获得的新增消息在最低级别的索引库中新增索引;
针对每一等级的索引库,按照该等级的预设时间间隔,发送该等级的索引库中的索引至高一等级的索引库,在发送至高一等级的索引库后,清除该等级的索引库中的索引;在高一等级的索引库中将其自身索引与该等级的索引库的索引合并;
所述搜索模块,用于获得搜索请求,对所获得的搜索请求进行解析,得到语义;根据语义查找索引库,得到目标索引;用目标索引搜索查找所述数据库,得到搜索结果。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括评分排序模块,
所述排序模块,用于计算所述语义与所述搜索结果之间的相关度,并按照相关度大小,对所述搜索结果进行排序。
3.根据权利要求1所述的系统,其特征在于,所述索引管理模块基于所获得的修改消息修改最低级别的索引库中的索引,具体为:将所获得的修改消息封装成修改请求;用所述修改请求调用索引引擎的接口,以使索引引擎按照所述修改请求修改最低级别的索引库中的索引;
所述索引管理模块基于所获得的新增消息在最低级别的索引库中新增索引,具体为:将所获得的新增消息封装成新增请求;用所述新增请求调用索引引擎的接口,以使索引引擎按照所述新增请求新增最低级别的索引库中的索引。
4.根据权利要求1所述的系统,其特征在于,数据采集模块、索引管理模块和搜索模块均以集群的方式构建。
5.根据权利要求1所述的系统,其特征在于,所述搜索模块对所接收的搜索请求进行解析,得到语义,具体为:
判断所述搜索请求是否包含操作符;
若包含操作符,则提取所述搜索请求中的关键词和操作符;将所提取的关键词和操作符分别写入关键词队列和操作符队列;依次从操作符队列、关键词队列中分别读取操作符和关键词,按照操作符和关键词的读取顺序构建语义;
若不包含操作符,则直接提取所述搜索请求中的关键词作为语义。
6.根据权利要求1所述的系统,其特征在于,所述搜索模块根据语义查找索引库,得到目标索引,具体为:
若语义包含操作符,则基于操作符的预设逻辑对语义中的关键词确定查询条件;将索引库中满足所述查询条件的索引作为目标索引;
若语义不包含操作符,则将索引库中包含语义中关键词的索引作为目标索引。
7.根据权利要求1所述的系统,其特征在于,所述系统还包括缓存模块,所述搜索模块还用于:
检测到用户输入的字符后,用拼音识别算法识别用所检测到的字符,得到识别结果;用识别结果查找所述缓存模块,得到包含识别结果的关键词,作为提示词;显示提示词。
8.一种分布式数据搜索方法,其特征在于,应用于权利要求1所述的分布式数据搜索系统,所述方法包括:
采集各类数据;对所采集的各类数据进行清洗,将清洗后的数据存储至数据库;
针对所述数据库构建索引库;
获得搜索请求,对所获得的搜索请求进行解析,得到语义;根据语义查找索引库,得到目标索引;用目标索引搜索查找所述数据库,得到搜索结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉市公安局;武汉烽火众智数字技术有限责任公司,未经武汉市公安局;武汉烽火众智数字技术有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910430191.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种支付系统交易数据处理方法及系统
- 下一篇:数据存储方法、系统、装置及设备
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置