[发明专利]一种分布式数据搜索系统及方法有效

专利信息
申请号: 201910430191.8 申请日: 2019-05-22
公开(公告)号: CN110162522B 公开(公告)日: 2023-04-07
发明(设计)人: 石永辉;徐中韬;张阳;杨犀;余迁;柳庆 申请(专利权)人: 武汉市公安局;武汉烽火众智数字技术有限责任公司
主分类号: G06F16/215 分类号: G06F16/215;G06F16/22
代理公司: 北京汇泽知识产权代理有限公司 11228 代理人: 秦曼妮
地址: 430022 湖北*** 国省代码: 湖北;42
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 分布式 数据 搜索 系统 方法
【权利要求书】:

1.一种分布式数据搜索系统,其特征在于,所述系统包括数据采集模块、索引管理模块和搜索模块,其中,

所述数据采集模块,用于采集各类数据;对所采集的各类数据进行清洗,将清洗后的数据存储至数据库;所述数据采集模块将清洗后的数据储存至数据库,具体为:

将清洗后的数据封装成消息体,将所述消息体写入消息队列中;判断所述数据库中是否包含所述消息体的标识信息;

若已包含,则用所述消息体更新所述数据库中具有该标识信息的消息体;并向所述索引管理模块的消息队列写入修改消息;

若不包含,则将所述消息体的标识信息和所述消息体对应存储至数据库,并向所述索引管理模块的消息队列写入新增消息;

所述索引管理模块,用于针对所述数据库构建索引库;所构建的索引库为多个不同等级的索引库,索引管理模块针对所述数据库构建索引库,具体为:

在获得数据库的修改消息后,基于所获得的修改消息修改最低级别的索引库中的索引;在获得数据库的新增消息后,基于所获得的新增消息在最低级别的索引库中新增索引;

针对每一等级的索引库,按照该等级的预设时间间隔,发送该等级的索引库中的索引至高一等级的索引库,在发送至高一等级的索引库后,清除该等级的索引库中的索引;在高一等级的索引库中将其自身索引与该等级的索引库的索引合并;

所述搜索模块,用于获得搜索请求,对所获得的搜索请求进行解析,得到语义;根据语义查找索引库,得到目标索引;用目标索引搜索查找所述数据库,得到搜索结果。

2.根据权利要求1所述的系统,其特征在于,所述系统还包括评分排序模块,

所述排序模块,用于计算所述语义与所述搜索结果之间的相关度,并按照相关度大小,对所述搜索结果进行排序。

3.根据权利要求1所述的系统,其特征在于,所述索引管理模块基于所获得的修改消息修改最低级别的索引库中的索引,具体为:将所获得的修改消息封装成修改请求;用所述修改请求调用索引引擎的接口,以使索引引擎按照所述修改请求修改最低级别的索引库中的索引;

所述索引管理模块基于所获得的新增消息在最低级别的索引库中新增索引,具体为:将所获得的新增消息封装成新增请求;用所述新增请求调用索引引擎的接口,以使索引引擎按照所述新增请求新增最低级别的索引库中的索引。

4.根据权利要求1所述的系统,其特征在于,数据采集模块、索引管理模块和搜索模块均以集群的方式构建。

5.根据权利要求1所述的系统,其特征在于,所述搜索模块对所接收的搜索请求进行解析,得到语义,具体为:

判断所述搜索请求是否包含操作符;

若包含操作符,则提取所述搜索请求中的关键词和操作符;将所提取的关键词和操作符分别写入关键词队列和操作符队列;依次从操作符队列、关键词队列中分别读取操作符和关键词,按照操作符和关键词的读取顺序构建语义;

若不包含操作符,则直接提取所述搜索请求中的关键词作为语义。

6.根据权利要求1所述的系统,其特征在于,所述搜索模块根据语义查找索引库,得到目标索引,具体为:

若语义包含操作符,则基于操作符的预设逻辑对语义中的关键词确定查询条件;将索引库中满足所述查询条件的索引作为目标索引;

若语义不包含操作符,则将索引库中包含语义中关键词的索引作为目标索引。

7.根据权利要求1所述的系统,其特征在于,所述系统还包括缓存模块,所述搜索模块还用于:

检测到用户输入的字符后,用拼音识别算法识别用所检测到的字符,得到识别结果;用识别结果查找所述缓存模块,得到包含识别结果的关键词,作为提示词;显示提示词。

8.一种分布式数据搜索方法,其特征在于,应用于权利要求1所述的分布式数据搜索系统,所述方法包括:

采集各类数据;对所采集的各类数据进行清洗,将清洗后的数据存储至数据库;

针对所述数据库构建索引库;

获得搜索请求,对所获得的搜索请求进行解析,得到语义;根据语义查找索引库,得到目标索引;用目标索引搜索查找所述数据库,得到搜索结果。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉市公安局;武汉烽火众智数字技术有限责任公司,未经武汉市公安局;武汉烽火众智数字技术有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910430191.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top