[发明专利]一种搜索引擎的扩容方法、装置、电子设备及存储介质在审
申请号: | 202010911635.2 | 申请日: | 2020-09-02 |
公开(公告)号: | CN112182328A | 公开(公告)日: | 2021-01-05 |
发明(设计)人: | 李达;林乐彬;王学武 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/9532;G06F16/958;H04L12/741 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
地址: | 100083 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 搜索引擎 扩容 方法 装置 电子设备 存储 介质 | ||
1.一种搜索引擎的扩容方法,其特征在于,所述方法包括:
确定索引数据分片的扩容数量;
根据所述索引数据分片的扩容数量,对预先创建的第一路由表进行扩容,得到扩容后的第一路由表,所述第一路由表存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系;
根据所述扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系,确定扩容后的各个索引数据分片的分片标识对应的节点标识;
对于每一扩容后的索引数据分片,将该扩容后的索引数据分片存储到目标索引节点中,所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。
2.根据权利要求1所述的方法,其特征在于,所述基于索引数据分片的扩容数量,对所述第一路由表进行扩容,得到扩容后的第一路由表,包括:
确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数;
将所述第一路由表扩容所述倍数,得到扩容后的第一路由表。
3.根据权利要求1所述的方法,其特征在于,每个索引数据分片包括多个索引数据块;
所述对于每一扩容后的索引数据分片,将该扩容后的索引数据分片存储到目标索引节点中,包括:
对于每一扩容后的索引数据分片,启动节点标识为该扩容后的索引数据分片对应的目标索引节点,所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识;
对于每一扩容后的索引数据分片,将该扩容后的索引数据分片包括的目标索引数据块存储到所述目标索引节点;
删除扩容前索引节点中存储的所述目标索引数据块。
4.根据权利要求3所述的方法,其特征在于,在所述删除扩容前索引节点中存储的所述目标索引数据块之后,所述方法还包括:
更新预先创建的第二路由表,其中,所述第二路由表用于存储索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系;
创建第三路由表,其中,所述第三路由表用于存储索引数据块的数据块标识与索引节点的节点标识之间对应关系。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
接收终端发送的目标搜索请求,并确定所述目标搜索请求携带的目标搜索词对应的目标索引数据标识;
根据预先确定的索引数据标识与索引数据块的数据块标识之间的对应关系,确定所述目标索引数据标识对应的目标数据块标识;
根据所述更新后的第二路由表中存储的数据块标识与数据分片标识之间的对应关系,确定所述目标数据块标识对应的目标数据分片标识;
根据分片标识与节点标识之间的对应关系,确定所述目标数据分片标识对应的目标节点标识;
向具有所述目标节点标识的索引节点发送所述目标搜索请求,并接收具有所述目标节点标识的索引节点反馈的与所述目标搜索词匹配的索引数据,并向所述终端发送所述索引数据。
6.一种搜索引擎的扩容装置,其特征在于,所述装置包括:
扩容数据确定模块,用于确定索引数据分片的扩容数量;
路由表扩容模块,用于根据所述索引数据分片的扩容数量,对预先创建的第一路由表进行扩容,得到扩容后的第一路由表,所述第一路由表存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系;
节点标识确定模块,用于根据所述扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系,确定扩容后的各个索引数据分片的分片标识对应的节点标识;
索引数据分片存储模块,用于对于每一扩容后的索引数据分片,将该扩容后的索引数据分片存储到目标索引节点中,所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。
7.根据权利要求6所述的装置,其特征在于,所述路由表扩容模块,具体用于:
确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数;
将所述第一路由表扩容所述倍数,得到扩容后的第一路由表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010911635.2/1.html,转载请声明来源钻瓜专利网。