[发明专利]一种基于抽样的分布式搜索结果合并翻页方法及系统

摘要

本发明公开了一种基于抽样的分布式搜索结果合并翻页方法及系统，旨在显著降低分布式搜索结果合并翻页过程中，存在的网络带宽和计算消耗较大的问题，同时本发明亦可改良后应用于其它分布式查询系统的结果合并翻页中。其技术方案为：对索引数据切片，形成索引文件切片，然后分到各个切片搜索服务器(shard-search server)上，完成了索引文件的初始化工作；搜索结果合并节点(gather)接收外部系统的合并翻页请求，进入基于抽样的分布式搜索结果合并翻页具体步骤。

主权项

一种基于抽样的分布式搜索结果排序翻页方法，其特征在于，包括：对索引数据切片，形成索引文件切片，然后分到各个切片搜索服务器(shard‑search server)上，完成了索引文件的初始化工作；搜索结果合并节点(gather)接收外部系统的合并翻页请求，进入步骤1；步骤1：搜索结果合并节点(gather)分别向各个切片搜索服务器发送查询及针对搜索结果的抽样请求，并等待响应结果；步骤2：切片搜索服务器(shard‑search server)依照查询条件检索，并对命中结果排序，最后从排序结果中获取能够涵盖当前翻页的前若干条记录，针对这些记录，切片搜索服务器以固定步长做整数倍抽样，并将抽样记录返回；步骤3：搜索结果合并节点(gather)在获取到各个切片搜索服务器(shard‑search server)的抽样结果后，将它们按照排序域值做统一排序；步骤4：基于步骤3的排序结果，搜索结果合并节点(gather)进一步计算出所需目标翻页的记录在各个切片上的大致开始位置(startpoint)，同时将肯定不属于目标翻页的记录排除在外；步骤5：基于步骤4的结果，搜索结果合并节点(gather)向各个切片发起召回记录的请求，这些请求只召回从目标翻页记录在各个切片上大致开始位置(startpoint)向下的少量记录；步骤6：各个切片搜索服务器(shard‑search server)接收到记录召回请求，查找后返回目标记录；步骤7：搜索结果合并节点(gather)在获取到各个切片搜索服务器(shard‑search server)的召回结果后，将其再次按照排序域值排序，再结合各个切片对应的目标翻页记录在各个切片上大致开始位置(startpoint)从排序结果中截取出目标翻页记录，至此整个过程完毕。