[发明专利]基于对等结构的分布式高维索引并行查询框架

权利要求书

1.一种基于对等结构的分布式高维索引并行查询框架，其特征在于，包括：索引创建模块、监视器模块、对等站点集群以及负载软均衡模块，其中，

所述索引创建模块用于对候选对象进行分割并为每个分割部分创建索引以得到多个索引块文件，并对所述索引块文件进行存储，其中，所述索引块文件包括索引块信息，

所述监视器模块用于检测所述对等站点集群中的工作站点的可用内存信息以及每个工作站点对应的索引块信息以根据检测结果对每个工作站点所加载的索引块进行协调以及向每个工作站点发送对等站点列表更新指令，

所述对等站点集群中的工作站点根据自身的索引块信息对相应的索引块文件进行加载或卸载，且根据用户发送的查询请求在相应的索引块文件中进行查询并将查询结果进行整合和输出，

所述负载软均衡模块用于获取所述监视器模块中的当前工作站点列表以根据所述工作站点列表对当前工作站点进行负载均衡控制，且所述负载软均衡模块将定时由所述监视器模块进行同步以便所述负载软均衡模块对当前可用的工作站点列表进行调整和更新。

2.根据权利要求1所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，所述索引创建模块进一步包括：

索引创建子模块，所述索引创建子模块采用Map Reduce框架对多个数据分割部分并行创建索引以得到所述多个索引块文件；

分布式存储系统，所述分布式存储系统用于保存所述多个索引块文件。

3.根据权利要求1所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，

所述监视器模块还用于在检测到索引块文件更新后对非工作站点集群发送索引加载指令以使所述非工作站点集群进入工作状态，所述索引块文件加载完毕后所述监视器模块将进行集群切换，并使用已加载最新索引的工作站点集群，将原有工作站点集群置于非工作状态。

4.根据权利要求1所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，所述监视器模块根据所述检测结果判断当前的工作站点中是否存在失效站点，并在检测到存在失效站点时向当前可用的工作站点发送对等站点列表更新指令。

5.根据权利要求1所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，当有非工作站点加入所述工作站点集群时将向所述监视器模块进行注册，以便所述监视器模块对所述工作站点列表进行更新，并将所述更新后的工作站点列表发送给所述负载软均衡模块，同时将更新后的对等站点列表发送到所有所述工作站点。

6.根据权利要求1所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，当所述对等站点集群中的每个工作站点接收到查询请求时，将创建主进程并根据自身的索引块信息创建多个相应的子进程，以使每个子进程从对应的已加载索引块中进行查询，并将查询结果发送给主进程并通过主进程进行整合发送。

7.根据权利要求6所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，所述主进程还用于响应其它工作站点分发的查询请求。

8.根据权利要求6所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，所述子进程对主进程进行监测，以便在所述主进程意外退出时自动关闭。

9.根据权利要求1所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，所述负载软均衡模块包括多个负载软均衡站点，且所述负载软均衡模块维护所述当前可用的工作站点列表。

10.根据权利要求1-9任一项所述的基于对等结构的分布式高维索引并行查询框架，其特征在于，所述索引块文件采用Hybird Spill Tree数据结构。