[发明专利]基于HBase大数据的实时全文检索系统及其实现方法

摘要

本发明提供一种基于HBase大数据的实时全文检索系统及其实现方法，系统包括：HBase集群复制模块，与HBase集群同时启动并实时监测是否有slave cluster的RegionServer注册进来，若有则在HBase集群有数据变动时将该数据变动实时同步到已注册进来的RegionServer；索引服务器模块，实现RegionServer的接口以模拟一个slave cluster的RegionServer，包括：调用HBase的ReplicationAdmin接口往HBase集群复制模块注册，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群传输过来的数据，并在接受HBase集群的数据后，对该数据按照搜索引擎的格式进行转换并传输给搜索引擎模块；搜索引擎模块，根据转换后的数据建立全文索引，以实现用户对HBase数据的实时全文检索。能基于Hbase作为数据存储实现高效率、低延时的实时全文检索。

主权项

一种基于HBase大数据的实时全文检索系统，其特征在于，包括：HBase集群复制模块，索引服务器模块和搜索引擎模块；所述HBase集群复制模块，用于与HBase集群同时启动，并实时监测是否有从集群slave cluster的区域服务器RegionServer注册进来，若有，则在HBase集群有数据变动时将所述数据变动实时同步到已注册进来的slave cluster的RegionServer；所述索引服务器模块，用于实现RegionServer的接口以模拟一个slave cluster的RegionServer，包括：调用HBase的ReplicationAdmin接口往所述HBase集群复制模块注册，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群传输过来的数据；并在接受HBase集群的数据后，对所述数据按照搜索引擎的格式进行转换，并将转换后的数据传输给所述搜索引擎模块；所述搜索引擎模块，用于根据所述转换后的数据建立全文索引，以实现用户对HBase数据的实时全文检索。