[发明专利]基于HBase大数据的实时全文检索系统及其实现方法

说明书

本发明提供一种基于HBase大数据的实时全文检索系统及其实现方法，系统包括：HBase集群复制模块，与HBase集群同时启动并实时监测是否有slave cluster的RegionServer注册进来，若有则在HBase集群有数据变动时将该数据变动实时同步到已注册进来的RegionServer；索引服务器模块，实现RegionServer的接口以模拟一个slave cluster的RegionServer，包括：调用HBase的ReplicationAdmin接口往HBase集群复制模块注册，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群传输过来的数据，并在接受HBase集群的数据后，对该数据按照搜索引擎的格式进行转换并传输给搜索引擎模块；搜索引擎模块，根据转换后的数据建立全文索引，以实现用户对HBase数据的实时全文检索。能基于Hbase作为数据存储实现高效率、低延时的实时全文检索。

技术领域

本发明涉及计算机处理技术领域，尤其涉及一种基于HBase大数据的实时全文检索系统及其实现方法。

背景技术

HBase作为一种NoSQL数据库被越来越多的运用于线上生产环境中存储海量数据。HBase是一种键值(key-value)存储、面向列族的数据库，它能根据需要查询的键值key快速的定位到相应的行。但是很多场景中，用户往往只知道所需查询的value值，而不知道value所对应的key。甚至用户只知道value值中的某一部分，想像搜索引擎一样，能全文检索只包含部分值的所有行数，这个时候HBase往往对这种需求只能去扫描整张表，取出所有行的值，然后看看这个值是否有用户所需要查询的内容，这种办法效率低下，而且随着HBase存储数量越来越大的情况下，延时非常严重，根本不能满足用户的需求。

鉴于此，如何基于Hbase作为数据存储实现高效率、低延时的实时全文检索成为目前需要解决的技术问题。

发明内容

为解决上述的技术问题，本发明提供一种基于HBase大数据的实时全文检索系统及其实现方法，能够基于Hbase作为数据存储实现高效率、低延时的实时全文检索。

第一方面，本发明提供一种基于HBase大数据的实时全文检索系统，包括：HBase集群复制模块，索引服务器模块和搜索引擎模块；

所述HBase集群复制模块，用于与HBase集群同时启动，并实时监测是否有从集群slave cluster的区域服务器RegionServer注册进来，若有，则在HBase集群有数据变动时将所述数据变动实时同步到已注册进来的slave cluster的RegionServer；

所述索引服务器模块，用于实现RegionServer的接口以模拟一个slave cluster的RegionServer，包括：调用HBase的ReplicationAdmin接口往所述HBase集群复制模块注册，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群传输过来的数据；并在接受HBase集群的数据后，对所述数据按照搜索引擎的格式进行转换，并将转换后的数据传输给所述搜索引擎模块；

所述搜索引擎模块，用于根据所述转换后的数据建立全文索引，以实现用户对HBase数据的实时全文检索。

优选地，所述数据变动，包括：在HBase集群的表上删除数据、插入数据、和/或更新数据。

优选地，所述索引服务器模块为一个远程过程调用RPC服务器。

第二方面，本发明提供一种基于上述基于HBase大数据的实时全文检索系统的实现方法，包括：

创建索引服务器模块，所述索引服务器模块调用HBase的ReplicationAdmin接口往所述HBase集群复制模块注册，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群传输过来的数据；