[发明专利]分布式快速清单查询系统及方法

说明书

技术领域

本发明涉及一种分布式快速清单查询系统及方法。

背景技术

对于电信清单的存储，以往一般采用非分布式的关系型数据库，这种存储模式简单方便，能提供较复杂的查询条件组合，并很好的支持表关联查询，查询响应也比较迅速。但这种存储模式存在压缩比低，扩容困难等问题，当数据海量增长时，往往很难满足快速线性扩容的要求。再以后发展成采用分布式部署的列存储数据库来存储海量清单数据，分布式的列存储数据库能提供更高的压缩比，扩容也相对简单，但由于列存储数据库在数据查询时需要进行数据解压，并且将列数据拼接为行数据，这样在查询响应速度上就很难满足要求，特别是在高并发查询的情况下。

发明内容

为了解决清单查询系统响应慢、存储压缩比低，以及不易线性扩展的问题，本发明提供一种分布式快速清单查询系统及方法，具体方案如下：

一种分布式快速清单查询系统，包括：

分布式高速缓存服务模块，采用分布式内存计算技术，基于内存的数据管理引擎，作为热数据的存储介质，提供高速的基于内存的数据存储和查询服务；

分布式磁盘存储服务模块，包括分布式部署的列存储数据库，支持PB级的数据压缩存储和分析查询，支持高压缩率和线性扩展，作为冷数据的存储系统，提供相对较长时间内的数据存储和查询服务。

优选的，还包括：

采集模块，负责数据文件的采集，并进行登记；

预处理模块，对数据文件进行文件去重、完整性检查、规整、增强、抽取过滤以及拆分；

入库模块，把预处理过的数据插入到分布式高速缓存服务模块或分布式磁盘存储服务模块中。

优选的，还包括：

服务管理器，对服务节点中的分布式高速缓存服务模块、分布式磁盘存储服务模块进行管理，并接受查询服务器的服务注册请求，以及客户端的服务订阅请求并回复可用的已经注册的查询服务器的地址；

查询服务器，分布于各服务节点，用于对所述服务节点内的分布式高速缓存服务模块、分布式磁盘存储服务模块进行数据查询。

一种分布式快速清单查询方法：采用数据分级治理的思路，将热数据、冷数据分开，采用不同的技术和产品来存储和处理热数据、冷数据。

优选的，对于热数据采用分布式高速缓存组件技术，满足高并发、低延时的查询要求，提升客户体验；

对于冷数据，则保存在分布式磁盘数据库中，提供高容量高压缩的存储。

优选的，所述热数据、冷数据由采集模块、预处理模块以及入库模块依次对数据处理获得。

优选的，所述入库模块处理流程包括：

1)入库进程启动后，先获取已经预处理的清单文件列表；

2)打开清单文件并读取清单记录；

3)把清单记录入库到分布式高速缓存；

4)把清单记录入库到分布式磁盘数据库；

5)更新文件列表，标志为入库；

6)删除已入库清单文件。

优选的，建立服务管理器以及分布于服务节点的查询服务器，客户端通过向服务管理器得到服务列表，然后根据列表连接到查询服务器，客户端通过传入用户号码、清单类型和时间范围进行清单查询，查询服务器按照预定的格式组装成查询结果包，返回给服务调用方。

优选的，查询服务器支持注册订阅机制，查询服务器在进行服务之前先注册到服务管理器，是为服务注册，将能提供的服务告诉服务管理器，服务管理器把这些信息写入服务列表，并在退出之前向服务管理器进行注销；

客户端在使用查询服务器提供的服务时须先向服务管理器发起服务订阅请求，在获得服务管理器返回的服务列表后，使用相应的查询服务器；服务管理器根据已经注册的服务信息以及各查询服务器当前的状态决定返回的服务列表内容，客户端通过服务名来请求想要的服务。

优选的，数据查询流程如下：

1)客户端向清单查询服务器发起查询请求，内容包括号码、时间段、清单类型；

2)查询服务器根据时间段拆分为热数据、冷数据查询，对于热数据查询请求，向分布式高速缓存发查询请求，对于冷数据查询请求，则向分布式磁盘数据库发查询请求；

3)分布式高速缓存接到查询请求后，在缓存中找到相应数据，并返回给查询服务器；分布式磁盘数据库接到查询请求后在磁盘库中找到相应数据，也返回给查询服务器；

4)查询服务器做冷热结果数据做合并，返回给客户端。