[发明专利]一种基于分布式架构的日志数据存储和检索方法

说明书

本发明提供一种基于分布式架构的日志数据存储和检索方法，以解决海量用户上网日志数据的高性能存储问题和在多维度、多关键字条件下数据检索慢的问题。本发明的一个方面提供用户上网日志数据存储的方法，主要利用HBase和Solr实现分布式数据存储和索引创建，其中包括用户上网日志数据以条目形式存储到HBase中，建立唯一标识的方法，对用户上网日志数据进行维度拆分和维度分词处理，建立查询维度和分词关键字与数据标识之间的索引关系的方法，对日志数据进行维度拆分的方法，对维度进行分词处理的方法，还有根据维度和分词关键字建立索引的方法。本发明的另一方面提供用户上网日志数据检索方法，主要包括多维度、多关键字检索条件的组织和数据访问的方法。

技术领域

本发明涉及移动通信领域，具体涉及移动通信网络中2G、3G和4G数据网络中海量用户上网日志数据的存储和检索方法，特别涉及一种基于分布式架构的日志数据存储和检索方法。

背景技术

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

HBase是基于Hadoop分布式系统的NoSQL数据库系统，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。

Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value内存数据库，提供内存数据缓存服务。

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

深度包检测(DPI)技术，是一种基于应用层的流量检测和控制技术，当IP数据包、TCP或UDP数据流通过基于DPI技术的带宽管理系统时，该系统通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策略对流量进行整形操作。

随着我国3G和4G移动通信网络的建设和发展，移动互联网用户数量迅速增长，网络流量也随之增长。运营商的思路全面转向智能化管道运营，重点关注数据网络的精细化运营。运用深度包检测(DPI)技术，运营商采集和生成海量用户上网日志数据。一是满足移动网络用户数据网络消费明细详单的实时查询需求；二是满足运营的深度数据挖掘和精细化运营的需求，通过用户上网日志数据分析用户网络使用习惯，挖掘用户的潜在需求，进而制定精细化服务策略，为用户提供个性化数据服务。面对每天数十亿，甚至数百亿条目的海量用户上网日志数据，需要解决的问题是如何高效安全的存储数据，另一个问题是如何按多个维度条件和多个关键字进行快速的数据检索。传统关系型数据库处理方案已无法满足数据的高效存储和快速检索要求。本发明针对上述问题，利用HBase和Solr实现海量用户日志数据的存储和检索问题，非常适合海量用户上网日志数据的高并发、低时延访问和高I/O吞吐率的应用场景。

发明内容

本发明提供一种基于HBase和Solr构建高效的分布式数据存储和数据检索系统的方法，解决海量用户上网日志数据的高性能存储问题和在多维度、多关键字条件下数据检索慢的问题；包括利用HBase和Solr实现海量日志数据的存储方法和日志数据的检索方法。

一种基于分布式架构的日志数据存储和检索方法，所述日志数据的存储方法包括日志数据的存储和索引创建方法，具体包括以下步骤：