[发明专利]基于移动互联网海量数据的服务层系统及其方法

说明书

技术领域

本发明属于大数据领域，尤其涉及一种基于移动互联网海量数据的服务层系统及其方法。

背景技术

近年来，随着移动互联网上网速度的不断提升和资费价格的不断下降，移动互联网数据成爆炸性的生长，如何存储这些数据，如何在这些数据中快速提取到用户所需要的信息已成为一个热门课题。移动互联网拥有的数据源丰富多样，包括各种手机客户端产生的业务数据、网页、音频数据、视频文件和图片等结构化和非结构化的一些数据。针对不同种类数据的存储也出现了各类SQL以及NoSQL数据库。

在互联网行业，业务营销人员如果需要在海量数据中要查找到有用的信息，需要奔走于各个业务部门，查询各套系统，大大影响了工作效率。

发明内容

本发明的目的在于克服现有技术中存在的缺点和不足，提供一种基于移动互联网海量数据的服务层系统及其方法，实现以下功能：①统一各种异构数据库（SQL/NoSQL）的访问方式；②数据表的自定义（用户自定义表视图）。

实现本发明目的的技术方案是：

一、基于移动互联网海量数据的服务系统（简称系统）

本系统包括依次连接的ETL、数据中心、服务层平台和业务系统。

二、基于移动互联网海量数据的服务方法（简称方法）

本方法包括下列步骤：

①业务系统注册

业务系统访问服务层平台300，需要先在服务层平台300中注册，生成系统的唯一号。

②业务系统查询。

本发明具有下列优点和积极效果：

①提供了通用的服务层访问平台，按照标准的http post和get方法调用接口方法，提供标准的json格式数据返回；

②处理速度快，且具有容错性；

③通过整合Hadoop分布式文件系统、Solr全文检索系统、ibatis等数据库接口和服务层平台融合等技术，为其它大数据技术之间的模块化整合以及统一操作接口提供了参考。

总之，本发明能够对所有移动互联网的海量数据进行统一查询接口，为各应用系统统一查询服务提供技术支持。

附图说明

图1是本系统的结构方框图；

图2是数据中心的结构方框图；

图3是服务中心的结构方框图；

图4是系统注册流程图；

图5是系统查询请求流程图。

其中：

100—ETL；

200—数据中心，

210—数据存储中心，

201—Linux（本地文件系统），202—HBase（海量数据库），

203—Solr（全文数据库）， 204—MySQL（业务数据库），

205—Hadoop；

220—数据计算中心，

211—SQL（查询模块），212—Hive（统计分析模块），

213—Mahout（数据挖掘模块），214—Spark（数据处理模块）；

300—服务层平台，

310—底层数据访问服务模块，

320—业务接口模块，

321—通用业务接口，322—原始业务接口，323—基础业务接口；

330—控制模块，

331—日志，332—授权；

400—业务系统，

410—第1业务系统,

420—第2业务系统，……

4N0—第N业务系统，其中N≤100。

英译汉

1、Storm：是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求；

2、Kafka：是一种高吞吐量的分布式发布订阅消息系统；

3、HDFS：Hadoop的分布式文件系统；

4、Flume：是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

5、Linux：一种操作系统；

6、Hadoop：一种能够对大量数据进行分布式处理的软件框架；

7、MySQL：MySQL是一个关系型数据库管理系统；

8、HBase：一种分布式的，面向列的Hadoop数据库；

9、Solr：一种基于Lucene的搜索服务器；