[发明专利]一种基于微服务的大数据实时处理装置

说明书

本发明提供一种基于微服务的大数据实时处理装置，包括：数据来源模块；实时数据处理微服务模块，由多个微服务单元构成，用于对数据来源模块的数据进行实时接收、处理及输出，所述的多个微服务单元之间通过HTTP API协议通信；实时数据处理编排模块，用于组织所述的多个微服务单元的数据处理的逻辑过程；微服务地址注册模块，用于提供微服务物理地址注册，提供统一微服务访问地址入口。本发明提供的基于微服务的大数据实时处理装置，通过构建微服务程序，程序之间通过HTTP API进行通信，形成一个松散异构、高度自治的大数据实时处理环境，以解决平台中心化的技术问题。

技术领域

本发明涉及大数据技术领域，特别是涉及一种基于微服务的大数据实时处理装置。

背景技术

目前，大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，它可以归纳为体量大(Volume)、种类多 (Variety)、价值密度低(Value)、速度快(Velocity)等四个特征。其中，产生速度快是大数据的重要特征之一，据统计每一秒就有90万人点击Facebook，45.2万人登录Twitter，350万人在谷歌上搜索。把这些过程产生的所有数据完全存储起来是困难的，需要通过有效的实时数据处理技术对这些数据进行实时转化，形成高价值数据，以便进行存储和使用。

现有的实时数据处理技术方案是通过把数据接入实时数据处理平台，如Storm、Spark、Flink等，完成对数据的实时加工处理。这种方式主要的缺点是平台中心化问题。数据处理的效果过分依赖于一个平台的好坏，平台产生的BUG会严重影响运行在它之上的所有作业。同时，作业与平台的技术(如编程语言、编程框架等)紧密耦合，使用另一种更优的不同技术重构已有作业会难以实现。

现有的实时数据处理技术方案在大数据环境下存在平台中心化问题。主要缺点如下：

1)数据处理的效果过分依赖于一个平台的好坏，一旦平台发生故障，如程序缺陷，会导致所有运行在平台之上的作业无法正常工作。

2)随着数据处理的需求不断增多，平台会逐渐变成一个臃肿的单体。而技术发展是迅速的，一旦这种技术满足不了当前的需求，要想采用新框架和语言进行重写将变得非常困难。

3)这种技术方案无法根据不同的数据处理需求按需调配硬件资源，如一个执行CPU密集型的图像处理程序应被分配高性能CPU资源，而另一个数据暂存程序应被分配大额内存。

因此，需要提供一种基于微服务的大数据实时处理装置以解决上述技术问题。

发明内容

本发明主要解决的技术问题是提供一种基于微服务的大数据实时处理装置，通过构建微服务程序，程序之间通过HTTP API进行通信，形成一个松散异构、高度自治的大数据实时处理环境，以解决平台中心化的技术问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种基于微服务的大数据实时处理装置，包括：

数据来源模块a；

实时数据处理微服务模块b，由多个微服务单元A构成，用于对数据来源模块a的数据进行实时接收、处理及输出，所述的多个微服务单元A之间通过HTTP API协议通信；

实时数据处理编排模块c，用于组织所述的多个微服务单元的数据处理的逻辑过程；

微服务地址注册模块d，用于提供微服务物理地址注册，提供统一微服务访问地址入口；

数据来源模块a接实时数据处理微服务模块b，实时数据处理微服务模块b接实时数据处理编排模块c，微服务地址注册模块d的输出端口接数据来源模块a和实时数据处理编排模块c的输入端口。

实施例中，作为优选：