[发明专利]一种数据流处理方法、系统和计算机可读存储介质

说明书

本发明提供一种数据流处理方法、系统和计算机可读存储介质，所述方法包括：接收用户提交的逻辑拓扑文件和镜像文件，根据所述逻辑拓扑文件中的拓扑结构键值对应关系映射生成部署配置文件；调用所述部署配置文件，并根据所述部署配置文件进行服务自动部署，以微服务架构的形式构建服务流程；通过所述微服务架构对数据流进行处理，并输出处理结果信息；从而实现微服务架构下轻量级的数据流处理部署，并突破了现有流处理框架部署复杂、占用资源的难题；本发明引入微服务的理念，移除现有框架的束缚，可将数据流需要进行的操作进行分解，各处理单元划分为一个微服务，各服务可以更加关注数据流的处理，资源利用率较高。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据流处理方法、系统和计算机可读存储介质。

背景技术

随着互联网大数据的兴起，加速了大数据处理技术的发展。不同数据对处理技术有不同的要求。流处理系统可以用来处理火灾报警、燃气泄露报警等数据实时性要求比较高的系统。数据实时采集完整的数据为系统提供一个数据源，要求响应快、延迟低、系统可靠。实时计算部分不再采用原来的从数据库查询而是从采集来的数据进行计算，计算完成后迅速反馈给用户。流处理系统具有快速、高效、容错率高等特性能够将数据信息准确无误的进行处理。以下为现有常用的两种流处理框架：

Storm分布式实时计算框架在大数据流式处理的各种平台技术中以实时性好、高性能著称，兼备高可扩展性、稳定性和可靠性等特点受到业界的广泛关注使用。Storm作为流数据处理引擎，采用轮询算法进行任务调度，基于内存进行快速运算，很适用于实时流处理，而Hadoop用于批处理，缺少实时性。Storm保证每个消息都会得到处理，而且响应速度快，广泛应用于强实时的数据分析、在线机器学习、分布式RPC远程调用和信息日志流处理等技术领域。

Spark分布式计算框架是一个通用性极强，计算速度快，同时具备快速查询分析能力的大数据处理框架，设计核心是高速的内存计算。Spark可以将中间计算结果缓存在内存中，计算过程不需要重复读写磁盘外设，从而避免了大量的I/O操作。而Hadoop框架在计算过程中频繁地读写HDFS文件系统导致时延过高，实时性差且面对迭代型计算效率低下，只适用于离线批处理作业，无法满足快速数据查询和实时流处理，Spark作为新兴的分布式计算框架，非常适用于这些对实时性要求高的计算类型。

然而，上述两种流处理框架(即Spark、Storm)部署仍然相对复杂，在应用实例中，框架本身也会占用部分资源，并且现有的框架要求开发者按照特定的方式去开发逻辑部分，供框架调用，在框架设定好的计算模块上进行数据处理，任务无法直接面向数据而是通过框架进行数据处理。

发明内容

为了解决上述至少一个技术问题，本发明提出了一种数据流处理方法、系统和计算机可读存储介质。

为了实现上述目的，本发明第一方面提出了一种数据流处理方法，包括：

接收用户提交的逻辑拓扑文件和镜像文件，并将所述镜像文件进行存储处理；

根据所述逻辑拓扑文件中的拓扑结构键值对应关系映射生成部署配置文件；

调用所述部署配置文件，并根据所述部署配置文件进行服务自动部署，以微服务架构的形式构建服务流程；

通过所述微服务架构对数据流进行处理，并输出处理结果信息。

本方案中，所述数据流处理方法还包括：

将用户提交的镜像文件进行本地存储；

接收用户创建数据流处理指令；

从本地调取所述数据流处理指令对应的镜像文件；

根据所述镜像文件的拓扑结构键值对应关系进行服务自动部署。

本方案中，所述数据流处理方法还包括：