[发明专利]一种流式计算的应用快速开发部署的方法及装置

说明书

技术领域

本发明涉及流式计算领域，特别是涉及一种流式计算的应用快速开发部署的方法及装置。

背景技术

现有数据分析运营系统一般采用单一的数据仓库提供数据处理能力，通过数据仓库提供的ETL工具运行数据抽取、加载和转换，之后再利用数据仓库的数据分析和关联处理能力应对业务需求。传统数据仓库厂商的产品基于关系模型的高性能数据查询和分析，主要处理结构化数据的高性能查询和分析；并提供成熟的报表工具和数据访问接口，目前已经在银行、电信等具有大量数据的行业广泛使用。但随着移动互联网的迅速发展，大量由互联网产生的结构化、非结构化数据需要分析和处理，但企业级数据仓库不适合非结构化数据的处理；海量数据规模下，传统数据仓库在大数据的存储和分析方面都显得能力不足；除此之外，传统数据仓库对于实时需求的处理能力不足，无法支持实时性需求。面对移动互联网和大数据时代的挑战，数据分析系统的服务对象越来越广泛、业务量、数据量越来越大，经营分析系统需要对内容、音频、文本信息、视频、图片等非结构化的海量的数据信息进行有效分析，传统的数据仓库无法处理这些新型的业务数据，hadoop和MapReduce的批处理方法在某些情况下也不适合处理这些数据，并且在及时性和处理效率方面也存在着天生的缺陷。

流式计算主要应用于对数据的即时处理，统计学习等功能中。随着互联网大数据的爆发，流式计算也采用更加高级的分布式计算方式来提高处理速度，称之为分布式流式计算系统。分布式流式计算系统中最具代表性的是IBM InfoSphere Streams、Twitter Storm，基于它写出来的应用程序能够运行在成百上千台商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。应用程序将需要计算的任务分割为很多的小块，通过类似流(tuple)的方式，使其经过不同的处理节点(stream称为PE)，完成实时数据分析和事件处理。但目前业界流式计算产品实现实时业务应用都会涉及新的开发方式、协议等，有的产品提供产品自带的编程语言，随着信息技术的飞速发展，实现技术也会不断的迭代。这势必增加企业的生产成本。

发明内容

本发明所要解决的技术问题是：提供一种流式计算的应用快速开发部署的方法及装置，用于解决流式计算的应用产品开发成本高的问题。

为了解决上述技术问题，本发明采用的技术方案为：

预先设置一模板库，所述模板库包括两个以上应用模板，根据业务类型选择相应的应用模板，并配置所述应用模板；检查所述应用模板的配置信息是否正确，若是，则将所述配置信息映射到所选择的应用模板的处理节点生成代码文件，若否，则提示重新配置应用模板；对所述代码文件加入到流式计算工程中进行编译；编译后发布工程；其中，所述编译的步骤包括：将代码文件的名称和命令空间添加到编译文件中；调用编译命令进行编译。

为解决上述技术问题，本发明采用的另一技术方案为：

一种流式计算的应用快速开发部署的装置，包括配置模块、检查模块、汇编模块、编译模块和发布模块；所述配置模块用于预先设置一模板库，所述模板库包括两个以上应用模板，根据业务类型选择相应的应用模板，并配置所述应用模板；所述检查模块用于检查所述应用模板的配置信息是否正确，当检查到所述配置信息出错时提示重新配置应用模板；所述汇编模块用于将所述配置信息映射到所选择的应用模板的处理节点生成代码文件；所述编译模块用于对所述代码文件加入到流式计算工程中进行编译；所述发布模块用于发布工程；其中，所述编译模块包括：加载单元和编译单元；所述加载单元用于将代码文件的名称和命令空间添加到编译文件中；所述编译单元用于调用编译命令进行编译。

本发明的有益效果在于：区别于现有技术中流式计算产品实现实时业务应用都会涉及新的开发方式、协议和自带的编程语言，产品的开发成本高，本发明通过预设应用模板，将应用模板信息的配置信息映射到所选择的应用模板的处理节点生成代码文件，并进行编译和发布，本发明利用开发语言对流式计算的自带语言和业务应用内容进行结合，将业务需求快速准确的汇编成流式计算产品，有效降低企业对流式产品的开发成本，本发明特别适用于大数据领域。

附图说明

图1为流式计算的应用快速开发、部署装置的功能框架图；

图2为本发明流式计算的应用快速开发部署的方法一实施方式的流程图；

图3为本发明流式计算的应用快速开发部署的方法中配置信息与应用模板映射过程流程图；

图4为本发明完成应用开发的步骤流程。

具体实施方式