[发明专利]一种智能设备实时数据流式处理方法及处理系统

说明书

本发明公开了一种智能设备实时数据流式处理方法，包括：步骤1，用户通过前端模块上传数据流处理程序包并配置需要启动的元数据信息；不同智能设备上传的实时数据流经过路由模块传输给对应的数据流处理程序实例进行处理；每个机器上部署的执行模块收集本机上所有的数据流处理程序实例信息，汇报给策略调度模块，策略调度模块根据这些信息来决定实例的扩缩容；日志收集模块收集机器上所有数据流处理程序实例的日志并提供一个日志查询接口，前端模块通过这个日志查询接口展示实例的日志。本发明还提供了一种智能设备实时数据流式处理系统。本发明的有益效果：有很强的鲁棒性，能够解决海量设备实时数据的处理问题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种智能设备实时数据流式处理方法及处理系统。

背景技术

智能设备是目前研究的热点，伴随各种智能设备的接入，会产生大量的数据，需要通过大量数据的分析计算来推断用户的行为，然后用计算得来的数据反馈到智能设备中，自动的将自己调整到用户想要的那种状态，这其中最主要的步骤就是数据的处理。随着接入的智能设备越来越多，传统的数据处理已经无法满足需求，需要一种可扩展系统来实时处理越来越多的智能设备产生的实时数据流。

发明内容

为解决上述问题，本发明的目的在于提供一种智能设备实时数据流式处理方法及处理系统，解决海量智能设备的数据实时处理问题。

本发明提供了一种智能设备实时数据流式处理方法，该方法包括：

步骤1，用户通过前端模块上传数据流处理程序包并配置需要启动的元数据信息；

步骤2，不同智能设备上传的实时数据流经过路由模块传输给对应的数据流处理实例进行处理；

步骤3，每个机器上部署的执行模块收集本机上所有的数据流处理程序实例信息，汇报给策略调度模块，策略调度模块根据这些信息来决定实例的扩缩容；

步骤4，日志收集模块收集机器上所有实例的日志并提供一个日志查询接口，前端模块通过这个日志查询接口展示实例的日志。

作为本发明进一步的改进，步骤1具体包括：

步骤101，用户通过前端模块上传数据流处理程序包，并配置元数据信息，元数据信息包括实例个数、资源大小、语言类型，同时所述前端模块将这些元数据信息存储至存储模块中供后续调度使用；

步骤102，多个执行模块在多台机器上构成一个资源池，每个执行模块收集本机的内存使用信息及所有实例信息，并将这些信息通过HTTP协议发送给策略调度模块；

步骤103，策略调度模块根据前端模块配置的元数据信息和所有机器上执行模块发送来的信息确定各个机器的资源使用情况及各个数据流处理实例布置情况，同时，所述策略调度模块从所述存储模块中查询数据流处理实例信息，并结合执行模块发送来的信息确定调度方案，包括是否需要新增数据流处理实例或删除多余数据流处理实例，所述策略调度模块在执行模块发送过来的HTTP请求连接上直接响应返回调度信息下发调度命令；

步骤104，执行模块接收策略调度模块的调度命令后执行相应的操作。

作为本发明进一步的改进，步骤104中，如果调度命令是删除多余数据流处理实例，所述执行模块通过调用docker api的方式将此实例的容器停掉并清除遗留数据，服务发现模块从路由表中清除没有定期更新的数据流处理实例信息；

如果调度命令是增加数据流处理实例，所述执行模块先判断用户采用的程序语言，并根据该程序语言选择一个对应的镜像，然后根据配置的资源参数、环境参数调用docker api的方式基于此镜像创建实例容器，最后将新实例的ip:port信息即地址信息注册到所述服务发现模块中。

作为本发明进一步的改进，步骤2具体包括：