[发明专利]一种智能设备实时数据流式处理方法及处理系统

权利要求书

1.一种智能设备实时数据流式处理方法，其特征在于，该方法包括：

步骤1，用户通过前端模块上传数据流处理程序包并配置需要启动的元数据信息；具体包括：

步骤101，用户通过前端模块上传数据流处理程序包，并配置元数据信息，元数据信息包括实例个数、资源大小、语言类型，同时所述前端模块将这些元数据信息存储至存储模块中供后续调度使用；

步骤102，多个执行模块在多台机器上构成一个资源池，每个执行模块收集本机的内存使用信息及所有实例信息，并将这些信息通过HTTP协议发送给策略调度模块；

步骤103，策略调度模块根据前端模块配置的元数据信息和所有机器上执行模块发送来的信息确定各个机器的资源使用情况及各个数据流处理实例布置情况，同时，所述策略调度模块从所述存储模块中查询数据流处理实例信息，并结合执行模块发送来的信息确定调度方案，包括是否需要新增数据流处理实例或删除多余数据流处理实例，所述策略调度模块在执行模块发送过来的HTTP请求连接上直接响应返回调度信息下发调度命令；

步骤104，执行模块接收策略调度模块的调度命令后执行相应的操作；

步骤2，不同智能设备上传的实时数据流经过路由模块传输给对应的数据流处理实例进行处理；

步骤3，每个机器上部署的执行模块收集本机上所有的数据流处理程序实例信息，汇报给策略调度模块，策略调度模块根据这些信息来决定实例的扩缩容，单个数据流处理实例在收到上传的实时数据流后，将处理的结果数据储存在cache模块里对应的队列中，队列是根据智能设备的物理ID创建的，每个智能设备对应一个队列，定期将各个队列中的数据批量刷出到存储模块中进行存储；

步骤4，日志收集模块收集机器上所有实例的日志并提供一个日志查询接口，前端模块通过这个日志查询接口展示实例的日志。

2.根据权利要求1所述的智能设备实时数据流式处理方法，其特征在于，步骤104中，如果调度命令是删除多余数据流处理实例，所述执行模块通过调用dockerapi的方式将此实例的容器停掉并清除遗留数据，服务发现模块从路由表中清除没有定期更新的数据流处理实例信息；

如果调度命令是增加数据流处理实例，所述执行模块先判断用户采用的程序语言，并根据该程序语言选择一个对应的镜像，然后根据配置的资源参数、环境参数调用dockerapi的方式基于此镜像创建实例容器，最后将新实例的ip:port信息即地址信息注册到所述服务发现模块中。

3.根据权利要求1所述的智能设备实时数据流式处理方法，其特征在于，步骤2具体包括：

步骤201，智能设备上报的实时数据流通过网关先传输至路由模块；

步骤202，所述路由模块根据实时数据流中的信息获取智能设备的名称信息，并根据此信息在服务发现模块中查询该智能设备对应的数据流处理实例地址，并将实时数据发送给其中一个数据流处理实例进行处理。

4.根据权利要求3所述的智能设备实时数据流式处理方法，其特征在于，步骤202中，当某个智能设备对应多个数据流处理实例时，根据负载均衡策略选取其中一个数据流处理实例进行处理。

5.根据权利要求1所述的智能设备实时数据流式处理方法，其特征在于，步骤4具体包括：

步骤401，日志收集模块收集机器上所有数据流处理实例的日志并存储到ES中，对外提供一个日志查询接口；

步骤402，前端模块通过所述日志查询接口，根据内容、时间进行相关日志的查找，同时，所述前端模块通过所述日志查询接口将实例的日志展示在WEB系统上。

6.一种智能设备实时数据流式处理系统，其特征在于，包括智能设备和服务器，所述智能设备上报需要处理的数据流至所述服务器，所述服务器用于处理接收到的实时数据流；

所述服务器包括：

前端模块，用于上传数据流处理程序包，并配置元数据信息，元数据信息包括实例个数、资源大小、语言类型，同时所述前端模块将这些元数据信息存储至存储模块中供后续调度使用；

路由模块，用于将智能设备上报的数据流传输给对应的数据流处理实例进行处理，在服务发现模块中查询数据流对应的数据流处理实例地址信息来选择一个实例，并将智能设备的数据流发送给选中的实例来处理；

执行模块，用于收集本机的内存使用信息及所有实例信息，并将这些信息通过HTTP协议发送给策略调度模块，同时接收策略调度模块的调度命令并执行相应的操作；

策略调度模块，用于根据前端模块配置的元数据信息和所有机器上的执行模块发送来的信息确定调度方案，并在执行模块发送过来的HTTP请求连接上直接响应返回调度信息下发调度命令；

服务发现模块，用于存储数据流处理实例地址信息，并定期更新的路由表中的实例信息；

cache模块，用于存储被数据流处理实例处理后的结果数据，并将处理后结果数据批量传输至存储模块中进行存储；

存储模块，用于存储前端模块中配置的元数据信息及cache模块中的结果数据；

日志收集模块，用于收集机器上所有实例的日志并存储到ES中，提供一个日志查询接口，前端模块通过这个接口将实例的日志展示在WEB系统上。