[发明专利]一种智能控制消费脚本通道的方法

说明书

本发明公开了一种智能控制消费脚本通道的方法，属于互联网技术领域，使用Python+Redis+Ansible进行集群化管理；每条消费队列超过某条等待任务后开启新Work，每条消费脚本低于多少条后进行回收；Python守护进程监听总任务队列，根据任务类型分配到对应的子队列，每个任务类型都对应独自的计数值，每进来一个相应的任务，进行加一，根据子任务work数进行取模后进行分派；每隔5秒，统计正在运行的队列的长度，读取配置信息后进行逻辑判断，对任务队列进行扩容或者回收。本发明可实时查看任务队列的处理能力，可进行预警监控，通过自定义配置可以自动对任务队列进行扩容、回收。

技术领域

本发明涉及一种智能控制消费脚本通道的方法，属于互联网技术领域。

背景技术

目前，基于平台类型的站点有许多异步型的任务要进行处理，会使用多条消息队列进行处理，遇到突发大流量时需要上服务器进行手动分流，等流量峰值过去后又要上服务器手动回收，相对来说比较麻烦。

发明内容

本发明的主要目的是为了提供一种制作管理界面用于监控、配置任务脚本的智能控制消费脚本通道的方法。

本发明的目的可以通过采用如下技术方案达到：

一种智能控制消费脚本通道的方法，包括如下步骤：

步骤1：使用Python+Redis+Ansible进行集群化管理；

步骤2：配置队列的基础信息；

步骤3：任务路由分配；

步骤4：任务队列控制；

进一步的，所述步骤1中，使用Python+Redis+Ansible进行集群化管理，其中：

Python是根据配置信息进行逻辑处理；

Redis是存储配置+消费队列；

Ansible是指定某台服务器进行消息脚本扩容或回收。

进一步的，所述步骤2中，配置队列的基础信息包括：

消费队列任务名称；

执行消费脚本命令；

消费脚本所在服务器IP；

队列Work数【默认＝》1】；

预警Work数；

预警联系人手机号。

进一步的，所述预警Work数包括：

每条消费队列超过某条等待任务后开启新Work【默认＝》100】；

每条消费脚本低于多少条后进行回收，新的work有免回收的保护期。

进一步的，所述步骤3中，任务路由分配包括：

Python守护进程监听总任务队列，根据任务类型分配到对应的子队列；

每个任务类型都对应独自的计数值，每进来一个相应的任务，进行加一；

根据子任务work数进行取模后进行分派。

进一步的，所述步骤4中，任务队列控制包括：

每隔5秒，统计正在运行的队列的长度；

读取配置信息后进行逻辑判断，对任务队列进行扩容或者回收；

每个子队列都有【活动中、回收中】二种状态，处于回收中状态不进行分派，消费完成后进行回收。

本发明的有益技术效果：