[发明专利]应用于AI算法工程化、系统化的分布式框架

摘要

本发明公开了一种应用于AI算法工程化、系统化的分布式框架，整个分布式框架分为任务队列及调度服务、视频切割服务、算法分析服务、数据中心四个大部分；本发明提供的应用于AI算法工程化、系统化的分布式框架，可以降低单台机器的配置要求，并且可以通过调度系统有效的利用各个机器的计算能力，不仅能对单个视频的分析进行加速，对于大批量视频的分析任务也可以随时横向扩展应对。

主权项

一种应用于AI算法工程化、系统化的分布式框架，其特征在于：整个分布式框架分为任务队列及调度服务、视频切割服务、算法分析服务、数据中心四个大部分；1)任务队列及调度系统，视频文件内容输入之后首先会进入任务队列排队，等待调度程序处理；2)视频切割服务，当有算法服务器空闲时，视频文件被从队列中取出，但并不会马上放到算法服务器上执行分析，需要先经过视频切割服务处理视频文件；加入这一个服务是对单个视频的分析进行提速；3)算法分析服务，这里是最终执行深度学习算法的服务器，同时对于机器上的gpu和cpu的调度也在这里实现，单台物理机器上通常会配置多个gpu核和cpu核，具体针对硬件资源的使用在调用算法前由部署在机器上调度算法来完成，同时针对算法执行过程进行监控将执行状态反馈到前端显示，最后算法执行的结果会通过回调将结果反馈到下面的数据中心；4)数据中心，在数据中心将视频的分析结果进行汇总，合并到同一个视频中的结果，处理成结构化的数据之后存储到数据库中，方便以后的检索。