[发明专利]一种分布式边缘融合算力部署系统

说明书

本发明公开了一种分布式边缘融合算力部署系统，包括资源管理器、管理单元、算力单元和边缘设备，所述资源管理器用以监控和指派算力单元的运行状态，并分配和回收空闲的算力单元；所述管理单元用以监控各类设备的运行状态，调度算力和监控资源向对应设备部署和管理任务，并对外提供服务平台；所述算力单元用以根据资源管理器的指令转换工作状态，并根据管理单元指令接收任务；所述边缘设备用以控制内网设备并进行指令转译。本发明将边缘设备的算力和服务器集群算力进行统一，以便进行最佳调度，通过简单接口即可定义框架内模型并自动进行推理部署，以达到标准化部署环境的目的。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式边缘融合算力部署系统。

背景技术

随着深度学习与人工智能的发展，越来越多的神经网络模型应用于工业产业中。但是由于模型本身的复杂性，其部署流程面临许多困难，主要包括模型推理算力不足、推理平台与训练平台不一致和推理平台多样化等问题。同时，数据的隐私保护也是模型部署过程中的一部分阻力。目前常用的部署方案包括使用服务器集群部署推理集群、使用嵌入式特化计算设备和和模型深度轻量化等。前两种方案忽略了某一端本身的算力资源，造成算力浪费；而第三种方案需要在目标平台上对特定任务进行定制化裁剪，延长开发周期的同时降低了模型的通用性。

目前部署方案的核心问题在于训练平台与推理平台的不匹配和推理平台之间的不共享。模型与训练平台强绑定，不同模型之间需要额外工具用于格式转换和调优；推理平台差异大，很难全部兼顾所有平台；各个推理平台之间算力私有使用，不利于统一调度。

发明内容

本发明的目的是提供一种分布式边缘融合算力部署系统，以解决现有部署方案存在训练平台与推理平台的不匹配和推理平台之间的不共享的技术问题。

本发明是采用以下技术方案实现的：一种分布式边缘融合算力部署系统，包括资源管理器、管理单元、算力单元和边缘设备，所述资源管理器用以监控和指派算力单元的运行状态，并分配和回收空闲的算力单元；所述管理单元用以监控各类设备的运行状态，调度算力和监控资源向对应设备部署和管理任务，并对外提供服务平台；所述算力单元用以根据资源管理器的指令转换工作状态，并根据管理单元指令接收任务；所述边缘设备用以控制内网设备并进行指令转译。

进一步的，还包括存储单元，所述存储单元用以进行数据存储，包括模型、图像和推理结果。

进一步的，所述资源管理器对接算力单元和管理单元，接收算力单元的注册请求，并分配初始状态。

进一步的，所述算力单元包括三种运行状态：空闲、主从和去中心化；在空闲模式下，算力单元处于待机状态，不参与任务分配；在主从模式下，算力单元根据主节点指令进行计算或向从节点部署计算；在去中心化模式下，算力单元根据DRCCP通讯协议进行计算。

进一步的，所述算力单元包括算力Pow子系统、算力计算设备子系统、算力设备状态子系统、算力任务子系统和算力引擎子系统，其中，算力Pow子系统用于实现算力单元集群内通信，转发和协商推理任务；

算力计算设备子系统用于管理物理计算设备和推理引擎，为上层框架提供统一的硬件接口和模型处理方式；

算力设备状态子系统用于与资源管理器通信，确定运行状态；

算力任务子系统用于各类计算任务及其数据流的实际计算；

算力引擎子系统用于管理外部推理引擎，并提供外部推理引擎的外部接口。

进一步的，所述管理单元管理除未分配算力单元之外的全部框架内资源，根据外部任务设定，调度和编排计算任务，并展示可视化控制台，同时对外提供OpenAPI接口。