[发明专利]一种基于Docker镜像分层设计的云边端模型下发方法

说明书

一种基于Docker镜像分层设计的云边端模型下发方法，云端负责模型训练并将模型保存至模型仓库，边缘节点与云端配置同一模型仓库并可连接至云端下载镜像文件。云端基于边缘节点现场应用需求分步编排模型推理镜像文件，以配置Yaml文件形式完成编排并下发至边缘节点。边缘节点依据该配置文件构建镜像，从本地拉取镜像文件并创建模型推理服务。

技术领域

本发明涉及边缘计算和人工智能领域，具体涉及一种基于Docker镜像分层设计的云边端模型下发方法。

背景技术

随着云边端协同计算技术的发展需对边缘节点赋予更强的计算能力，需具备模型推理等算法能力，云端完成模型训练工作后需将模型下发部署至边缘节点，云边间模型下发能力变得愈加重要。边缘节点部署在边缘测，终端各类边缘设备通过边缘测接入通常边缘测资源短缺压力较大，在智慧城市、智慧路灯、车联网、机器人等应用场景中，大量终端设备通过网络接入边缘节点对边缘节点网络开销占用较多资源，因而模型下过程不适合传输较大模型文件传输。边缘节点依靠容器化服务完成模型推理过程而加载创建容器服务的镜像需要下载高达十余GB的镜像文件这极大地占用了边缘节点有限的网络资源。

发明内容

本发明为了克服以上技术的不足，提供了一种减少数据交互的网络开销，同时让边缘设备变得更加智能赋予更强的算法能力的基于Docker镜像分层设计的云边端模型下发方法。

本发明克服其技术问题所采用的技术方案是：

一种基于Docker镜像分层设计的云边端模型下发方法，包括如下步骤：

a)云端负责模型训练并将模型保存至模型仓库，模型仓库中除保存模型外还存在模型部署时所需的基础环境镜像；

b)边缘节点与云端配置同一模型仓库连接至云端仓库并拥有镜像文件下载权限；

c)云端基于边缘节点现场应用需求编排模型推理镜像文件；

d)边缘节点构建多个推理模型镜像时配置文件使用步骤c)中模型推理镜像文件。

进一步的，步骤a)中训练过程中保存的为基于TensorFlow训练的PB模型文件则镜像仓库中还存在模型部署时所需要的TensorFlowServing基础镜像。

进一步的，步骤c)中通过配置Yaml文件形成完成，配置文件中分层编排所需镜像文件，其中包含基础推理环境、三方源引入更新、模型文件路径，依靠MQTT将Yaml文件下发至边缘节点，边缘节点依据该配置文件构建镜像。

本发明的有益效果是：云端负责模型训练并将模型保存至模型仓库，边缘节点与云端配置同一模型仓库并可连接至云端下载镜像文件。云端基于边缘节点现场应用需求分步编排模型推理镜像文件，以配置Yaml文件形式完成编排并下发至边缘节点。边缘节点依据该配置文件构建镜像，从本地拉取镜像文件并创建模型推理服务。

附图说明

图1为基于Docker镜像分层设计的云边端模型下发方法框架示意图。

具体实施方式

下面结合附图1对本发明做进一步说明。

一种基于Docker镜像分层设计的云边端模型下发方法，包括如下步骤：

a)云端负责模型训练并将模型保存至模型仓库，模型仓库中除保存模型外还存在模型部署时所需的基础环境镜像；

b)边缘节点与云端配置同一模型仓库连接至云端仓库并拥有镜像文件下载权限；

c)云端基于边缘节点现场应用需求编排模型推理镜像文件；