[发明专利]一种面向物联网的机器学习容器镜像下载系统及其方法

说明书

本发明公开了计算机领域的一种面向物联网的机器学习容器镜像下载系统及其方法，解决机器学习容器镜像的体积较大、边缘节点间竞相争夺中心式容器镜像仓库的出口带宽资源，推迟容器启动时间影响任务的执行效率技术的问题；其包括：一个主控节点和多个计算节点；主控节点：存储、转换机器学习模型，将转换格式的机器学习模型构建为机器学习容器镜像；构建机器学习容器镜像的镜像信息完成向计算节点下发镜像下载指令；计算节点：接收所述镜像下载指令，下载机器学习容器镜像，启动机器学习容器；接收来自物联网设备收集的数据，向物联网设备返回数据处理结果；本发明能够提升面向物联网场景下的机器学习容器镜像的下载效率。

技术领域

本发明涉及一种面向物联网的机器学习容器镜像下载系统及其方法，属于计算机技术领域。

背景技术

随着万物互联的时代到来，物联网设备的数量呈现指数级增长。在面对海量物联网设备的数据处理请求时，传统云计算的中心式架构将承受巨大的计算压力，易导致待执行的数据处理任务无法满足实时响应的需求。因此，将云端的计算能力下沉至边缘端，充分利用容器虚拟化技术实现任务的轻量化部署已成为当下的发展趋势。

在如今的智能化时代，机器学习算法被越来越广泛地应用于物联网设备从而实现无需人为干预的高效数据处理。容器凭借轻量化的优势更适合作为资源受限的物联网设备的任务部署方式。然而，现有的面向物联网场景下的机器学习容器镜像分发方案由于分发效率较低，仍无法满足用户对于实时响应的需求。造成该问题的主要原因主要分为以下两点：一方面，容器镜像分发过程中的传输数据量较大。现有方案中，机器学习容器内需包含机器学习模型与其依赖的机器学习计算框架。然而，目前主流的机器学习计算框架占用的存储空间远大于机器学习模型本身。因此，下载大体积的机器学习容器镜像将会推迟容器启动时间，影响任务的执行效率；另一方面，容器镜像分发过程中网络带宽资源竞争激烈。现有方案需要物联网设备从中心式的容器镜像仓库下载机器学习容器镜像。当短时间段内大量物联网设备向容器镜像仓库发起镜像下载请求时，这些物联网设备将竞相争夺中心式容器镜像仓库的出口带宽资源，从而导致网络拥堵，推迟容器的启动时间。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种面向物联网的机器学习容器镜像下载系统及其方法，解决当前物联网场景下由于容器镜像体积过大以及网络带宽资源竞争激烈引起的机器学习容器镜像分发效率低下的问题。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种面向物联网的机器学习容器镜像下载系统，包括一个主控节点和多个计算节点；

所述主控节点：用于存储、转换机器学习模型，将转换格式的机器学习模型构建为机器学习容器镜像；当构建机器学习容器镜像的镜像信息完成后，向计算节点下发镜像下载指令；

所述计算节点：用于接收所述镜像下载指令，下载机器学习容器镜像，并启动机器学习容器；并接收来自物联网设备收集的数据，向物联网设备返回数据处理结果。

进一步的，所述机器学习模型包括计算机视觉和自然语言处理领域的预训练机器学习模型。

进一步的，所述主控节点包括控制平面、机器学习模型仓库、机器学习模型转换器、机器学习容器镜像构建器、机器学习容器镜像仓库和调度器；

所述控制平面，用于读取、解析用户设置的机器学习容器部署参数，所述机器学习容器部署参数包括机器学习模型的类型及所述机器学习模型依赖的对应的机器学习计算框架和需要部署机器学习容器的计算节点参数；

所述机器学习模型仓库，用于储存机器学习模型；

所述机器学习模型转换器，用于将所述机器学习模型转换为ONNX格式的机器学习模型；

机器学习容器镜像构建器，用于依据转换为ONNX格式的机器学习模型构建所述机器学习容器镜像；

所述机器学习容器镜像仓库，用于存储带有镜像信息的所述机器学习容器镜像；