[发明专利]一种加速AI模型部署的方法和设备

说明书

本发明涉及一种加速AI模型部署的方法和设备，应用于包括多个节点的P2P网络中，该方法包括：在待部署的机器上设置基于P2P算法的传输工具；将机器作为一个新的节点加入到P2P网络中；将待部署的AI模型的数据进行分片，以将数据分为多个数据片；基于Chord算法作分布式协调获取P2P中各节点和各数据片；确定每个数据片的特征码，其中，不同的数据片对应不同的特征码；在Chord环上存储特征码，以基于传输工具通过Chord环上的特征码完成AI模型在机器上的部署。本方案，基于P2P网络以及传输技术，对网络连接里面的多条链路的带宽充分利用，相比传统方式，带宽利用率更高，传输效率更高，传输时间更短，有效提高了AI模型的部署效率。

技术领域

本发明涉及AI模型部署领域，具体涉及一种加速AI模型部署的方法和设备。

背景技术

人工智能(Artificial Intelligence)，英文缩写为AI。是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

在部署AI(Artificial Intelligence，人工智能)模型时，传统的方法一般是使用scp(Secure Copy Protocol，是在Linux系统下进行远程传输文件的工具，用于进行服务器间的数据传输)或者rsync(remote sync，是类unix系统下的数据镜像备份工具)进行批量部署，AI模型越大的情况，由于需要逐个机器分别部署，导致需要每个机器都传输全部的AI模型的数据，而数据的传输需要依次进行，例如传递一个AI模型到一台机器的时间是T，传输n台机器的时间那就是n*T；这对网络的带宽浪费越严重。而目前随着AI模型的不断发展，AI模型的数据量越来越大，导致部署的效率低下。

由此，目前需要有一种更好的方案来解决现有技术中的问题

发明内容

本发明提供一种加速AI模型部署的方法和设备，能够解决现有技术中不是效率低下的技术问题。

本发明解决上述技术问题的技术方案如下：

本发明实施例提出了一种加速AI模型部署的方法，应用于包括多个节点的P2P网络中，该方法包括：

在待部署的机器上设置基于P2P算法的传输工具；

将所述机器作为一个新的节点加入到P2P网络中；

将待部署的AI模型的数据进行分片，以将所述数据分为多个数据片；

基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片；

确定每个所述数据片的特征码，其中，不同的所述数据片对应不同的所述特征码；

在Chord环上存储所述特征码，以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。

在一个具体的实施例中，所述将所述机器作为一个新的节点加入到P2P网络中，包括：

对所述机器进行鉴权；

若鉴权通过，则通过鉴权的所述机器作为一个新的节点加入到P2P网络中。

在一个具体的实施例中，还包括：

若鉴权不通过，则基于未通过鉴权的所述机器的信息生成提示信息。

在一个具体的实施例中，所述鉴权是使用所述P2P网络中的一个或多个所述节点完成的。

在一个具体的实施例中，所述数据片的大小为240KB-280KB之间的任意值。