[发明专利]基于多种通信模式的深度学习大模型推理部署方法

说明书

本发明公开了基于多种通信模式的深度学习大模型推理部署方法，具体涉及程序模型领域，包括以下步骤：S1、对大模型进行模型并行与流水线并行分割；S2、进程运行，其中一个为主进程，除了主进程外的其他进程中，仅有通信初始化逻辑；S3、初始化所有通信；S4、主进程通过远程过程调用在所有进程上对相应模型分块进行实例化；S5、当一个推断请求到来时，主进程通过远程过程调用通知所有进程相应的信息，被调用的进程将执行信息压入自己的消息队列，后启动推理过程，本发明能够统一程序入口，实现非阻塞的流水线推理，在行为上，可将分布式推理封装成单设备推理具有相同行为，易于对分布式推理进行管理。

技术领域

本发明涉及程序模型领域，尤其涉及基于多种通信模式的深度学习大模型推理部署方法。

背景技术

深度学习模型逐渐变得越来越大以达到更佳的精度要求，深度学习模型的参数量已经达到百亿级别，甚至千亿级别，智源悟道2.0模型甚至有1.75万亿的参数规模；

百亿级别大模型以FP16精度进行存储需要20GB的内存，已经逼近甚至超过了大多数加速器片上存储的极限，同时由于庞大的计算量，单设备推理大模型也难以满足推理任务的延迟要求。因此，如何协调节点内及节点间多设备对大模型进行分布式推理是重要的研究内容；

当前具有大模型分布式推理能力的框架有Deepspeed-Inference和FasterTransformer针对GPT的分布式实现，但在实现上均采用分布式深度学习训练的去中心化模式，无法对分布式推理中的多个进程进行管理，无法实现统一的输入/输出接口，无法对分布式推理任务的扩展和多模型参数进行管理，进而无法包装成服务对外提供推理业务。同时，由于当前已有的推理服务部署系统均针对单进程推理实例进行管理，现有分布式推理方案无法封装成单个实例直接复用现有的管理逻辑，例如：例：现有任务的启动方式是如MPI的启动方式(mpirun-n 4evaluate.py)，每一个任务进程之间相互独立，不易管理，对于训练任务是合适的，但是对于推理任务则不合适。如流水线推理时，任务的入口在进程0，而任务的出口则在最后一个进程，因此本发明提出基于多种通信模式的深度学习大模型推理部署方法。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的基于多种通信模式的深度学习大模型推理部署方法。

为了实现上述目的，本发明采用了如下技术方案：

基于多种通信模式的深度学习大模型推理部署方法，包括以下步骤：

S1、对大模型进行模型并行与流水线并行分割；

S2、进程运行，其中一个为主进程，除了主进程外的其他进程中，仅有通信初始化逻辑；

S3、初始化所有通信；

S4、主进程通过远程过程调用在所有进程上对相应模型分块进行实例化；

S5、当一个推断请求到来时，主进程通过远程过程调用通知所有进程相应的信息，被调用的进程将执行信息压入自己的消息队列，后启动推理过程。

优选的，所述步骤S1具体为：将待推理模型按模型并行与流水线并行进行层间与层内的切割，需要满足模型并行维度与流水线并行维度的乘积等于总的进程数量。

优选的，所述步骤S3具体为：远程过程调用通信，所有的进程都在一个通信组中，模型并行通信，由于模型并行维度为2，因此该通信模式中每两个进程作为一组，流水线并行通信，由于流水线并行维度为3。

优选的，所述流水线预热阶段描述：由于流水线后序进程依赖于前序进程，前序进程启动推理后，后序进程则进入通信等待时间，前须进程中同一个模型并行组内的进程通过集合通信完成推理，输出结果通过点对点通信传递到流水线后序进程，流水线后序进程启动推理，往复该过程直至流水线末尾将结果返回主进程。