[发明专利]基于多种通信模式的深度学习大模型推理部署方法

权利要求书

1.基于多种通信模式的深度学习大模型推理部署方法，其特征在于，包括以下步骤：

S1、对大模型进行模型并行与流水线并行分割；

S2、进程运行，其中一个为主进程，除了主进程外的其他进程中，仅有通信初始化逻辑；

S3、初始化所有通信；

S4、主进程通过远程过程调用在所有进程上对相应模型分块进行实例化；

S5、当一个推断请求到来时，主进程通过远程过程调用通知所有进程相应的信息，被调用的进程将执行信息压入自己的消息队列，后启动推理过程。

2.根据权利要求1所述的基于多种通信模式的深度学习大模型推理部署方法，其特征在于，所述步骤S1具体为：将待推理模型按模型并行与流水线并行进行层间与层内的切割，需要满足模型并行维度与流水线并行维度的乘积等于总的进程数量。

3.根据权利要求1所述的基于多种通信模式的深度学习大模型推理部署方法，其特征在于，所述步骤S3具体为：远程过程调用通信，所有的进程都在一个通信组中，模型并行通信。

4.根据权利要求1所述的基于多种通信模式的深度学习大模型推理部署方法，其特征在于，所述流水线预热阶段描述：由于流水线后序进程依赖于前序进程，前序进程启动推理后，后序进程则进入通信等待时间，前须进程中同一个模型并行组内的进程通过集合通信完成推理，输出结果通过点对点通信传递到流水线后序进程，流水线后序进程启动推理，往复该过程直至流水线末尾将结果返回主进程。

5.根据权利要求1所述的基于多种通信模式的深度学习大模型推理部署方法，其特征在于，所述流水线稳定运行阶段描述：有足够多的推理请求时，请求都将被压入各自进程的消息队列中，当后序进程开始推理时，前序进程将启动下一个请求的推理，当该后序节点完成推理后即可得到前序进程关于下一个请求的输出，无需等待。

6.根据权利要求3所述的基于多种通信模式的深度学习大模型推理部署方法，其特征在于，所述远程过程调用的具体步骤为：负责调用远程进程上的实例化方法，当有新的推理请求进来时，发起具体控制逻辑，管理运行过程中多个远程进程之间协同工作，控制逻辑包括，模型计算与进程间通信，点对点通信，在流水线并行中，前序进程完成推理后需要将结果传输给下一个设备，下一个进程接收上一个进程的结果作为输出，得到输出，该数据传输过程由点对点通信完成。

7.根据权利要求4所述的基于多种通信模式的深度学习大模型推理部署方法，其特征在于，所述集合通信具体为：在模型并行中，每一个进程的输出是同一模型并行组中所有进程的输入，该数据传输在系统中由集合通信负责。