[发明专利]混合专家模型训练的性能优化方法和装置

权利要求书

1.一种混合专家模型训练的性能优化方法，其特征在于，包括：

在一次迭代计算前，对于所述混合专家模型中所有专家中的每一个，判定当前专家是否被设置为影子专家，若是，将当前专家添加至影子专家集合，继续判定下一个专家是否被设置为影子专家直至所有专家被判定完成；

所述判定当前专家是否被设置为影子专家具体包括：

计算基于当前影子专家集合的混合专家模型迭代计算的第一总延迟时间；

计算将所述当前专家添加至所述影子专家集合后基于当前影子专家集合的混合专家模型迭代计算的第二总延迟时间；

根据所述第一总延迟时间和第二总延迟时间，判定是否将所述当前专家设置为影子专家。

2.根据权利要求1所述的方法，其特征在于，所述计算基于当前影子专家集合的混合专家模型迭代计算的第一总延迟时间，包括：

获取所述基于当前影子专家集合的混合专家模型中的每个服务器在所述迭代计算中的第一计算时间和第一通信时间；

根据所述基于当前影子专家集合的混合专家模型中的每个服务器在所述迭代计算中的第一计算时间和第一通信时间，得到所述每个服务器在所述迭代计算中的第一延迟时间；

在所述每个服务器在所述迭代计算中的第一延迟时间中，选取所述第一延迟时间中的最大值作为所述第一总延迟时间。

3.根据权利要求2所述的方法，其特征在于，所述获取所述基于当前影子专家集合的混合专家模型中的每个服务器在所述迭代计算中的第一计算时间和第一通信时间，包括：

根据所述每个服务器的第一输入数据数量、隐层尺寸比例、所述混合专家模型的特征向量长度和计算吞吐量，得到所述第一计算时间；

根据所述每个服务器的第一输入数据数量、所述混合专家模型的特征向量长度和网络带宽，得到所述第一通信时间。

4.根据权利要求2所述的方法，其特征在于，所述根据所述基于当前影子专家集合的混合专家模型中的每个服务器在所述迭代计算中的第一计算时间和第一通信时间，得到所述每个服务器在所述迭代计算中的第一延迟时间，包括：

将所述每个服务器在所述迭代计算中的第一计算时间和第一通信时间相加，得到所述每个服务器在所述迭代计算中的第一延迟时间。

5.根据权利要求1所述的方法，其特征在于，所述计算将所述当前专家添加至所述影子专家集合后基于当前影子专家集合的混合专家模型迭代计算的第二总延迟时间，包括：

获取将所述当前专家添加至所述影子专家集合后，所述混合专家模型中的每个服务器在所述迭代计算中的第二计算时间和第二通信时间；

根据所述每个服务器在所述迭代计算中的第二计算时间和第二通信时间，得到所述每个服务器在所述迭代计算中的第二延迟时间；

在所述每个服务器在所述迭代计算中的第二延迟时间中，选取所述第二延迟时间中的最大值作为所述第二总延迟时间。

6.根据权利要求5所述的方法，其特征在于，所述获取将所述当前专家添加至所述影子专家集合后，所述混合专家模型中的每个服务器在所述迭代计算中的第二计算时间和第二通信时间，包括：

根据所述每个服务器的第二输入数据数量、隐层尺寸比例、所述混合专家模型的特征向量长度和计算吞吐量，得到所述第二计算时间；

根据所述影子专家集合中的影子专家的数量、隐层尺寸比例、所述混合专家模型的特征向量长度和网络带宽，得到所述第二通信时间。

7.根据权利要求5所述的方法，其特征在于，所述根据所述每个服务器在所述迭代计算中的第二计算时间和第二通信时间，得到所述每个服务器在所述迭代计算中的第二延迟时间，包括：

将所述每个服务器在所述迭代计算中的第二计算时间和第二通信时间相加，得到所述每个服务器在所述迭代计算中的第二延迟时间。

8.根据权利要求1所述的方法，其特征在于，所述根据所述第一总延迟时间和第二总延迟时间，判定是否将所述当前专家设置为影子专家，包括：

判定所述第二总延迟时间是否小于第一总延迟时间；若是，则判定将所述当前专家设置为影子专家；若否，则判定不将所述当前专家设置为影子专家。