[发明专利]一种视觉大模型分布式训练方法及系统

权利要求书

1.一种视觉大模型分布式训练方法，其特征在于，所述视觉大模型分布式训练方法包括：

构建分布式训练系统，所述分布式训练系统包括主控服务器、多个GPU服务器、分布式存储服务器和存储网络交换机；

根据视觉大模型训练所用数据集的大小，确定数据加载方式，所述数据加载方式包括内存加载或者分布式存储系统加载；

根据所述视觉大模型的结构特点，对所述视觉大模型中不同类型的网络层组的参数量和计算量进行评估，结合GPU的算力和缓存能力对所述视觉大模型进行分解，确定所述视觉大模型的并行训练方案；

采用混合并行模式进行模型训练，基于所述主控服务器进行模型聚合、全局模型更新和模型分发，在训练过程中每隔若干周期利用训练集和验证集对所述视觉大模型进行测评，当所述视觉大模型收敛后停止训练。

2.根据权利要求1所述的视觉大模型分布式训练方法，其特征在于，所述构建分布式训练系统，所述分布式训练系统包括主控服务器、多个GPU服务器、分布式存储服务器和存储网络交换机，具体包括：

所述主控服务器用于对GPU服务器集群的管理与配置、训练过程协同、模型聚合与更新、以及全局模型的存储；

所述GPU服务器用于从本地内存或者通过所述存储网络交换机从所述分布式存储服务器获取训练和验证数据，完成具体的模型训练任务；

所述分布式存储服务器用于超大规模数据集的存取和备份，为所述GPU服务器提供高速数据读取服务；

所述存储网络交换机用于连接多个所述GPU服务器和所述分布式存储服务器，为数据访问提供直接的地址映射和高速数据传输通道。

3.根据权利要求2所述的视觉大模型分布式训练方法，其特征在于，所述GPU服务器集群包括多个GPU服务器；

所述分布式存储服务器包括一系列具有独立控制器的存储服务器集群，存储介质采用全SSD阵列或者SSD与HDD混合阵列构成，对于SSD与HDD混合阵列，将SSD配置为缓存空间；前端接口使用IB接口或FC接口。

4.根据权利要求2所述的视觉大模型分布式训练方法，其特征在于，所述存储网络交换机为FC-NVMe交换机、IB交换机、FC交换机或者万兆交换机中的任意一种。

5.根据权利要求2所述的视觉大模型分布式训练方法，其特征在于，所述存储网络交换机和所述分布式存储服务器共同构成所述分布式存储系统。

6.根据权利要求5所述的视觉大模型分布式训练方法，其特征在于，所述根据视觉大模型训练所用数据集的大小，确定数据加载方式，所述数据加载方式包括内存加载或者分布式存储系统加载，具体包括：

获取所述GPU服务器的硬件资源信息，所述硬件资源信息包括内存大小、显存大小、算力大小以及硬盘容量；

获取所述视觉大模型训练所用数据集占用的存储空间大小；

将所述数据集占用存储空间与所述GPU服务器内存进行比较，当所述数据集占用存储空间与所述GPU服务器内存之比小于预设阈值时，从所述GPU服务器内存中划分出一块空间专门用于存储数据集，在训练开始前事先将全部数据集加载至该内存专用存储空间中供训练时直接读取；

若所述数据集的大小超过预设等级时，将所述数据集存储在所述分布式存储系统中，对于训练过程的每个迭代周期，多个所述GPU服务器通过所述存储网络交换机从所述分布式存储服务器中并发地读取对应批量的数据，暂存至多个所述GPU服务器各自的内存中以供训练使用。