[发明专利]一种视觉大模型分布式训练方法及系统

说明书

本发明公开了一种视觉大模型分布式训练方法及系统，所述方法包括：构建分布式训练系统，包括主控服务器、多个GPU服务器、分布式存储服务器和存储网络交换机；根据视觉大模型训练所用数据集的大小，确定数据加载方式；根据所述视觉大模型的结构特点，对所述视觉大模型中不同类型的网络层组的参数量和计算量进行评估，结合GPU的算力和缓存能力对所述视觉大模型进行分解，确定所述视觉大模型的并行训练方案；采用混合并行模式进行模型训练，基于所述主控服务器进行模型聚合、全局模型更新和模型分发，在训练过程中每隔若干周期利用训练集和验证集对所述视觉大模型进行测评，当所述视觉大模型收敛后停止训练；本发明实现了视觉大模型的高效训练。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种视觉大模型分布式训练方法及系统。

背景技术

随着计算机视觉、人工智能、通信技术、处理器硬件等应用技术的飞速发展，视频监控设备以其蕴含信息丰富、支撑任务类型多、成本低等巨大优势，在生产、生活及城市管理等诸多方面都发挥着日益重要的作用。目前，各类视频设备的部署与应用日益广泛，视觉数据的数据量也急剧增加，如何有效和充分地使用和处理视觉大数据是关系各应用领域发展的重要课题。

在基于人工智能的视觉应用领域，针对具体任务的有标签训练数据的规模也大幅增长，例如：对于图像分类任务，ImageNet(用于视觉对象识别软件研究的大型可视化数据库)数据集包含超过1400万张图片，覆盖2万多个类别；对于行为识别任务，Kinetics-700数据集包含大约65万段视频，覆盖700个动作类。显而易见地，这些数据集的规模还在不断增长中，尤其是视频数据集所占用的存储空间会远远超过同等数量的图片数据，而这对于日益增多的视频类应用是不可或缺的，能够提高算法模型的性能和普适性。同时，大规模数据集使得大规模模型的训练成为可能，基于大模型强大的表达能力，能够更好地解决视觉应用中的人工智能算法学习问题，这些性能先进的视觉大模型能够为安防、交通、警务等行业的应用带来极大的便利。

然而，这将给训练过程带来大数据和大模型的双重挑战，一般的单机训练方法在计算速度和存储能力上都无法满足要求，采用多机分布式训练和大容量存储设施是应对该挑战的主流对策，考虑到目前单块GPU已经具备了很强的运算能力，多机分布式训练时长主要受限于较长的通信时延。

现有的方法没有考虑模型较大，例如亿级甚至十亿级参数量的模型训练问题，对模型划分方法、大规模数据的存储和加载方法也没有高效的解决方案，难以解决利用视觉大数据对大模型进行高效训练的问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种视觉大模型分布式训练方法及系统，旨在解决现有技术中受数据传输速率制约，难以利用视觉大数据对视觉大模型进行高效训练的问题。

为实现上述目的，本发明提供一种视觉大模型分布式训练方法，所述视觉大模型分布式训练方法包括如下步骤：

构建分布式训练系统，所述分布式训练系统包括主控服务器、多个GPU服务器、分布式存储服务器和存储网络交换机；

根据视觉大模型训练所用数据集的大小，确定数据加载方式，所述数据加载方式包括内存加载或者分布式存储系统加载；

根据所述视觉大模型的结构特点，对所述视觉大模型中不同类型的网络层组的参数量和计算量进行评估，结合GPU的算力和缓存能力对所述视觉大模型进行分解，确定所述视觉大模型的并行训练方案；

采用混合并行模式进行模型训练，基于所述主控服务器进行模型聚合、全局模型更新和模型分发，在训练过程中每隔若干周期利用训练集和验证集对所述视觉大模型进行测评，当所述视觉大模型收敛后停止训练。

可选地，所述的视觉大模型分布式训练方法，其中，所述构建分布式训练系统，所述分布式训练系统包括主控服务器、多个GPU服务器、分布式存储服务器和存储网络交换机，具体包括：