[发明专利]模型训练方法、装置、设备和存储介质

说明书

本公开提供了一种模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域。模型训练方法包括：采用多个已训练模型，提取图像样本的图像特征，以获得多个第一图像特征；采用待训练模型，提取所述图像样本的图像特征，以获得第二图像特征；基于所述多个第一图像特征确定融合特征；基于所述融合特征和所述第二图像特征构建损失函数，并采用所述损失函数训练所述待训练模型。本公开可以提高待训练模型的处理效果。

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域，可应用于图像处理场景下，尤其涉及一种模型训练方法、装置、设备和存储介质。

背景技术

知识蒸馏(knowledge distillation)是模型压缩的一种常用方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。这个大模型称之为教师(teacher)模型，小模型称之为学生(student)模型。来自teacher模型输出的监督信息称之为知识(knowledge)，而student模型学习迁移来自teacher模型的监督信息的过程称之为蒸馏(distillation)。

相关技术中，一般采用单一的教师模型为学生模型提供监督信息。

发明内容

本公开提供了一种图像模型的训练方法、装置、设备和存储介质。

根据本公开的一方面，提供了一种模型训练方法，包括：采用多个已训练模型，提取图像样本的图像特征，以获得多个第一图像特征；采用待训练模型，提取所述图像样本的图像特征，以获得第二图像特征；基于所述多个第一图像特征确定融合特征；基于所述融合特征和所述第二图像特征构建损失函数，并采用所述损失函数训练所述待训练模型。

根据本公开的另一方面，提供了一种模型训练装置，包括：得多个第一图像特征；第二提取模块，用于采用待训练模型，提取所述图像样本的图像特征，以获得第二图像特征；融合模块，用于基于所述多个第一图像特征确定融合特征；训练模块，用于基于所述融合特征和所述第二图像特征构建损失函数，并采用所述损失函数训练所述待训练模型。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

根据本公开的技术方案，可以提高待训练模型的处理效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开第四实施例的示意图；

图5是根据本公开第五实施例的示意图；

图6是用来实现本公开实施例的模型训练方法中任一方法的电子设备的示意图。

具体实施方式