[发明专利]一种基于同构多教师指导知识蒸馏的图像分类方法及系统

说明书

本发明属于图像分类技术领域，提供了一种基于同构多教师指导知识蒸馏的图像分类方法及系统。该方法包括，基于给定的学生模型，初始化与学生模型结构相同的教师组模型；采用训练集预训练教师组模型；计算教师组模型在训练集上的自信度，基于自信度的自适应初始化策略初始化学生模型参数；采用教师组模型中的各个教师模型联合指导完成模型参数初始化的学生模型；基于待分类的图像，采用优化后的学生模型，得到分类结果。

技术领域

本发明属于图像分类技术领域，尤其涉及一种基于同构多教师指导知识蒸馏的图像分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在自动驾驶领域，网络模型的实时性是一项十分重要的指标。模型需要根据摄像头传入的图片进行分类判断,然后进行驾驶决策。这就需要模型能够快速响应,短时间内得到分类结果。但现阶段的高性能模型参数量较多,一般无法实时响应。这就需要使用模型压缩技术对大模型进行压缩,得到规模较小模型的同时,不会造成太大的精度损失。

知识蒸馏是一种有效的知识转移策略，它建立一个教师-学生框架，通过让学生网络尽可能匹配教师网络的输出，从而将一个大型教师网络的知识转移到一个相对轻量级的学生网络中，使学生网络达到与教师相当的推理性能。然而，现有研究侧重于在传统师生框架下提高知识蒸馏的性能，而忽视了师生框架本身的一些潜在的局限性。具体来说，传统师生框架中存在着能力不匹配的困境，即小型学生网络无法完全模仿大型教师网络的输出。容量越大、精度越高的教师网络，其指导出的学生网络的性能却不一定更好。这说明教师和学生的能力差距可能会抑制知识蒸馏性能的进一步提高。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于同构多教师指导知识蒸馏的图像分类方法及系统，其用一组与学生模型结构相同的多个小教师模型代替传统的大教师模型，以缓解教师与学生能力差距所带来的负面影响，从而提高学生模型的性能，提高模型响应速度的同时保证图像分类的精度。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于同构多教师指导知识蒸馏的图像分类方法。

一种基于同构多教师指导知识蒸馏的图像分类方法，包括：

基于给定的学生模型，初始化与学生模型结构相同的教师组模型；

采用训练集预训练教师组模型；

计算教师组模型在训练集上的自信度，基于自信度的自适应初始化策略初始化学生模型参数；

采用教师组模型中的各个教师模型联合指导完成模型参数初始化的学生模型；

基于待分类的图像，采用优化后的学生模型，得到分类结果。

本发明的第二个方面提供一种基于同构多教师指导知识蒸馏的图像分类方系统。

一种基于同构多教师指导知识蒸馏的图像分类系统，包括：

模型确定模块，其被配置为：基于给定的学生模型，初始化与学生模型结构相同的教师组模型；

模型训练模块，其被配置为：采用训练集预训练教师组模型；

模型参数优化模块，其被配置为：计算教师组模型在训练集上的自信度，基于自信度的自适应初始化策略初始化学生模型参数；

知识蒸馏模块，其被配置为：采用教师组模型中的各个教师模型联合指导完成模型参数初始化的学生模型；

分类模块，其被配置为：基于待分类的图像，采用优化后的学生模型，得到分类结果。

本发明的第三个方面提供一种计算机可读存储介质。