[发明专利]模型确定方法及相关装置

说明书

本申请实施例提供一种模型确定方法及相关装置，其中，所述方法包括：根据第一模型对所述输入视频进行分类处理，得到第一特征数据，以及根据第二模型对所述输入视频进行分类处理，得到第二特征数据；根据所述第一特征数据、所述第二特征数据，确定第一损失函数；根据所述第一模型和所述第二模型的网络参数，确定第二损失函数；根据所述第一损失函数和所述第二损失函数中至少一个，确定目标损失函数；根据所述目标损失函数对所述第一模型进行调整，以得到第三模型，能够提升调整后得到的模型处理视频分类任务时的准确性。

技术领域

本申请涉及数据处理技术领域，具体涉及一种模型确定方法及相关装置。

背景技术

行为识别作为视频行为理解领域中最基础的研究方向之一，旨在识别修剪视频中发生的动作类别，吸引了越来越多人的关注。现有的基于深度学习的方法主要包含了两种典型的类别：双流网络旨在从RGB图像和堆叠光流中分别捕捉表冠和运动信息，而三维卷积采用3D卷积直接从原始视频中捕捉空间和时间信息。然而，无论哪种方案，为了获得较好的性能，通常都需要牺牲巨大的参数和资源作为代价。

为了考虑行为分类的实时性，越来越多研究学者开始探索轻量化模型。蒸馏学习是一种常见的模型轻量化手段，通过将较大的教师模型中关键的信息蒸馏进较小的学生模型中，从而使得学生模型达到与教师模型相近的性能。少数的用于视频分类任务的蒸馏方法大多停留在输入数据层面的有效选取，或者照搬图像分类领域的蒸馏方法，导致了蒸馏得到的学生模型在处理视频分类任务时的准确性较低。

发明内容

本申请实施例提供了一种模型确定方法及相关装置，能够提升调整后得到的模型处理视频分类任务时的准确性。

本申请实施例的第一方面提供了一种模型确定方法，该方法包括：

根据第一模型对输入视频进行分类处理，得到第一特征数据，以及根据第二模型对输入视频进行分类处理，得到第二特征数据；

根据第一特征数据、第二特征数据，确定第一损失函数；

根据第一模型和第二模型的网络参数，确定第二损失函数；

根据第一损失函数和第二损失函数中至少一个，确定目标损失函数；

根据目标损失函数对第一模型进行调整，以得到第三模型。

本示例中，通过第一模型、第二模型对输入视频进行分类处理后得到的第一特征数据和第二特征数据确定第一损失函数，通过第一模型和第二模型的网络参数确定第二损失函数，通过第一损失函数和第二损失函数确定的目标损失函数对第一模型进行调整，得到第三模型，相对于现有方案中，蒸馏方法大多停留在输入数据层面的有效选取，能够通过第一模型和第二模型获取到的第一损失函数和第二损失函数来确定的目标损失函数对第一模型进行监督学习，以得到第三模型，从而能够从模型参数等方面对模型进行蒸馏得到第三模型，提升了第三模型处理视频分类任务时的准确性。

结合第一方面，在一个可能的实现方式中，根据第一特征数据、第二特征数据，确定第一损失函数，包括：

对第一特征数据进行变换，以得到第一频谱数据，以及对所述第二特征数据进行变换，以得到第二频谱数据；

至少根据所述第一频谱数据和第二频谱数据，确定第一损失函数。

本示例中，通过对第一特征数据和第二特征数据进行变换，以得到第一频谱数据和第二频谱数据，通过第一频谱数据和第二频谱数据确定第一损失函数，能够通过频谱损失函数(第一损失函数)对蒸馏进行监督，提升了模型蒸馏时的准确性。

结合第二方面，在一个可能的实现方式中，第一频谱数据包括第一模型中的K个第一恒等结构块的输出数据进行变换后的数据，第二频谱数据包括第二模型中的K个第二恒等结构块的输出数据进行变换后的数据，至少根据第一频谱数据和第二频谱数据，确定第一损失函数，包括：