[发明专利]一种基于多模板提示学习的视觉分类方法和装置

说明书

本发明提供一种基于多模板提示学习的视觉分类方法和装置，涉及机器学习技术领域，包括：利用候选文本集生成多个提示模板下的候选文本集；将待分类的视频的连续视频帧和每一个提示模板下的候选文本集输入视觉语言编码模型中，得到视频在每一个提示模板下的类别概率分布；利用所述类别概率分布，确定视频的视觉分类结果。本发明对多个预设提示模板和融入帧融合模块的视觉语言预训练模型进行全监督模板参数优化‑半监督模型优化以及全监督模板参数微调得到多个提示模板和视觉语言编码模型，提高了视觉语言预训练模型泛化到下游视觉理解任务时的训练样本利用效率，进而将多个提示模板和视觉语言编码模型应用于下游视觉理解任务时可提高理解的准确度。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于多模板提示学习的视觉分类方法和装置。

背景技术

视觉语言预训练(Visual-language pre-training, VLP)采用多模态自监督学习的方式，利用大规模“图像/视频-文本对”数据，来学习视觉与语言之间的跨模态语义关联。然而，现有视觉语言预训练模型在应用到下游的图像/视频理解任务时，通常是在编码特征后面串联一个新的分类器/回归器，然后进行端到端的参数微调。这种方式存在两方面问题，第一方面，由于下游任务与预训练任务不一致，端到端的学习会造成预训练阶段学习到的知识的丢失；第二方面，当下游任务的训练样本较少时，微调的参数过多会造成过拟合。

与参数微调方法不同，提示学习方法借助提示模板来对下游任务进行转化，让其适应预训练模型，使得下游任务的目标函数与预训练任务保持一致。例如，在图像分类任务中，使用预定义的提示模板“A photo of [CLASS]”，测试时用候选的类别名称替换[CLASS]，得到的文本与测试图像一起送入图像-文本预训练模型中进行编码和匹配，从而完成图像分类。或者采用可学习的提示模板“X X X X X X [CLASS]”，在有分类标签样本上训练模板参数。然而，现有提示学习方法缺少可学习模板参数或可学习模板参数极少，并不能有效地利用下游任务样本，以致预训练模型泛化到下游任务上的泛化性能低。

发明内容

针对现有提示学习方法在将视觉语言预训练模型泛化到下游任务时存在的训练样本利用效率低的问题，本发明提供一种基于多模板提示学习的视觉分类方法和装置，对多个预设提示模板和融入帧融合模块的视觉语言预训练模型进行全监督模板参数优化-半监督模型优化以及全监督模板参数微调得到多个提示模板和视觉语言编码模型，通过模板参数和帧融合模块参数的联合优化，提高了训练样本利用效率，进而在将多个提示模板和视觉语言编码模型应用于下游视觉理解任务时提高了任务理解的准确度。

第一方面，本发明提供一种基于多模板提示学习的视觉分类方法，所述方法包括：

获取待分类的视频；

对于多个提示模板中的每一个提示模板，基于视觉分类任务的类别名称集生成所述提示模板下的候选文本集；其中，将一个类别名称嵌入一个提示模板中可生成相应提示模板下关联相应类别名称的一个候选文本；

将所述视频的连续视频帧和所述候选文本集输入视觉语言编码模型中，得到所述视频在所述提示模板下的类别概率分布；

利用所述视频在多个提示模板下的类别概率分布，确定所述视频的视觉分类结果；

其中，所述多个提示模板和所述视觉语言编码模型，是利用半标注的视觉分类样本集，对多个预设提示模板和改进的视觉语言预训练模型进行全监督模板参数优化-半监督模型优化以及全监督模板参数微调的三阶段训练而得到的；

所述改进的视觉语言预训练模型为是在视觉语言预训练模型中的图像编码器后面接入帧融合模块而得到；所述帧融合模块用于对输入的连续视频帧的视觉特征进行特征融合。

根据本发明提供的基于多模板提示学习的视觉分类方法，所述多个预设提示模板的生成过程，包括：