[发明专利]模型生成方法及视频筛选方法、相关装置、存储介质

说明书

本申请公开了一种模型生成方法及视频筛选方法、相关装置、存储介质，所述方法包括：获取多个训练样本以及每个训练样本对应的硬标签；每个训练样本包括一个样本视频以及样本视频的标题；利用各个训练样本、各个训练样本对应的硬标签，以及由教师模型计算得到的每个训练样本对应的软标签，对视频多模态模型进行训练，直至视频多模态模型对应的损失函数收敛软标签用于表征对应的训练样本的属于各个视频标签的概率；硬标签和软标签作为训练视频多模态模型的监督信号；视频多模态模型的损失函数用于反映模型输出结果与训练视频多模态模型的两个监督信号的总偏差；视频多模态模型与教师模型具有相同架构。通过软硬标签结合训练模型，提高模型的精确度。

技术领域

本申请涉及视频数据处理技术领域，特别涉及一种模型生成方法及视频筛选方法、相关装置、存储介质。

背景技术

在人工智能领域中，可以将视频以及视频的标题输入学习训练好后的视频多模态模型中，通过视频多模态模型输出视频的多模态向量，从而可以利用视频的多模态向量进行视频去重、视频精排等。

现有的视频多模态模型的主要学习方法，以样本视频的硬标签作为训练的监督信号。其中，硬标签为仅包含0和1的一个多维向量，向量中每个维度对应一个视频标签，0表示样本视频不属于该视频标签，1则表示样本视频属于该视频标签。具体通过将样本视频和样本视频的标题输入视频多模态模型中，到样本视频的向量和标题的向量，然后将两个向量通过合并层进行处理，得到样本视频的多模态向量。最后，利用多模态向量输入分类器中所输出的结果与样本视频的硬标签，通过损失函数计算两者的偏差，并基于偏差进行反向传播，更新视频多模态模型的参数。在进行多次上述的迭代训练后，就可以获得满足收敛条件的视频多模态模型。

但是，作为监督信号的样本视频的硬标签对应的视频标签是人工标注的，所以经常出现标签漏标、或者相同主题的视频标注不同的视频标签等情况。因此，通过上述方式进行训练时，会受到视频标注噪声的影响，从而使得视频多模态模型的精度不高，所得的结果置信度不高。

发明内容

基于上述现有技术的不足，本申请提供了一种模型生成方法及视频筛选方法、相关装置、存储介质，以解决现有技术中硬标签存在表中噪声，使得生成的视频多模态模型的精度不高的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请第一方面提供了一种视频多模态模型的生成方法，包括：

获取多个训练样本以及每个所述训练样本对应的硬标签；其中，每个所述训练样本包括一个样本视频以及所述样本视频的标题；

利用各个所述训练样本、各个所述训练样本对应的硬标签，以及由教师模型计算得到的每个所述训练样本对应的软标签，对所述视频多模态模型进行训练，直至所述视频多模态模型对应的损失函数收敛；其中，所述软标签用于表征对应的训练样本的属于各个视频标签的概率；所述硬标签和所述软标签作为训练所述视频多模态模型的监督信号；所述视频多模态模型的损失函数用于反映模型输出结果与训练所述视频多模态模型的两个所述监督信号的总偏差；所述视频多模态模型与所述教师模型具有相同架构。

可选地，在上述的视频多模态模型的生成方法中，所述利用各个所述训练样本、各个所述训练样本对应的硬标签，以及由教师模型计算得到的每个所述训练样本对应的软标签，对所述视频多模态模型进行训练之前，还包括：

利用各个所述训练样本以及各个所述训练样本对应的硬标签，对所述教师模型进行训练，直至所述教师模型对应的损失函数收敛；其中，各个所述训练样本作为所述教师模型的输入；所述硬标签作为训练所述教师模型的监督信号。

可选地，在上述的视频多模态模型的生成方法中，所述利用各个所述训练样本、所述各个所述训练样本对应的硬标签，以及由教师模型计算得到的每个所述训练样本对应的软标签，对所述视频多模态模型进行训练之前，还包括：