[发明专利]模型生成方法及视频筛选方法、相关装置、存储介质

权利要求书

1.一种视频多模态模型的生成方法，其特征在于，包括：

获取多个训练样本以及每个所述训练样本对应的硬标签；其中，每个所述训练样本包括一个样本视频以及所述样本视频的标题；

利用各个所述训练样本、各个所述训练样本对应的硬标签，以及由教师模型计算得到的每个所述训练样本对应的软标签，对所述视频多模态模型进行训练，直至所述视频多模态模型对应的损失函数收敛；其中，所述软标签用于表征对应的训练样本的属于各个视频标签的概率；所述硬标签和所述软标签作为训练所述视频多模态模型的监督信号；所述视频多模态模型的损失函数用于反映模型输出结果与训练所述视频多模态模型的两个所述监督信号的总偏差；所述视频多模态模型与所述教师模型具有相同架构。

2.根据权利要求1所述的方法，其特征在于，所述利用各个所述训练样本、各个所述训练样本对应的硬标签，以及由教师模型计算得到的每个所述训练样本对应的软标签，对所述视频多模态模型进行训练之前，还包括：

利用各个所述训练样本以及各个所述训练样本对应的硬标签，对所述教师模型进行训练，直至所述教师模型对应的损失函数收敛；其中，各个所述训练样本作为所述教师模型的输入；所述硬标签作为训练所述教师模型的监督信号。

3.根据权利要求1所述的方法，其特征在于，所述利用各个所述训练样本、所述各个所述训练样本对应的硬标签，以及由教师模型计算得到的每个所述训练样本对应的软标签，对所述视频多模态模型进行训练之前，还包括：

利用各个所述训练样本以及各个所述训练样本对应的硬标签，对所述教师模型进行预设次数的迭代训练；其中，各个所述训练样本作为所述教师模型的输入；所述硬标签作为训练所述教师模型的监督信号；

其中：所述利用各个所述训练样本、各个所述训练样本对应的硬标签，以及由教师模式计算得到的每个所述训练样本对应的软标签，对所述视频多模态模型进行训练，包括：

利用各个所述训练样本、各个所述训练样本对应的硬标签以及由进行预设次数迭代训练后的所述教师模型，计算得到的每个所述训练样本对应的软标签，对所述视频多模态模型进行设定次数的迭代训练；其中，训练过程中在每次更新所述视频多模态模型的参数后，将更新后的所述参数替换所述教师模型中对应的参数；

若在对所述视频多模态模型进行预设次数的迭代训练过程中，所述视频多模态模型对应的损失函数均未收敛，则返回执行所述利用各个所述训练样本以及各个所述训练样本对应的硬标签，对所述教师模型进行预设次数的迭代训练；

若在对所述视频多模态模型进行预设次数的迭代训练过程中，所述视频多模态模型对应的损失函数收敛，则结束对所述视频多模态模型的训练。

4.一种视频筛选方法，其特征在于，包括：

分别将视频库中的多个视频以及每个所述视频的标题输入视频多模态模型，通过所述视频多模态模型计算得到各个所述视频的多模态向量；其中，所述视频多模态模型利用多个训练样本、各个所述训练样本对应的硬标签，以及由教师模型计算得到的每个所述训练样本对应的软标签进行训练得到；每个所述训练样本包括一个样本视频以及所述样本视频的标题；所述软标签用于表征对应的训练样本的属于各个视频标签的概率；所述硬标签和所述软标签为训练所述视频多模态模型的监督信号；所述视频多模态模型与所述教师模型具有相同架构；

基于各个所述视频的多模态向量，利用向量索引工具对各个所述视频进行检索，得到多组重复视频；

分别针对每一组所述重复视频，确定出所述重复视频中的属于搬运号搬运的视频，并将各个所述搬运的视频进行打压。

5.根据权利要求4所述的方法，其特征在于，所述分别将视频库中的多个视频以及每个所述视频的标题输入所述视频多模态模型，通过所述视频多模态模型计算得到各个所述视频的多模态向量之后，还包括：

将目标广告图进行时序过采样，得到伪视频；

将所述目标广告图对应的广告文案以及所述伪视频输入所述视频多模态模型中，通过所述视频多模态模型计算得到各个所述视频的多模态向量；

基于所述伪视频的多模态向量与各个所述视频的多模态向量，确定出与所述伪视频相匹配的各个所述视频；

将与所述目标广告图相匹配的各个所述视频和所述目标广告图，推送给客户端。