[发明专利]基于反事实分析的第一视角视频行为预测模型训练方法

说明书

本发明提供一种基于反事实分析的第一视角视频行为预测模型训练方法，采用第一视角视频训练集对预测模型进行多轮迭代训练直至收敛，其中，每轮训练包括：分别提取每个样本的视觉特征和语义特征；分别对视觉特征和语义特征进行编解码处理得到视觉特征对应的下一时刻的高维特征向量和语义特征对应的下一时刻的高维特征向量；基于高维特征向量分别获得下一时刻的反事实预测向量和事实预测向量；从每个样本对应的事实预测向量中按照相似度抠除反事实预测向量得到下一时刻的最终行为预测向量；每个样本的下一时刻的行为对应的最终预测向量与对应下一时刻的行为标签对应的向量之间的交叉熵损失更新预测模型的参数。

技术领域

本发明涉及视频图像处理领域，具体来说，涉及第一视角视频行为预测领域，更具体地说，涉及一种基于反事实分析的第一视角视频行为预测模型训练方法、行为预测方法及系统。

背景技术

第一视角行为预测是指根据一段已发生的视频片段预测接下来可能发生的行为，以参考文献[1]为代表的方案致力于从输入的视频片段中提取视觉特征，并且将这些视觉信息送入由两个级联的长短时记忆网络构成的行为预测模型中，以形成对观察内容的总结和对未来行为的假设，从而充分利用这些视觉信息实现对未来行为的预测；以参考文献[2]为代表的方案则是在视觉特征的基础上引入行为标签所包含的语义信息，将视觉特征和过去行为的语义标签一起送入行为预测模型得到基于多模态信息的预测结果，通过结合视觉和语义信息提升行为预测的性能；以参考文献[3]为代表的方案则是考虑行为之间的语义关联可能使得预测模型产生语义偏差，即受行为标签在数据集中不均衡分布的影响使得产生的预测结果更偏向于高频标签，提出了反事实分析方案，旨在保留多模态信息的基础上削弱行为标签之间的语义关联带来的副作用，使得模型更关注能够反映每个案例具体信息的视觉内容，从而进一步提升行为预测的可靠性。

相比较来说，基于反事实分析的行为预测比另外两类方案的预测可靠性更高，但是，现有技术在使用反事实分析方案去除语义信息带来的偏差时，通常的做法是首先基于视觉信息和语义信息得到事实阶段的预测结果Y^f，然后仅利用过去行为的语义标签预测未来行为得到反事实阶段的预测结果Y^c，最后从事实阶段的预测结果中扣除反事实阶段的预测结果，得到最终的预测结果(Y^f-Y^c)，这种操作的方式是对Y^f和Y^c这两个向量直接作差，没有考虑样本与样本之间、类别与类别之间的差异性，会存在矫枉过正现象，使得一些类别的预测准确率在引入反事实分析之后下降，不能自适应地缓解语义信息带来的偏差。

参考文献：

[1]Antonino Furnari and Giovanni Maria Farinella.What Would YouExpect？Anticipating Egocentric Actions with Ro lling-Unrol ling LSTMs andModality Attention.In Proceedings of the IEEE lnternational Conference onComputer Vision 2019：6251-6260.

[2]Antoine Miech，lvan Laptev，Josef Sivic，Heng Wang，Lorenzo Torresani，and Du Tran.Leveraging the Present to Anticipate the Futurein Videos.lnProceedings of the I EEE Conferenceon Computer Vision and Pattern RecognitionWorkshops 2019.2915-2922.