[发明专利]视频分析方法及其相关的模型训练方法、设备、装置

说明书

本申请公开了一种视频分析方法及相关的模型训练方法、设备、装置，其中，视频分析方法包括：获取待分析视频；利用预设网络模型对待分析视频进行特征提取，得到第一多维特征图，其中，第一多维特征图包含与待分析视频对应的不同时序上的特征信息；利用偏移预测网络对第一多维特征图进行预测，得到偏移信息；利用偏移信息对第一多维特征图的至少部分特征信息进行时序偏移，并基于偏移后的特征信息得到第二多维特征图；利用预设网络模型对第二多维特征图进行分析，得到待分析视频的分析结果信息。上述方案，能够提高视频分析的处理速度和准确度。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种视频分析方法及相关的模型训练方法、设备、装置。

背景技术

随着神经网络、深度学习等人工智能技术的发展，对神经网络模型进行训练，并利用经训练的神经网络模型完成分类、检测等任务的方式，逐渐受到人们的青睐。

目前，现有的神经网络模型一般是以静态图像作为处理对象而进行设计的，故当对包含时序信息且数据量较大的视频进行分析处理时，难以确保视频分析的处理速度和准确度。有鉴于此，如何提高视频分析的处理速度和准确度成为亟待解决的问题。

发明内容

本申请提供一种视频分析方法及相关的模型训练方法、设备、装置。

本申请第一方面提供了一种视频分析方法，包括：获取待分析视频；利用预设网络模型对待分析视频进行特征提取，得到第一多维特征图，其中，第一多维特征图包含与待分析视频对应的不同时序上的特征信息；利用偏移预测网络对第一多维特征图进行预测，得到偏移信息；利用偏移信息对第一多维特征图的至少部分特征信息进行时序偏移，并基于偏移后的特征信息得到第二多维特征图；利用预设网络模型对第二多维特征图进行分析，得到待分析视频的分析结果信息。

因此，能够直接对待分析视频的时序信息进行建模，有利于提高视频分析的处理速度，且通过时序偏移，能够使空间信息和时序信息联合交错，故在此基础上进行分析处理，有利于提高视频分析的准确度。

其中，在利用偏移信息对第一多维特征图的至少部分特征信息进行时序偏移，并基于偏移后的特征信息得到第二多维特征图之前，还包括：利用权重预测网络对第一多维特征图进行预测，得到权重信息；利用偏移信息对第一多维特征图的至少部分特征信息进行时序偏移，并基于偏移后的特征信息得到第二多维特征图，包括：利用偏移信息对第一多维特征图的至少部分特征信息进行时序偏移；利用权重信息对偏移后的特征信息进行加权处理；基于加权处理后的特征信息，得到第二多维特征图。

因此，通过偏移、加权的处理步骤能够直接得到空间、时序联合交错的特征信息，有利于提高视频分析的处理速度和准确度。

其中，第一多维特征图的维度包括时序维度和预设维度；利用偏移信息对第一多维特征图的至少部分特征信息进行时序偏移，包括：按照预设维度从第一多维特征图中选择至少一组特征信息，其中，每组特征信息包括同一预设维度上对应不同时序的特征信息；利用偏移信息对至少一组特征信息在时序维度上进行偏移。

因此，按照预设维度从第一多维特征图中选择至少一组特征信息，且每组特征信息包括同一预设维度上对应不同时序的特征信息，并利用偏移信息对至少一组特征信息在时序维度上进行偏移，故能够降低偏移处理的计算量，进一步有利于提高视频分析的处理速度。

其中，预设维度为通道维度；和/或，偏移信息包括第一数量个偏移值，至少一组特征信息包括第一数量组第一特征信息；利用偏移信息对至少一组特征信息在时序维度上进行偏移包括：利用偏移信息中第i个偏移值对第i组第一特征信息在时序维度上进行偏移，得到第i组第二特征信息，其中，i为小于或等于第一数量的正整数。

因此，通过将与偏移信息中包含的偏移值数量相同组数的第一特征信息对应进行偏移处理，能够直接得到空间、时序联合交错的特征信息，有利于提高视频分析的处理速度和准确度。