[发明专利]一种基于运动边界小位移的高效运动表征方法及装置

说明书

本发明涉及一种基于运动边界小位移的高效运动表征方法及装置。其中，所述方法包括以下步骤：步骤1、抽取视频序列中的相邻N帧的原始图像；步骤2、利用卷积神经网络处理相邻N帧的原始图像，获得相应的浅层特征图；步骤3、对相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得所有相邻两帧在特征空间中的差异图；步骤4、将所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积；步骤5、按编码方案对差异累积结果进行编码，从而获得本发明所述的高效运动表征。相比于一些依赖光流作为运动表征的方法，本发明无需预先进行复杂的光流计算，可以通过计算浅层特征空间上的差异来建模运动边界小位移，从而极大降低运动表征计算的复杂度。

技术领域

本发明涉及视觉感知和人工智能技术，尤其涉及一种基于运动边界小位移的高效运动表征方法及装置，主要通过对浅层神经网络提取的特征图在特征空间进行差异计算和累积，能够有效建模运动边界小位移作为运动表征。

背景技术

运动表征在近年来的计算机视觉研究中被广泛采用，尤其是视频理解任务。当前主流的基于视频的深度学习任务，比如：动作识别、视频描述、视频预测等，除了原始彩色3通道RGB图像作为输入来提供外观信息外，还需要运动表征作为其中一种输入模态，用以提供时序相关的短程运动信息作为学习辅助。运动表征的建模逐渐成为视觉感知和人工智能领域的一个重要研究方向。视频理解在现实场景中有很多潜在的应用，比如：智能监控、视频检索、智慧安防、异常行为检测等。

当前主流的视频理解方法依赖于光流作为运动表征，由于光流卓越的性能表现，光流常被用于建模短程运动。但是，光流的预先计算需要消耗大量的计算资源和存储空间，这约束了基于光流的视频理解方法在实时场景中的应用。为了克服光流计算效率低下的问题，最近一些方法设计卷积神经网络用于快速光流估计。虽然光流估计的速度得到了较大提升，但是这类方法仍然存在两大问题：（1）先计算光流再送入深度神经网络这一过程是两阶段的，不可以端到端训练，实时场景中的应用仍然受限；（2）光流估计的准确率和最终视频理解任务的性能表现没有很好的相关性。还有一些方法试图直接从RGB图像中重建光流，然而在训练阶段，仍然需要提取好的光流作为监督信息，这严重制约了训练的速度。

由于视频时序信息的复杂性，运动信息的建模始终是视频理解任务的一个巨大的挑战。如何在网络端到端的训练过程中，快速有效地建模视频中的时序短程运动信息，对于动作识别以及其他基于视频的智能视觉感知任务而言，是非常重要的。

发明内容

本发明针对当前主流视频理解方法严重依赖光流作为运动表征，计算复杂度高、耗时的问题，提出一种基于运动边界小位移的高效运动表征方法及装置。本发明通过对浅层神经网络提取的特征图在特征空间进行差异计算和累积，能够快速有效建模运动边界小位移作为深度神经网络中所需要的运动表征；由于无需预先计算的光流作为运动辅助信息，方法及装置的运行速度满足实时视频理解的要求。

本发明所采用的技术方案如下：

一种基于运动边界小位移的高效运动表征方法，包括以下步骤：

步骤1、抽取视频序列中的相邻N帧的原始图像；

步骤2、利用卷积神经网络处理相邻N帧的原始图像，获得相应的浅层特征图；

步骤3、对相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得所有相邻两帧在特征空间中的差异图；

步骤4、将所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积；

步骤5、按编码方案对差异累积结果进行编码，从而获得本发明所述的高效运动表征。

进一步地，步骤1中所述相邻N帧为在时序关系上相邻的N个图像帧，N为预先设定好的大于等于2的整数，则一段视频序列抽取相邻N帧的原始图像作为采样帧。

进一步地，步骤2中所述卷积神经网络包括卷积层、批正则化层、ReLU层；所述卷积神经网络的输入是N个相邻采样帧的原始图像，输出是卷积神经网络特定层对应N组帧级别的特征图，作为该帧在特征空间上的外观表征。