[发明专利]一种基于隐式引导与显式教导策略的视频显著性目标检测方法

权利要求书

1.一种基于隐式引导与显式教导策略的视频显著性目标检测方法，其特征在于，包括如下步骤：

步骤1，给定光流生成器产生的一系列输入帧对应的光流图

步骤2，将和输入到构建的双流分支架构中，在第t帧中，由两个单独的深度残差网络分别生成层级为5的特征金字塔，即表观信息主导的特征和运动信息主导的特征其中表观信息主导的特征作为学生分支的输出，运动信息主导的特征作为教师分支的输出；

步骤3，使用运动信息调制器从空间维度和通道维度两个视角来增强运动信息主导的特征，并通过隐式引导策略将其转移到以表观信息主导的分支；

步骤3中通过运动信息调制器隐式地将运动信息主导的特征从教师分支传递到学生分支，即表观信息主导的特征，具体包括以下步骤；

步骤3.1，隐式引导的策略在每个特征金字塔层级k上协同工作，其中k∈{1，2，3，4，5}；

步骤3.2，对于第k级别，基于通道注意力的函数可以定义为：

其中符号代表针对输入特征向量x₁在空间维度进行自适应最大池化层操作，代表两个连续的全连接层，由可学习的权值进行参数化；此外，σ[x₂]和⊙代表激活函数和基于通道维度的特征相乘操作，此处采取Sigmoid函数σ[x₂]来激活输入特征，其可以被写成如下公式，

σ[x₂]＝1/(1+exp(-x₂))；

步骤3.3，对于第k级别，基于空间注意力的函数可以被定义为

其中，符号代表沿着通道维度对输入特征向量x₃进行全局最大池化操作算子，代表卷积核大小为7×7的卷积层，代表空间维度的特征相乘操作；

步骤3.4，运动信息调制器函数被定义为两个级联的注意力过程，该过程包括了在第k级别的基于通道注意力的函数和基于空间注意力的函数因此，该运动信息调制器过程可以被定义为：

步骤3.5，最后，隐式引导策略函数可以被定义为

其中k∈{1，2，3，4，5}；

步骤4，通过一个教师部分解码器聚合网络的高K层中运动信息主导的特征并且在第t帧生成一个运动信息引导的掩膜其中K＜5；

步骤5，进一步的，掩膜通过另一个与教师部分解码器聚合网络完全一致的学生部分解码器，用于显式地教导网络的高K层中表观信息主导的特征的聚合；

步骤6，最后，通过学生部分解码器生成对于第t帧的最终预测图

2.如权利要求1所述的一种基于隐式引导与显式教导策略的视频显著性目标检测方法，其特征在于：步骤4中教师部分解码器聚合处于网络的高K层中运动信息主导的特征，K＜5，并且生成运动信息引导的掩膜，具体包括以下步骤：

步骤4.1，首先使用感受野模块来获取优化后的运动信息特征该过程可以被表示为

步骤4.2，接着，对优化后的运动信息特征进行特征传播操作，将具有富语义的特征传播到弱语义的特征之中，生成优化后的特征该过程可以定义为

其中Π代表针对i个输入特征图像执行逐像素特征相乘操作，这个过程是由可学习权值来进行参数化的，δ(·)代表的是上采样操作，其用于保证相乘的两个特征向量的分辨率尺度一致；

步骤4.3，然后，通过经典的U-Net形状解码器获得中间输出的运动信息引导的掩膜其中U-Net形状解码器移除了中低两层的跳层连接，该过程可以表示为：

3.如权利要求2所述的一种基于隐式引导与显式教导策略的视频显著性目标检测方法，其特征在于：步骤5中将运动信息引导的掩膜显式地传播到处于网络高K层中的表观信息主导的特征之中，这些表观信息主导的特征来源于学生分支，该显式教导操作算子可以被定义为：

其中k∈{6-K，7-K，...，5}，和分别表示逐元素相加和逐元素相乘操作。

4.如权利要求3所述的一种基于隐式引导与显式教导策略的视频显著性目标检测方法，其特征在于：步骤6中学生部分解码器结合传播的掩膜，生成最终的预测结果该过程可以被定义为