[发明专利]一种基于注意力转移机制的视频显著性物体检测方法

权利要求书

1.一种基于注意力转移机制的视频显著性物体检测方法，其特征在于该方法包含如下步骤：

a.静态卷积网络模块：利用多层卷积神经网络，对多帧静态图像进行特征提取；

b.金字塔扩张卷积PDC模块：将步骤a中提取的特征作为该模块的输入，利用金字塔扩张卷积模块获得多尺度特征；

c.注意力转移感知A_t模块：以长短期记忆网络convLSTM为基础，在该网络基础上添加权重F^A模块，F^A模块由一组简单的卷积层堆叠构成,利用该权重F^A模块对步骤b提取出的多尺度特征进行权重分配，从而实现注意力转移感知；

所述的注意力转移感知A_t模块的输入为经过PDC模块后的多尺度特征向量输出为二维映射图S_t∈[0,1]^W×H,W为图像宽度，H为图像高度；该注意力转移感知A_t模块的处理如下：

隐藏状态H_t＝convLSTM(X_t,H_t-1)

注意力转移感知A_t＝F^A({X₁,…,X_t})

感知转换G_m,t＝A_t⊙H_m,t

显著性物体预测

其中，假设输入视频的总长度为T帧，下标t表示当前帧，t-1表示上一帧，H_t为3D张量当前时刻的隐藏状态，它由长短期记忆网络convLSTM(·)通过当前输入特征X_t和上一时刻张量状态得到；权重F^A(·)模块由一组简单卷积层堆叠组成,利用该权重模块对步骤b提取出的一组特征{X₁,…,X_t}进行权重分配；G_m,t表示感知转换,m∈M为通道索引,⊙符号为矩阵元素乘法,H_m,t表示3D张量当前时刻的第m通道的隐藏状态；w^S为一个1×1×M的卷积核，为卷积操作，σ是一个激活函数；

d.生成图像结果：利用一个1*1的卷积层对步骤c输出的特征进行卷积，再利用激活函数来判断哪些神经元得以激活，从而生成视频每帧的显著性物体图像；

e.更新网络：利用交叉熵损失函数计算步骤d生成的显著性物体图像与人工标注的参考图像的损失值，进行梯度回传、更新网络。

2.根据权利要求1所述的基于注意力转移机制的视频显著性物体检测方法，其特征在于：步骤a所述的多层卷积神经网络由不同基础卷积神经网络组成。

3.根据权利要求2所述的基于注意力转移机制的视频显著性物体检测方法，其特征在于：所述的基础卷积神经网络包括VGG-16网络、ResNet-50网络、ResNet-101网络和SE网络。

4.根据权利要求1至3任一项所述的基于注意力转移机制的视频显著性物体检测方法，其特征在于：步骤e所述的与人工标注参考图像计算损失值的函数如下：

其中L^Att和L^VSOD为交叉熵损失；I_t表示t帧时刻输入的原始图像；l(·)为是否存在注视点显著图F_t；M_t为人工标注参考图。