[发明专利]基于弱监督时空级联神经网络的显著目标检测方法及系统

权利要求书

1.一种基于弱监督时空级联神经网络的显著目标检测方法，其特征在于，时空级联神经网络包括第一全卷积网络和第二全卷积网络，所述显著目标检测方法包括：

步骤A，将待检测视频的当前帧图像输入所述第一全卷积网络得到空间先验图；

步骤B，根据所述当前帧图像和所述当前帧图像对应的光流图生成时间先验图；

步骤C，对所述空间先验图和所述时间先验图进行元素运算，得到时空先验图；

步骤D，将所述时空先验图和所述当前帧图像的下一帧图像输入所述第二全卷积网络得到时空显著图；

根据所述时空显著图和强标签图对所述第一全卷积网络进行网络参数更新，及根据所述时空显著图和所述强标签图对所述第二全卷积网络进行网络参数更新；

获取所述强标签图的步骤包括：

E1，分别通过多任务深度显著性检测方法DCMT、深度对比学习方法DCL和递归全卷积网络方法RFCN对所述当前帧图像进行显著性处理，对生成的显著图进行加权求和，得到初始弱标签图；

E2，由损失函数计算出所述初始弱标签图与所述时空级联神经网络生成的显著图的网络损失值，将所述网络损失值反馈到所述时空级联神经网络中，利用随机梯度下降法更新所述时空级联神经网络的网络参数，使得所述网络损失值最小，输出优化的显著图；

E3，将所述多任务深度显著性检测方法DCMT、深度对比学习方法DCL和递归全卷积网络方法和所述时空级联神经网络生成的显著图，通过公式更新w_i，利用公式改善所述弱标签图，其中，S表示改善后的弱标签图，S_i表示通过多任务深度显著性检测方法DCMT、深度对比学习方法DCL和递归全卷积网络方法RFCN对所述当前帧图像进行显著性处理生成的显著图，w_i表示S_i中通过多任务深度显著性检测方法DCMT、深度对比学习方法DCL和递归全卷积网络方法RFCN生成的显著图对应的权重，S’表示所述强标签图，w’表示最优权重，N表示大于等于1的整数；

E4，不断迭代重复步骤E2和E3，直到所述时空级联神经网络收敛，获得强标签图。

2.如权利要求1所述的显著目标检测方法，其特征在于，在所述步骤A中，将待检测视频的当前帧图像输入所述第一全卷积网络得到空间先验图包括：

将所述当前帧图像输入所述第一全卷积网络，得到空间特征图；

通过激活函数sigmoid对所述空间特征图进行处理，得到所述空间先验图。

3.如权利要求1所述的显著目标检测方法，其特征在于，在步骤B中，根据所述当前帧图像和所述当前帧图像对应的光流图生成时间先验图包括：

利用基于图分割方法获得光流图的超像素分割图；

采用多尺度区域分割方法对所述超像素分割图进行分割，得到所述光流图的分割结果；

将所述光流图的分割结果转换到所述当前帧图像中，利用所述光流图的分割结果生成若干张不同尺度的初始图；

提取若干张所述不同尺度的初始图中的深度尺度，通过所述深度尺度对每层包含有300个神经元的三层神经网络进行训练，得到二分类器；

根据所述二分类器判断若干张所述不同尺度的初始图中的超像素是否显著，若显著，则输出1，若不显著，则输出0，得到初始时间先验图；

利用线性加法将经显著性判断得到的不同尺度的初始时间先验图进行整合，得到所述时间先验图。