[发明专利]基于离散余弦变换的视频目标分割对抗攻击方法

说明书

本发明公开了基于离散余弦变换的视频目标分割对抗攻击方法。本发明方法在预训练的视频目标分割模型卷积层获得视频语义特征，由离散余弦变换将语义特征变为频域语义特征；通过视频目标运动感知模块获得运动向量，由语义权重量化模块获得语义权重；最后根据语义权重对频域语义特征的频域值筛选去除，由反离散余弦变换还原获得对抗性语义特征，通过去除语义特征实现对视频目标分割模型的攻击，即获得性能差的分割掩膜。本发明方法将视频的时序关系融入对抗攻击中，使其聚焦于视频中的运动目标，破坏时序关系；通过语义权重并对视频帧语义特征进行筛选去除，在视频语义特征上生成对抗样本来实现对抗攻击，降低了视频目标分割精度并提升了攻击效果。

技术领域

本发明属于计算机视觉领域，尤其是对抗学习与视频目标分割领域，涉及一种基于离散余弦变换的视频目标分割对抗攻击方法。

背景技术

视频目标分割是一种常用的视频处理技术，能够将视频中的目标从背景中精确地分割出来，并获取目标对象的像素级掩膜(与视频帧分辨率相同的矩阵，其对应视频目标区域的元素值为1，背景区域元素值为0)。视频目标分割技术不仅能在视频处理任务中发挥作用，还能应用于自动驾驶、视频监控、人机交互、虚拟现实等前沿领域。近年来，各种基于深度学习的神经网络模型被提出并用于处理视频目标分割任务。然而，多数研究已表明深度神经网络模型并不具有鲁棒性，容易受到对抗攻击，即通过在图像或视频中加入无法被察觉的扰动(数值较小的像素值)从而产生对抗样本，再将对抗样本输入至深度神经网络模型中欺骗模型，使模型产生错误的输出。由于现有视频目标分割模型往往是基于深度神经网络设计的，所以其对对抗样本并不具有鲁棒性，即视频目标分割模型针对添加扰动后的视频会输出分割性能较低的掩膜，这对于视频目标分割的实际应用(如自动驾驶)是十分致命的，因此视频目标分割的安全性问题具有深远的研究意义和巨大的研究价值。

目前，对抗攻击的研究主要集中在图像分类领域，针对视频攻击的研究还处在起步阶段，仅有少量工作关注视频分类和语义分割任务。在图像分类领域，大多数对抗攻击方法利用输入图像梯度(一个与输入图像维度相同的张量)进行对抗攻击，如快速符号梯度法(Fast Gradient Sign Method)通过取梯度张量中元素的正负并乘以较小的扰动系数来产生一个不可被感知的扰动，将其添加到图像中使得分类器对该图像分类错误；后续部分工作通过对图像梯度的各种处理(如：投影、卷积)来产生扰动以增强攻击性能。在视频分类的对抗攻击中，部分方法沿用图像分类攻击的思想，通过处理视频的梯度产生扰动并添加到视频中，使得视频被分类器错误归为其他类别；此外还有方法利用视频分类数据的特点对不同类别的视频数据进行采样，利用采样后部分视频的梯度来替代整个视频的梯度，再利用该梯度生成通用的扰动进而生成视频的对抗样本进行攻击。在针对语义分割的攻击方法中，攻击算法在一组像素/提议目标上优化损失函数来生成一个对抗性扰动，旨在尽可能多地混淆提议目标，使得语义分割模型对输入图像中多个提议目标的类别预测出现错误。

上述方法存在的不足主要表现在两个方面：(1)由于图像与视频的差异，针对图像的攻击方法并不一定适用于视频，已有的针对视频的攻击方法没有考虑连续视频帧之间的关联及视频的时序关系；(2)现有对抗攻击方法均为向图像/视频添加扰动的方式，使模型对添加扰动后的数据做出错误的输出，这些攻击方法容易被对抗防御技术手段如去噪所防御，难以造成有效攻击。根据上述考虑，迫切需要设计一种融入视频时序关系且泛化攻击能力较强的视频目标分割对抗攻击方法。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于离散余弦变换的视频目标分割对抗攻击方法。本发明方法通过构建视频目标运动感知模块，从视频中提取光流并得到运动向量，为对抗攻击算法提供时序特征，进而使得攻击算法侧重于视频中的运动目标；同时构建语义权重量化模块和语义离散余弦筛选模块，分别用于捕捉语义权重、筛选去除视频帧语义特征，能够突破基于噪声去除的对抗防御技术，从而实现对视频目标分割模型的攻击，降低原有模型的分割精度。

本发明方法首先获取视频数据集合、像素级目标类别矩阵(掩膜)与预训练的视频目标分割模型，然后进行如下操作：