[发明专利]基于特征感知的视频压缩感知方法

摘要

本发明公开了一种基于特征感知的视频压缩感知方法，主要解决现有技术重构视频时空相关性弱及视觉效果差的问题。其实现方案是：制备训练数据集及测试数据集；设计时空视频压缩感知网络的结构；设计精细感知损失的计算方法；根据设计的网络结构及精细感知损失编写网络结构文件、网路训练文件及模型测试文件；利用网络训练文件及训练数据集对网络进行训练，获得训练好的网络模型；利用模型测试文件及测试数据集对测试视频处理，获得相应的重构视频。本发明设计的利用精细感知损失训练的时空视频压缩感知网络能够增强重构视频的时空相关性，提升了重构质量，且能产生视觉效果更好的重构视频，可用于实现视觉效果更好的视频压缩感知重构。

主权项

1.一种基于特征感知的视频压缩感知方法，其特征在于，包括有如下：1)制备数据集：1a)下载彩色视频，并将下载的视频依次转为彩色的视频帧，再按空间位置裁剪为240×240的小块，将每一个空间位置的小块保存为图片，存入到不同的子文件夹，按照视频帧的时间顺序依次命名，用所有子文件夹组成训练数据集；1b)随机选取任意视频保存在另一个文件夹中，构成测试数据集；2)设计时空视频压缩感知网络的结构：2a)设置由一个观测卷积层组成的观测部分，其卷积核的大小为3×3，卷积步长为3×3，卷积核的数目为m＝9，卷积不补零；2b)设置由一个反卷积层、“时空块”和一个重构卷积层组成的重构部分：该反卷积层的卷积核的大小为3×3，卷积步长为3×3，卷积核的数目为m，卷积不补零；该“时空块”由四个利用PReLU进行激活的卷积层串连而成，在第一个和第四个卷积层的输出端添加跳跃连接，这四个卷积层的卷积核大小分别为1×1、3×3、1×1及3×3，卷积步长均为1×1，卷积核的数目为64，卷积均补零；该重构卷积层使用Tanh进行激活，卷积核尺寸为1×1，卷积步长为1×1，卷积核的数目为C×N，C是视频帧的通道数，N＝16是输入视频块的总帧数，卷积不补零；3)设计精细感知损失：3a)确定特征级的细节损失和内容损失：3a1)利用双线性插值法，缩小原始视频块和重构视频块的空间尺寸至224×224，将视频块中的每一帧分别输入到VGG‑19网络；3a2)从VGG‑19网络的relu1_2层提取出原始视频块与重构视频块位置对应帧的特征图，计算该特征图间的均方误差，并将该均方误差作为细节损失；3a3)从VGG‑19网络的relu4_2层提取出原始视频块与重构视频块位置对应帧的特征图，计算该特征图间的均方误差，并将该均方误差作为内容损失；3b)计算原始视频块与重构视频块间的均方误差，将该均方误差作为像素级损失，并将细节损失、内容损失和像素级损失的权重分别设置为4×10^‑6、4×10^‑8和1，进行加权求和获得精细误差损失；4)根据2)设计的网络结构及3)设计的精细感知损失，建立网络项目文件夹，该文件夹包括网络结构、超参数设置、网络训练和模型测试文件；5)在网络项目文件夹中找到网络训练文件，并用该训练文件对网络进行训练，得到训练好的网络模型；6)从1b)建立的测试数据集中取出待测试视频，在4)建立的网络项目文件夹中找到模型测试文件，并将测试视频输入到模型测试文件中，获得重构结果。