[发明专利]一种极低码率人机协同图像编码训练方法及编解码方法

说明书

本发明公开了一种极低码率人机协同图像编码训练方法及编解码方法。本方法为：1)利用训练集训练得到一个生成模型；2)对该训练集中的每一图像I_j进行特征提取和流形映射，得到I_j的流形特征；3)使用超先验模型对流形特征构建码率约束和编解码，得到二进制码流和重建后的流形特征；4)根据码率约束对I_j进行紧致损失函数计算；5)对重建后的流形特征进行人眼视觉映射并输入到生成模型中，根据所得人眼视觉重建结果进行损失函数计算；6)将重建后的流形特征输入到机器视觉模型中，根据所得机器视觉预测结果进行损失函数计算；7)将各损失进行加和更新权值；8)重复2)‑7)直到神经网络的损失收敛，得到极低码率人机协同图像编码器。

技术领域

本发明属于图像编码领域，涉及一种基于紧致图像流形空间的极低码率人机协同图像编码训练方法及编解码方法，可以同时提升图像在人眼视觉以及机器视觉下的质量。

背景技术

随着互联网应用的井喷，以及论坛与社交媒体的快速发展，海量图像视频每日被大量传播与转载。因此，如何高效地保持图像质量与图像中的重要信息，即高效的有损图像视频压缩成为了重要的研究课题。传统图像视频压缩方法，首先通过预测技术，去除信号中的时空域冗余，再通过变换去除信号冗余与信号相关性，得到相对紧致的特征表示，再通过量化与熵编码减少统计冗余，得到真正紧凑的码流。通过传输紧凑码流，大大降低图像视频在存储与传输过程中的代价，对数字图像视频的广泛传播与相关应用的快速发展有重要的促进作用。

随着智慧城市的建设加快脚步，其中孕育的计算机视觉技术获得广泛的应用。越来越多的场景亟待考虑机器视觉的感受与体验，即进行压缩后的视频仍然可以如未压缩的图像和视频一样有利于机器视觉分析理解任务。

然而，一方面，传统有损图像视频压缩方法以人眼视觉感受为优化目标，难以有效保证压缩结果对机器视觉依然有效。另一方面，如果仅仅针对机器视觉任务而进行特征压缩，不对图像进行像素级的重建，则无法满足人眼视觉的需求。

为了以非常低的码率代价，同时保证压缩对于人眼视觉和机器视觉两方面的有效性，本发明提出了一个基于紧致图像流形空间的可扩展人机协同图像编码器。使用一个紧凑的码流，可以同时满足人眼视觉和机器视觉两类不同的任务和需求。

发明内容

本发明在上述技术背景下，设计了一种基于紧致图像流形空间的人机协同图像编码训练方法及编解码方法。本发明使用一个特征提取与映射网络将图像信号映射到图像流形空间，在该空间上进行端到端的压缩编码。

在图像流形空间中，使用超先验端到端的压缩方法，通过基于神经网络的变换、量化、码率估计与约束，实现图像流形空间的紧致建模。

本发明的解码器包含人眼视觉映射和生成模型(StyleGAN)，可以重建生成完整图像以支持人眼视觉任务。

图像流形空间中的紧致特征解码后通过由多层感知器构成的机器视觉模型映射为机器视觉任务的预测，高效支撑机器视觉感知。

整体框架如附图1所示。接下来描述本发明方法的主要步骤。

步骤1：收集一批图像，利用对抗生成学习，使用搜集的图像训练一个生成模型(例如：StyleGAN)。

步骤2：将每一训练图像输入到特征提取与映射网络(ResNet)中进行特征提取，并将提取的图像特征通过多层次逆向放大加和，获得多层次特征，经过流形映射，映射为流形特征。该步骤细节如图2所示，其中第一次先提取图像特征，然后再对第一次提取的图像特征再次进行特征提取，…；共提取n次，第n次提取的特征进行逆向放大后直接映射为流形特征，第i次提取的特征与第n-i次提取特征逆向放大结果进行加和后映射为流形特征。