[发明专利]利用跨模态文本边信息的感知图像压缩方法及终端

说明书

本发明公开了利用跨模态文本边信息的感知图像压缩方法及终端，方法包括：获取目标图像的量化采样信号，并通过图像编码器及量化器获得量化后的压缩特征；通过文本编码器提取输入文本的文本向量和词特征，得到文本特征；通过生成器重构所述量化后的压缩特征，并通过所述生成器中的空间语义感知模块对图像解码过程进行文本增强处理，得到重构图像；通过判别器提取所述重构图像的特征，并对所述文本特征进行空间复制，将复制后的文本特征与所述重构图像的特征进行融合，得到判别结果。本发明通过文本边信息辅助图像压缩提高了重建图像的感知质量，实现了良好的速率‑感知‑失真平衡，解决了深度图像压缩中语义损失的问题。

技术领域

本发明涉及图像压缩领域，尤其涉及的是利用跨模态文本边信息的感知图像压缩方法及终端。

背景技术

在过去的几十年里，通过互联网拍摄和传输的图像数量呈爆炸式增长。为了实现高效的图像传输和存储，图像压缩一直是信号处理中一个重要的基础研究课题。经典的图像压缩编解码器，如JPEG-2000和BPG，通过精心设计的手工特征实现了良好的速率-失真权衡。相比之下，深度图像压缩（DIC）采用深度神经网络（DNNs）来实现端到端的特征提取、量化和熵编码，表现出更强的功能和更好的压缩性能。一般来说，深度图像压缩的训练是为了最小化比特率和一些失真指标。最近的研究发现，仅靠最小化经常选择的失真指标，如多层级结构相似性（MS-SSIM）、均方误差（MSE），并不能保证重建的图像具有较高的感知质量，而一些感知评价指标，如 Frechet Inception Distance（FID）、Kernel Inception Distance（KID）等，更能反映图像质量和感知之间的相关性。在理论上，将“失真”定义为比较成对图像的相似度，以及将“感知质量”定义为图像分布和重建分布之间的距离，用分布分散度来衡量，这意味着更好的感知质量会导致更差的失真。

尽管提出了大量的图像压缩方法，这些方法利用速率失真优化来提高感知质量，以减少图像在存储和传输中的比特消耗，但很少有人致力于研究“文本描述作为解码器的唯一边信息，如何影响深度图像压缩”这一问题。受分布式信源编码（DSC）理论的启发，分布式信源编码实现了与联合编码方案相同的压缩率，其中边信息对编码器来说是不可用的。许多人致力于采用相关的边信息，如从不同角度拍摄的图像，以改善图像解压。此外，专注于在一个单一的模态下探索丰富的纹理细节，没有考虑跨模式的边信息的影响，而这其中有更多的信息以促进感知图像压缩。与单模态边信息相比，文字是描述视觉场景最自然、最方便的媒介，它包含了相关图像的高级语义信息。同时，随着近年来对数据分析和语义监测需求的增加，基于文本的边信息为补偿图像压缩中的语义损失提供了另一种方法。

目前仍缺少使用文本边信息来辅助图像压缩的研究工作。

因此，现有技术还有待改进。

发明内容

本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种利用跨模态文本边信息的感知图像压缩方法及终端，以解决图像压缩中的语义损失的技术问题。

本发明解决技术问题所采用的技术方案如下：

第一方面，本发明提供一种利用跨模态文本边信息的感知图像压缩方法，包括：

获取目标图像的量化采样信号，并通过图像编码器及量化器获得量化后的压缩特征；

通过文本编码器提取输入文本的文本向量和词特征，得到文本特征；

通过生成器重构所述量化后的压缩特征，并通过所述生成器中的空间语义感知模块对图像解码过程进行文本增强处理，得到重构图像；

通过判别器提取所述重构图像的特征，并对所述文本特征进行空间复制，将复制后的文本特征与所述重构图像的特征进行融合，得到判别结果。

在一种实现方式中，所述获取目标图像的量化采样信号，并通过图像编码器及量化器获得量化后的压缩特征，包括：

通过非线性编码器获取所述目标图像，并对所述目标图像进行分离采样处理，得到采样信号；