[发明专利]利用跨模态文本边信息的感知图像压缩方法及终端

权利要求书

1.一种利用跨模态文本边信息的感知图像压缩方法，其特征在于，包括：

获取目标图像的量化采样信号，并通过图像编码器及量化器获得量化后的压缩特征；

通过文本编码器提取输入文本的文本向量和词特征，得到文本特征；

通过生成器重构所述量化后的压缩特征，并通过所述生成器中的空间语义感知模块对图像解码过程进行文本增强处理，得到重构图像；

通过判别器提取所述重构图像的特征，并对所述文本特征进行空间复制，将复制后的文本特征与所述重构图像的特征进行融合，得到判别结果。

2.根据权利要求1所述的利用跨模态文本边信息的感知图像压缩方法，其特征在于，所述获取目标图像的量化采样信号，并通过图像编码器及量化器获得量化后的压缩特征，包括：

通过非线性编码器获取所述目标图像，并对所述目标图像进行分离采样处理，得到采样信号；

根据可学习量化方式将所述采样信号转换为所述量化采样信号；

将所述量化采样信号以算术编码器进行熵编码，得到所述量化采样信号的比特流；

将所述比特流上传到服务器。

3.根据权利要求1所述的利用跨模态文本边信息的感知图像压缩方法，其特征在于，所述通过文本编码器提取输入文本的文本向量和词特征，包括：

将文本信息输入到文本编码器中；

通过所述文本编码器中的双向长短期记忆网络提取得到所述文本向量和所述词特征。

4.根据权利要求1所述的利用跨模态文本边信息的感知图像压缩方法，其特征在于，通过生成器重构所述量化后的压缩特征，并通过所述生成器中的空间语义感知模块对图像解码过程进行文本增强处理，包括：

接收所述量化采样信号的比特流；

将所述量化采样信号的比特流输入所述生成器中；

采用算术解码器对所述量化采样信号的比特流进行熵解码，得到熵解码后的量化采样信号；

将所述熵解码后的量化采样信号输入到所述生成器，并将所述文本向量输入到所述生成器的空间语义感知模块中，得到解码重构特征；

将所述解码重构特征经过掩码预测器得到预测掩码，以像素级的文本信息增强重建的图像；

对所述熵解码后的量化采样信号进行逐层解码，得到所述重构图像。

5.根据权利要求1所述的利用跨模态文本边信息的感知图像压缩方法，其特征在于，所述通过判别器提取所述重构图像的特征，并对所述文本特征进行空间复制，将复制后的文本特征与所述重构图像的特征进行融合，包括：

将所述重构图像输入所述判别器，通过所述判别器中的特征提取器提取得到图像特征；

对所述文本特征进行空间复制，将所述复制后的文本特征与提取的图像特征进行空间融合，得到交叉熵损失。

6.根据权利要求1所述的利用跨模态文本边信息的感知图像压缩方法，其特征在于，所述通过判别器提取所述重构图像的特征，并对所述文本特征进行空间复制，将复制后的文本特征与所述重构图像的特征进行融合，之后包括：

根据所述重构图像得到用于评价图像重构失真和感知质量的损失；

根据所述损失和比特流，得到率失真优化目标；

根据所述率失真优化目标和生成对抗损失得到所述生成器的优化目标；

根据所述判别器交叉熵损失得到所述判别器的优化目标；

通过所述生成器的优化目标和所述判别器的优化目标，训练边跨模态文本边信息辅助的深度压缩模型。

7.根据权利要求6所述的利用跨模态文本边信息的感知图像压缩方法，其特征在于，所述生成器优化目标为：

；

定义和作为压缩后的码率，分别由和计算得到；

其中，由的熵模型给出；

失真损失由多尺度结构相似性和学习感知图像块相似度组成：

；

生成器损失由深度注意多模态相似性模型（DAMSM）损失和生成对抗损失组成：

，；

、、、和均为超参数，表示图像由生成器生成，满足相应概率分布。