[发明专利]人眼视觉和机器视觉协同的图像特征压缩和解压缩方法

说明书

本发明提供了一种人眼视觉和机器视觉协同的图像特征压缩和解压缩方法，在编码端，生成具有任务先验信息的重要性掩码图并加入到图像特征提取器的局部通道中后，获得紧凑基础特征；将紧凑基础特征中具有任务先验信息的局部通道特征进行多尺度融合，获得紧凑辅助特征；基于紧凑基础特征和紧凑辅助特征，获得压缩传输的码流，完成图像特征压缩。在解码端，将紧凑量化基础特征进行重构解码，获得面向人眼视觉的重构图像；将紧凑量化基础特征与紧凑量化辅助特征进行融合，得到面向视觉任务的紧凑量化双流特征；将紧凑量化双流特征与视觉任务所需特征进行对齐训练，获得紧凑量化双流转换特征，完成任务解码。本发明在实际应用中更具灵活性。

技术领域

本发明涉及图像处理及计算机视觉技术领域，具体地，涉及一种基于人眼视觉和机器视觉协同的图像特征压缩和解压缩方法，同时提供了一种相应的压缩和解压缩系统、计算机终端及计算机可读存储介质。

背景技术

近年来。由于多媒体采集、处理和显示设备的空前普及，视觉信息呈现爆炸式增长。为了高效传输和存储图像信号，通常需要通过压缩技术，利用图像空间冗余、结构冗余以及人类视觉冗余等特性对其进行数据压缩。传统的图像编码技术是针对人类视觉系统所设计的，可以在实现数据压缩的同时保证图像的感观质量，让人眼无法察觉信息的丢失。随着移动物联的发展，目前涌现出大量基于计算机视觉的智能应用，例如智能监控、自动驾驶以及移动终端等等，这些应用的实现都需要将图像作为输入并由机器视觉算法进行分析和处理，从而完成各种语义视觉任务。因此图像的接受者将不再只是人眼，还有机器。

一般来说，边缘的采集系统获取图像后传输到具有强大计算能力的云端，由云端的深度学习模型通过复杂的计算后执行机器视觉任务。这种模式可称作先压缩再分析模式(Compression-Then-Analysis,CTA)，所有的计算都集中在云端完成，能够有效解决移动端无法支撑深度学习模型进行复杂计算的问题。一方面，大数据驱动的人工智能应用需要海量的数据支持，但由于传输带宽资源的限制，通常会以较高的压缩比对图像进行压缩并传输，继而导致图像质量严重受损，影响机器视觉任务性能；另一方面，大量移动设备上传的图像集中在云端会造成云中心的计算拥堵，导致整个系统的延迟。因此这种完全基于云端的模式并不是最佳的。除此之外，还有另一种由特征提取、压缩和传输组成的可行的解决方案，使得在前端提取的紧凑特征可以传输到服务器端用于机器任务，即“先分析再压缩”(Analyze-then-Compress，ATC)。由于视觉特征比图像纹理要紧凑得多，分析任务的性能在低比特率下得以保证，然而，由于从原始数据中提取的深度特征不能真实地实现信号级图像/视频重建，因此很难恢复纹理信息。

综上所述，“先压缩再分析”和“先分析再压缩”虽然都以自己的方式实现了紧凑视觉信息的表示，但都无法很好地同时满足高保真度的图像重建和高精度的视觉分析任务。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种基于人眼视觉和机器视觉协同的图像特征压缩和解压缩方法，同时提供了一种相应的压缩和解压缩系统、计算机终端及计算机可读存储介质。

根据本发明的一个方面，提供了一种人眼视觉和机器视觉协同的图像特征压缩方法，包括：

在编码端：

基于机器视觉的通用骨干网络，生成作为任务先验信息的重要性掩码图；

将所述重要性掩码图加入到图像特征提取器局部通道中后，利用所述图像特征提取器获得紧凑基础特征，所述紧凑基础特征包括具有任务先验信息的局部通道特征和不具有任务先验信息的局部通道特征；

将所述具有任务先验信息的局部通道特征进行多尺度融合，获得紧凑辅助特征；

基于所述紧凑基础特征和所述紧凑辅助特征生成紧凑量化基础特征和紧凑量化辅助特征，获得压缩传输的码流，完成人眼视觉和机器视觉协同的图像特征压缩。