[发明专利]用于超分重建的图像去交织方法及装置

说明书

本发明公开了一种用于超分重建的图像去交织方法及装置，该方法包括：确定重建基础图像以及超分重建放大系数；确定目标重建图像中的像素交织信息；所述目标重建图像为所述重建基础图像重建后对应的图像；根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息；所述重建位移信息用于指示所述重建基础图像在进行超分重建时所述目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离。可见，本发明能够根据图像中的重建像素交织情况，在图像重建时调整映射坐标的位置，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种用于超分重建的图像去交织方法及装置。

背景技术

为了实现更高画质的视频传输，业内常用的方法是结合图像超分辨率重建技术来减轻带宽和内存的压力，例如市面上常见的“假4K摄像机”，从摄像头获取低分辨率的图像，抑或是先对摄像头获取的高分辨率图像进行下采样以节省资源，仅在编码前，再进行图像超分辨率重建得到高分辨率的4K图像，最后对4K图像进行编码录像。同时，再结合图像压缩技术对过程中的低分辨率图像进行压缩，以实现最大化的节省带宽和内存的目的。

然而，对于视频编解码这类需要按块处理的场景而言，图像压缩与超分辨率重建难以实现在线运算，现有技术中，通常两模块都是独立的两个过程，先进行解压缩得到整幅图像，再进行超分辨率重建。也正是由于这样的原因，就无法达到图像压缩的目的，所以在芯片级的视频图像处理方案中，通常都不会同时级联的使用图像压缩与超分辨率重建。在视频编码这类需要按块输出的场景中，难以实现在线解压缩与超分辨率重建，原因如下：

在图像超分辨率重建过程中，对放大后的图像的每一像素，都需要根据放大倍率映射到原始图像中，得到对应的亚像素位置，再取该位置邻域的整数像素，插值计算得到该亚像素位置的像素值，作为超分辨率图像最终的像素值。

但对常用的压缩算法而言，压缩宏块间通常有关联性，即无法实现宏块的独立解码，任一宏块的解码都需要参考其领域信息。对这类场景而言，通常无法应用缩放技术。因为当出现像素交织时，相邻的图像块映射到相同的整数像素行中，此时由于上一个宏块的解码过程中已经包含了该亚像素行对应的整数像素，那么在计算下一个映射块的重建图像时，就需同时解码两个压缩宏块作为输入，这就意味着读取数据的带宽将增大一倍，运算量也增大一倍，这就与引入压缩期望达成的省带宽目标相违背。

现有技术针对这类交织问题，硬件设计中常见的做法是采用缓存器对交织数据进行缓存，但由于输入数据是以压缩宏块为单位，而交织情况是受到宏块大小以及缩放倍率所影响，使得缓存器的大小难以确定，最坏的情况下需要缓存所有像素行，这样的代价是硬件设计所无法接受。可见，现有技术中存在缺陷，亟待解决。

发明内容

本发明所要解决的技术问题在于，提供一种用于超分重建的图像去交织方法及装置，能够根据图像中的重建像素交织情况，在图像重建时调整映射坐标的位置，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。

为了解决上述技术问题，本发明第一方面公开了一种用于超分重建的图像去交织方法，所述方法包括：

确定重建基础图像以及超分重建放大系数；

确定目标重建图像中的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述重建基础图像的同一像素行；所述目标重建图像为所述重建基础图像重建后对应的图像；

根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息；所述重建位移信息用于指示所述重建基础图像在进行超分重建时所述目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离。