[发明专利]图像处理方法及装置

说明书

本公开关于一种图像处理方法及装置。该图像处理方法包括：提取图像的浅层特征；基于浅层特征对图像进行局部尺度上的细节特征提取，得到图像的局部动态特征，并且基于浅层特征对图像进行全局尺度上的区域特征提取，得到图像的可变形特征；基于图像的局部动态特征和可变形特征进行融合，得到融合特征；对融合特征进行重建，得到重建图像。根据本公开的图像处理方法及装置，可提高图像处理的去散焦模糊效果和效率。

技术领域

本公开涉及图像处理技术领域。更具体地，本公开涉及一种图像处理方法及装置。

背景技术

相关技术中，散焦模糊是摄影中常见的现象，有时是拍摄者主动营造的视觉效果，有时则带来了不必要的图像质量退化。当采用配备大光圈镜头的相机进行拍摄时，景深之外的物体往往会呈现不同程度的模糊失真。散焦模糊的程度与多种因素存在关联性。一方面，在不同的散焦图像之间，由于拍摄相机采用不同的光圈、景深、光学相差等，直接导致了成像效果和散焦程度的差异。另一方面，在单幅图像内部，不同区域的场景深度差异也会导致不同程度的散焦，离景深范围越远的物体散焦模糊越严重。目前，以散焦图像为输入进行全聚焦图像的生成算法具有广泛的应用前景，例如在图像重聚焦、修图等领域，同时全聚焦图像也为其他计算机视觉任务提供良好的输入，例如基于语义分割的场景解析、深度估计、物体检测等任务。

散焦图像去模糊是一个经典的不适定性问题，其目标是使输入的散焦图像经过优化后尽可能接近对应的全聚焦图像。在过去的20多年里，有大量科研人员对此展开研究。一类传统的方法依赖散焦估计结果，整体上采用两阶段架构，第一阶段进行散焦估计，第二阶段在散焦图的引导下去除模糊。散焦图一般采用逐像素标量进行表示，去模糊算法一般采用非盲解卷积方法。这类方法存在两个明显的缺陷。首先，考虑到现实中点扩散函数不一定是饼状函数，用逐像素标量表示的散焦估计图表示能力有限，无法精准地为复杂场景去散焦模糊提供充足信息。其次，非盲解卷积的空间开销和时间开销较大，不适合部署到实际应用中。这类算法一般泛化能力较弱，对轻微的散焦模糊有一定效果，但在中等、严重模糊的场景中收效甚微。

发明内容

本公开的示例性实施例在于提供一种图像处理方法及装置，以至少解决相关技术中的图像处理的问题，也可不解决任何上述问题。

根据本公开的示例性实施例，提供一种图像处理方法，包括：提取图像的浅层特征；基于浅层特征对图像进行局部尺度上的细节特征提取，得到图像的局部动态特征，并且基于浅层特征对图像进行全局尺度上的区域特征提取，得到图像的可变形特征；将图像的局部动态特征和可变形特征进行融合，得到融合特征；对融合特征进行重建，得到重建图像。

可选地，对图像进行局部尺度上的细节特征提取之前，所述图像处理方法还包括：基于浅层特征预测图像的每个像素的卷积属性，其中，每个像素的卷积属性包括每个像素的局部卷积核参数、以及每个像素的可变形位置偏移量和采样权重，其中，对图像进行局部尺度上的细节特征提取的步骤包括：基于图像的每个像素的卷积属性对图像进行局部尺度上的细节特征提取，其中，对图像进行全局尺度上的区域特征提取的步骤包括：基于图像的每个像素的卷积属性对图像进行全局尺度上的区域特征提取。

可选地，基于浅层特征预测图像的每个像素的卷积属性的步骤可包括：采用二维离散小波变换对图像进行多级分解，得到图像的不同尺度的多个细节子带；在每个尺度内对细节子带进行特征提取，得到不同尺度的子带特征；在每个尺度内对浅层特征进行编码，得到不同尺度的编码特征；分别将同一尺度的子带特征与编码器特征进行结合，得到不同尺度的结合特征；对不同尺度的结合特征进行解码，得到图像的每个像素的局部卷积核参数、可变形位置偏移量和采样权重。

可选地，细节子带可包括结构性信息。

可选地，将同一尺度的子带特征与编码器特征进行结合的步骤可包括：将同一尺度的子带特征与编码器特征由浅层到深层以迭代方式进行结合。