[发明专利]图像降噪方法及装置、电子设备及存储介质

说明书

本申请实施例提供一种图像降噪方法及装置、电子设备及存储介质，其中，获取同一场景的参考帧图像和至少两帧第一图像；基于所述参考帧图像的自注意力特征、所述参考帧图像的图像特征和每一所述第一图像的图像特征集合，确定每一所述第一图像在不同分辨率下与所述参考帧图像的图像特征对齐后的空间特征；将所述至少两帧第一图像在同一分辨率下的空间特征进行时间融合，得到每一分辨率下的时间融合特征；将所述不同分辨率下的所述时间融合特征进行特征融合，得到降噪后的第二图像。

技术领域

本申请实施例涉及图像降噪技术领域，涉及但不限于一种图像降噪方法及装置、电子设备及存储介质。

背景技术

夜景拍摄中的极暗降噪技术，广泛应用于手机数字摄影和计算机视觉中。在暗光环境中，由于光子数目本来就少，加上手机相机本身传感器大小有限，导致进入感光模块的光子数量有限，从而使照片因巨大的噪声而质量不尽人意，存在诸如噪点、模糊不清、丢失细节以及鬼影等问题。

发明内容

本申请实施例提供一种图像降噪技术方案。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像降噪方法，所述方法包括：

获取同一场景的参考帧图像和至少两帧第一图像；

基于所述参考帧图像的自注意力特征、所述参考帧图像的图像特征和每一所述第一图像的图像特征集合，确定每一所述第一图像在不同分辨率下与所述参考帧图像的图像特征对齐后的空间特征；

将所述至少两帧第一图像在同一分辨率下的空间特征进行时间融合，得到每一分辨率下的时间融合特征；

将所述不同分辨率下的所述时间融合特征进行特征融合，得到降噪后的第二图像。如此，采用该自注意力特征和第一图像的图像特征，确定第一图像在不同分辨率下的空间特征，提高了得到的空间特征的感受野；而且通过将同一分辨率下的空间特征，在时间上进行融合，得到每一分辨率下的时间融合特征，提高了第一图像与参考帧图像之间的对齐度，进而通过对不同分辨率的时间融合特征进行跨尺度特征融合，通过结合多尺度的特征，能够提高降噪效果。

在一些实施例中，所述基于所述参考帧图像的自注意力特征、所述参考帧图像的图像特征和每一所述第一图像的图像特征集合，确定每一所述第一图像在不同分辨率下与所述参考帧图像的图像特征对齐后的空间特征之前，所述方法还包括：对所述参考帧图像中的像素点进行噪声估计，得到所述参考帧图像的第一噪声估计图；采用自注意力机制，基于所述第一噪声估计图，确定所述参考帧图像的自注意力特征。如此，通过采用该参考帧图像和该参考帧图像的第一噪声估计图作为自注意力模块的输入，能够有效提高提取的自注意力特征的准确度。

在一些实施例中，所述获取同一场景的参考帧图像和至少两帧第一图像，包括：获取所述同一场景的至少两帧未配准图像；从所述至少两帧未配准图像中，将图像参数满足预设条件的第一未配准图像，确定为所述参考帧图像；基于所述参考帧图像，对第二未配准图像进行预配准，得到所述至少两帧第一图像；其中，所述第二未配准图像为所述至少两帧未配准图像中除所述参考帧图像之外的剩余未配准图像。如此，在实际采集的图像中选择合适的参考帧图像，对参考帧图像之外的图像进行预配准，从而使得到的第一图像是与参考帧图像对齐的。

在一些实施例中，所述不同分辨率包括J个分辨率，J为大于1的整数；所述获取同一场景的参考帧图像和至少两帧第一图像之后，以及所述基于所述参考帧图像的自注意力特征、所述参考帧图像的图像特征和每一所述第一图像的图像特征集合，确定每一所述第一图像在不同分辨率下与所述参考帧图像的图像特征对齐后的空间特征之前，所述方法还包括：对每一所述第一图像中的像素点进行噪声估计，得到每一所述第一图像的第二噪声估计图；在所述J个分辨率下，基于每一所述第一图像的第二噪声估计图，对每一所述第一图像进行特征提取，得到每一所述第一图像的图像特征集合。如此，通过采用图像降噪网络中的另一特征提取分支对第一图像进行特征提取，得到多个分辨率下的图像特征，能够提高特征提取的效率。