[发明专利]基于扩散模型的图像增强方法、装置、设备及存储介质

说明书

本发明公开基于扩散模型的图像增强方法、装置、设备及存储介质，方法包括：获取待增强的目标图像与图像增强指令，编码得到编码特征图和文本编码；将编码特征图和文本编码输入到预先训练好的目标图像增强网络中；按照预设噪声添加规则和预设步数，逐步向编码特征图中添加高斯噪声，得到服从高斯分布的目标噪声图像，并确定每一步添加高斯噪声后的结果图像中的预测噪声；基于交叉注意力机制，对目标噪声图像中与文本编码对应的区域进行图像增强，得到加噪增强图像；按照预设噪声去除规则和预设步数，逐步从加噪增强图像中去除每一步的预测噪声，得到去噪后图像；对去噪后图像进行解码，得到增强后图像。本发明有效地提高了对特征缺失较多的图像的增强效果。

技术领域

本发明涉及图像增强的技术领域，尤其涉及基于扩散模型的图像增强方法、装置、设备及存储介质。

背景技术

图像是电子系统中最常见的信息载体之一，在医学影像、无人机摄影、安防监控、工业检测等领域中被广泛应用。然而，由于环境条件、设备限制和采集过程中的噪声等因素的影响，导致采集到的许多原始图片在质量、对比度、清晰度和细节表现等方面存在着局限性。图像增强技术是指对图像中的特征进行处理，以改善图像的视觉效果，提高图像的质量的技术。

传统的图像增强方法通常采用图像滤波、直方图均衡化以及图像锐化等技术来改善图像的质量。然而，这些方法在面对复杂场景和特定应用时，对图像的增强效果有限。例如：在医学影像中，传统的图像增强方法无法有效提取病变细节或准确还原图像的组织结构；在无人机摄影中，由于光照条件和拍摄距离的变化，导致拍摄的图像可能存在模糊、噪点和对比度低等问题，采用传统的图像增强方法对拍摄的图像的增强效果有限；在安防监控中，采用传统的图像增强方法无法准确识别和追踪目标物体。

随着深度学习和计算机视觉等领域的快速发展，研究人员提出了基于电子系统的图像增强方法来克服上述问题。为了提高图像增强效果，现有的图像增强算法基于神经网络模型实现，具体实现方式包括但不限于以下两种方式：第一种：卷积神经网络（Convolutional Neural Networks，CNN），CNN在训练时使用低质量图像（即需要进行图像增强的图像）作为输入，高质量图像（即不需要进行图像增强的图像）作为训练目标，使用损失函数进行网络的迭代训练。在进行图像增强时，将待进行图像增强的目标图像输入训练后的CNN，输出得到图像增强后的图像。第二种：生成式对抗网络（Generative AdversarialNetworks，GAN），GAN使用低质量图像作为输入，高质量图像作为训练目标，在生成器和鉴别器的对抗中进行迭代训练。在进行图像增强时，将待进行图像增强的目标图像输入训练后的生成器，输出得到图像增强后的图像。

但是，现有的用于进行图像增强的神经网络模型对特征缺失较多的图像的增强效果较差。

发明内容

本发明提供基于扩散模型的图像增强方法、装置、设备及存储介质，解决了现有技术对特征缺失较多的图像增强效果差的问题。

为达到上述目的，本发明采用如下技术方案：

第一方面，本发明提供基于扩散模型的图像增强方法，该方法包括：

获取待增强的目标图像，并通过编码器对所述目标图像进行编码，得到编码特征图；

获取图像增强指令，通过文本编辑器对所述图像增强指令进行编码，得到文本编码；所述图像增强指令包括需要增强的图像的特征和位置；

将所述编码特征图和所述文本编码输入到预先训练好的目标图像增强网络中；

按照预设噪声添加规则和预设步数，逐步向所述编码特征图中添加高斯噪声，得到服从高斯分布的目标噪声图像，并确定每一步添加高斯噪声后的结果图像中的预测噪声；

基于交叉注意力机制，对所述目标噪声图像中与所述文本编码对应的区域进行图像增强，得到加噪增强图像；

按照预设噪声去除规则和所述预设步数，逐步从所述加噪增强图像中去除每一步的所述预测噪声，得到去噪后图像；

通过解码器对所述去噪后图像进行解码，得到增强后图像。