[发明专利]基于扩散模型的图像增强方法、装置、设备及存储介质

权利要求书

1.基于扩散模型的图像增强方法，其特征在于，所述方法包括：

获取待增强的目标图像，并通过编码器对所述目标图像进行编码，得到编码特征图；

获取图像增强指令，通过文本编辑器对所述图像增强指令进行编码，得到文本编码；所述图像增强指令包括需要增强的图像的特征和位置；

将所述编码特征图和所述文本编码输入到预先训练好的目标图像增强网络中；

按照预设噪声添加规则和预设步数，逐步向所述编码特征图中添加高斯噪声，得到服从高斯分布的目标噪声图像，并确定每一步添加高斯噪声后的结果图像中的预测噪声；

基于交叉注意力机制，对所述目标噪声图像中与所述文本编码对应的区域进行图像增强，得到加噪增强图像；

按照预设噪声去除规则和所述预设步数，逐步从所述加噪增强图像中去除每一步的所述预测噪声，得到去噪后图像；

通过解码器对所述去噪后图像进行解码，得到增强后图像。

2.根据权利要求1所述的图像增强方法，其特征在于，所述预设噪声添加规则是基于去噪扩散概率模型的扩散过程确定的；所述按照预设噪声添加规则和预设步数，逐步向所述编码特征图中添加高斯噪声，得到服从高斯分布的目标噪声图像，具体包括：

按照所述去噪扩散概率模型的扩散过程，在所述扩散过程的每一步，向所述编码特征图中添加高斯噪声；添加的所述高斯噪声的参数值基于预设噪声时间表确定；

根据所述编码特征图和所述噪声时间表，计算所述扩散过程的每一步添加所述高斯噪声后的结果图像，并将所述预设步数对应的结果图像作为目标噪声图像输出。

3.根据权利要求2所述的图像增强方法，其特征在于，所述根据所述编码特征图和所述噪声时间表，计算所述扩散过程的每一步添加所述高斯噪声后的结果图像，具体为：

根据如下公式计算所述扩散过程的每一步添加所述高斯噪声后的结果图像：

，

其中，为添加高斯噪声前的编码特征图，为加噪至第t时刻对应的加噪结果；

，；

为预设噪声时间表，包括，表示所述扩散过程的每一步添加高斯噪声的参数值，且。

4.根据权利要求1所述的图像增强方法，其特征在于，所述目标噪声图像包括多个图像通道，所述交叉注意力机制包括通道注意力机制和空间注意力机制；所述基于交叉注意力机制，对所述目标噪声图像中与所述文本编码对应的区域进行图像增强，得到加噪增强图像，具体包括：

通过所述通道注意力机制，对所述目标噪声图像中与所述文本编码对应的区域的每个所述图像通道对应的特征图进行不同图像通道的针对性增强，得到通道注意力特征图；

通过所述空间注意力机制，对所述通道注意力特征图进行不同空间位置的针对性增强，得到加噪增强图像。

5.根据权利要求4所述的图像增强方法，其特征在于，所述通过所述通道注意力机制，对所述目标噪声图像中与所述文本编码对应的区域的每个所述图像通道对应的特征图进行不同图像通道的针对性增强，得到通道注意力特征图，具体包括：

对于所述目标噪声图像中与所述文本编码对应的区域的每个图像通道的特征图，根据最大池化和平均池化的方法对所述特征图进行降维处理，得到所述图像通道对应的特征图的全局特征；

通过多层感知器对所述全局特征进行处理，得到所述图像通道的权重系数；

通过所述权重系数对所述图像通道对应的特征图进行加权处理，得到加权后特征图；

对所述加权后特征图与所述目标噪声图像的所述图像通道做乘法处理，得到通道注意力特征图。

6.根据权利要求5所述的图像增强方法，其特征在于，通过所述空间注意力机制，对所述通道注意力特征图进行不同空间位置的针对性增强，得到加噪增强图像，具体包括：

根据最大池化和平均池化的方法对所述通道注意力特征图进行处理，得到处理结果；

将所述处理结果基于对应的图像通道进行连接操作，得到连接后特征图；

通过卷积降维处理的方法将所述连接后特征图降维成单通道，得到空间特征图；

对所述空间特征图和所述目标噪声图像做乘法处理，得到加噪增强图像。