[发明专利]图像块的正交位置编码表示方法及上采样模块实现方法

说明书

本发明公开了一种图像块的正交位置编码表示方法及上采样模块实现方法，其中，正交位置编码表示方法包括以下步骤：S1将待渲染的目标超分辨率图像切割成多个超分辨率图像块；S2确定所述超分辨率图像块在相对坐标域中所对应的连续二元函数以及正交位置编码，正交位置编码为：利用傅里叶基分别对所述超分辨率图像块横向和纵向维度的坐标信息进行位置编码，之后将各个维度的位置编码一一相乘，得到一个综合的位置编码向量。本发明解决在任意尺度图像超分辨率中上采样模块的对称性问题：基于隐式神经表示的上采样模块需要通过数据增强来学习图像中的对称性，能够将图像中的对称性先验自然地引入，减小了神经网络训练的难度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种图像块的正交位置编码表示方法以及基于正交位置编码的上采样模块实现方法。

背景技术

图像超分辨率是计算机视觉的一个基本分支，它以低分辨率图像与指定的整数超分辨率尺度（通常为2,3,4）为输入，输出对应高分辨率的清晰图像。其流程为：低分辨率图像首先经过基于卷积神经网络的编码器获得特征图，之后将特征图经过相应超分辨率尺度所设计的上采样模块，进一步经过卷积运算得到高分辨率图像。由于上采样模块需要针对不同的超分辨率尺度单独设计，这造成了应用的不方便，因此，进一步产生了任意尺度图像超分辨率相关技术。

作为图像超分辨率的一个新兴分支，其目的在于设计一种全新的上采样模块，可以接收任意非整数超分辨率尺度作为上采样因子，以便于实际应用。其流程与图像超分辨率类似：低分辨率图像首先经过基于卷积神经网络的编码器获得特征图，之后特征图经过相应超分辨率尺度所设计的上采样模块。不同之处在于上采样模块可以支持非整数尺度，而满足如此要求的上采样模块采用了一种新兴的技术得以实现：隐式神经表示。

隐式神经表示：基于坐标的隐式神经表示起源于三维视觉，基本思想为使用神经网络直接表示复杂、连续的场景或各种信号。在图像连续表示领域，其以图像像素坐标为神经网络（通常为多层感知机）的输入，输出对应坐标像素的RGB通道数值。由于输入坐标具有连续性与稠密性，因此可以表示一张“连续”的图像，体现在分辨率便是任意大小的分辨率。

任意尺度图像超分辨率的上采样模块采用了隐式神经表示，因此，得以支持任意尺度的超分辨率，它以特征图，指定超分辨率尺度为输入，首先根据超分辨率尺度计算输出图像的分辨率大小，之后为每个输入图像的像素分配一个二维笛卡尔坐标系坐标值，将这些坐标值与特征图一并作为隐式神经表示的输入，得到相应数量的RGB数值，作为最终图像的结果。该技术充分地解决了图像任意尺度超分辨率中尺度的问题，但是在实现较高尺度（如30）图像超分辨率时，面临着可解释性低，计算量大，显存占用高等问题。

发明内容

发明目的：本发明的目的在于克服现有方法的不足，提供一种图像块的正交位置编码表示方法以及基于正交位置编码的上采样模块实现方法。

技术方案：一方面，本发明提供一种图像块的正交位置编码表示方法，包括以下步骤：

S1将待渲染的目标超分辨率图像切割成多个超分辨率图像块；

S2确定所述超分辨率图像块在相对坐标域中所对应的连续二元函数以及正交位置编码；

所述正交位置编码为：首先利用傅里叶基分别对所述超分辨率图像块横向和纵向维度的坐标信息进行位置编码，之后将各个维度的位置编码一一相乘，从而得到一个综合的位置编码向量。

进一步的，包括：

所述超分辨率图像块表示方法为：

将所述待渲染的目标超分辨率图像进行等距横向和纵向切割为低分辨率输入图像的尺寸部分，且所述待渲染的目标超分辨率图像对应的尺寸表示为，则得到个尺寸的图像区域小块，每一个这样的图像区域小块为超分辨率图像块。

所述相对域坐标定义为：