[发明专利]一种用于图像语义分割的新型超分模块和上采样方法

权利要求书

1.一种用于图像语义分割的新型超分模块，其特征在于：包括并行的左边分支和右边分支，以及连接在左边分支和右边分支输出端的合并卷积模块；

左边分支包括双线性插值模块，用于根据周围像素的约束信息进行双线性插值操作扩大特征图，为特征图提供新的先验信息；

右边分支包括依次串联的卷积层、PixelShuffle模块和ASPP模块，用于对输入的特征进行卷积后放大，并采获取多尺度物体信息；PixelShuffle模块用于对缩小的特征图进行有效的放大，以替代插值或解卷积的方法实现上采样；ASPP模块用于通过不同的空洞率构建不同感受野的卷积核获取多尺度物体信息；

合并卷积模块用于将左边分支和右边分支分别得到的特征图通过特征连接操作concatenation合并之后进行卷积融合特征，将输出的特征图扩大两倍。

2.根据权利要求1所述的一种用于图像语义分割的新型超分模块，其特征在于：ASPP模块包括具有不同膨胀率的多个并行空洞卷积层和一个平均池化层，以及特征连接层；每个空洞卷积层用于通过添加空洞扩大感受野，为每个膨胀率提取特征并在单独的分支中进一步处理；特征连接层用于融合前述处理结果，生成最后的结果。

3.根据权利要求1所述的一种用于图像语义分割的新型超分模块，其特征在于：还包括单个卷积层，用于匹配模板并给出每个模式对应的概率；

匹配滤波器系数时进行模式匹配，通过跨通道标准化像素值决定每个模板的概率；

在模块配置中使用归一化函数SoftMax对所有通道的滤波器的输出进行归一化处理，设i＝1,…,C,为卷积算子，↑为使用像素转移复用的上采样操作，则像素的概率为：

4.一种基于权利要求1至3中任意一项所述的用于图像语义分割的新型超分模块的上采样方法，其特征在于：包括以下步骤：

S0：输入特征图；

S1：对输入的特征图进行双分支并行特征操作，左边分支对特征进行双线性插值操作，右边分支对特征进行超分操作；

S2：合并右边分支与右边分支分别操作得到的特征图，然后进行卷积操作输出结果；

S3：采用包括峰值信噪比PSNR和结构相似度SSIM的评估指标对图像质量进行评价。

5.根据权利要求4所述的上采样方法，其特征在于：所述的步骤S1中，右边分支对特征进行超分操作的具体步骤为：

S11：对输入图像或特征图进行3×3卷积运算，输出特征图的通道变为2×s×s×C，s为放大倍数，C为原始通道数，确保特征图大小与输入的低分辨率图像一致；

S12：对特征图进行PixelShuffle操作，将输入的H×W的低分辨率图像通过Sub-pixel操作变为rH×rW的高分辨率图像；

S13：使用reshape函数重新定义矩阵的形状，将图像的通道数减半，并分配权重；

S14：通过ASPP模块对得到的图像进行卷积操作，得到高分辨率的特征图。

6.根据权利要求5所述的上采样方法，其特征在于：所述的步骤S12中，具体步骤为：

S121：通过卷积得到r²个通道的特征图；

S122：通过周期筛选的方法得到高分辨率图像。

7.根据权利要求5所述的上采样方法，其特征在于：所述的步骤S14中，具体步骤为：

S141：将输入ASPP模块的特征图并行输入到多个不同膨胀率的空洞卷积以及一个1x1的平均池化层中；

S142：将得到的特征图通过特征连接操作concatenation重新联结为一幅特征图，并通过1×1卷积融合特征得到输出。