[发明专利]基于多级特征融合及高斯条件随机场的图像语义分割方法

摘要

本发明公开了一种基于多级特征融合及高斯条件随机场的图像语义分割方法，包括：1）构建图像金字塔；2）使用空洞卷积保持特征图分辨率不变；3）多级特征逐层融合调优架构；4）用双线性插值法进行上采样；5）定义损失函数；6）高斯条件随机场的优化输出。本发明通过构建图像金字塔实现多级特征逐层融合的全卷积架构，使用自上而下的调优框架替代之前流行的并行池化模块，在获得不同尺度特征的同时逐层融合，保证了金字塔邻近层之间的特征优先融合，最大限度地捕获上下文信息，使用高斯条件随机场进一步优化前端的输出，捕获更多的空间细节，使得分割效果图中对象边界更加精准，最终整体架构的输出得到最优的语义分割效果。

主权项

1.一种基于多级特征融合及高斯条件随机场的图像语义分割方法，其特征在于，包括以下步骤：1)构建图像金字塔对单帧图像构建一个四层的图像金字塔，每个层由下至上编号，第i层表示为Gi，为了生成图像金字塔中的第i+1层，用一个高斯核kGaussian对Gi执行卷积操作，并在之后删除每个偶数行和列，高斯核kGaussian表示为公式(1)：然后在输入原始图像G0上迭代上述过程，最终生成整个图像金字塔；2)使用空洞卷积保持特征图分辨率不变从滤波器的角度看图像这类二维信号，滤波器w在输入特征图x上做空洞卷积操作得到位置i的输出y：其中空洞率r对应于对输入信号进行采样的步幅，相当于将输入x与通过在每个空间维度上在两个连续滤波值之间插入r‑1个零而产生的上采样滤波器进行卷积，标准卷积相当于空洞率r＝1的特殊情形；3)多级特征逐层融合调优架构由原始图像生成包含不同分辨率图像的图像金字塔，从顶层最小分辨率的图像开始通过若干全卷积操作生成包含局部信息的特征图，再将其上采样到与邻近层图像相同的分辨率，与邻近层初始特征图堆叠参与该层的后续若干全卷积操作，即融合得到新的局部特征，以此自上而下逐步调优，最后一层为了从特征图中得到最终的分割图进行了1×1的卷积操作并微调；4)用双线性插值法进行上采样通过双线性插值法对包含局部特征的低分辨率特征图进行上采样以融合到包含相对全局特征的高分辨率特征图中；5)定义损失函数采用最小化交叉熵损失函数计算卷积网络输出图中每个空间位置的交叉熵项总和，或者说是计算每个像素的预测概率分布和其真实概率分布间的距离：其中，L是对错误分类标签的交叉熵损失函数，R是一个正则项，而函数L通常分解为指定像素的损失之和：然后通过对交叉熵损失函数执行随机梯度下降，在PASCALVOC 2012数据集的分割任务上微调网络模型；6)高斯条件随机场的优化输出使用高斯条件随机场做后端进行优化，高斯条件随机场的能量函数E(x)为：当A+λI是对称正定矩阵时，求解E(x)的最小值等价于求解方程：(A+λI)x＝B                       (12) 。