[发明专利]一种基于局部注意掩模的分段感知神经网络方法

权利要求书

1.一种基于局部注意掩模的分段感知神经网络方法，其特征在于，主要包括学习分割线索(一)；分段感知双边滤波(二)；分割感知条件随机场(CRF)(三)；分段式卷积(四)。

2.基于权利要求书1所述的学习分割线索(一)，其特征在于，给定一个由像素组成的RGB图像，即(即编码颜色的三维矢量)，将像素映射(即嵌入)到可以测量像素之间的语义相似度的特征空间的嵌入函数；选择该特征空间的维数为D＝64，将嵌入函数写为或更具体地，f(p)＝e，其中，e是像素p的嵌入。

3.基于权利要求书2所述的嵌入函数，其特征在于，位于同一物体上的像素对应产生类似的嵌入(即，特征空间中的短距离)，并且来自不同对象的对将产生不相似的嵌入(即，特征空间中的长距离)；给定像素作为训练数据的语义类别标签，可以将嵌入目标表示为像素对上的损失函数；对于任何两个像素索引i和j，以及相应的嵌入e_i,e_j和对象类标签I_i,I_j，可以优化相同标签对以具有“近”嵌入，而不同标签对具有“远”嵌入；使用α和β分别表示“近”和“远”阈值，可以定义成对损失为：

其中，‖·‖表示向量范数；L¹和L²范数学习的嵌入是相似的，但是基于L¹的嵌入不易受到梯度的影响；对于阈值，使用α＝0.5和β＝2；实际上，α和β的具体值并不重要，只要α≤β，并且网络的其余部分可以学习补偿所得的嵌入。

4.基于权利要求书3所述的成对损失，其特征在于，为了量化嵌入函数的整体质量，可简单地将图像中的成对损失求和；虽然对于具有N个像素的图像，有N²对来评估，但简单地从每个像素周围的邻域采样也是有效的，如：

其中，迭代索引i的空间邻域；在实践中使用了三个重叠的3×3邻域；训练一个完全收敛的卷积神经网络(CNN)，通过随机梯度下降来最小化这种损失。

5.基于权利要求书1所述的分段感知双边滤波(二)，其特征在于，在一个索引嵌入e_i和任何其他嵌入e_j之间的距离提供了一个幅度，指示i和j是否落在同一个对象上；可以使用指数分布将这些幅度转换成(非归一化)概率：

m_i,j＝exp(-λ‖e_i-e_j‖)(3)

其中，λ是可学习参数，m_i,j表示i是参考像素，j是所考虑的邻域；考虑到所有指标m_i表示前景-背景分割掩模，其中，中心像素i定义为前景，即m_i,i＝1；通过训练网络提供卷积嵌入，学习双边距离函数。