[发明专利]一种结合图像局部约束与对象全局约束的图像标记方法

摘要

本发明公开了一种结合图像局部约束与对象全局约束的图像标记方法，其获取每幅原始图像的超像素区域节点图像，且在每幅原始图像对应的掩膜图像中找出与对应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域，并进行标记；然后利用超像素区域节点图像的特征集合以及掩膜图像所对应的区域标签集合来训练条件随机场模型，利用掩膜图像中的所有掩膜区域标记后得到的图像所对应的虚拟标签集合来训练形状玻尔兹曼机模型，且两者通过方格划分技术将条件随机场模型与形状玻尔兹曼机模型有效结合起来，使得图像局部约束与对象整体约束紧密结合，提高了图像标记的准确率；且其能适用于数据集较小且图像的分辨率较低的情况，计算复杂度低。

主权项

一种结合图像局部约束与对象全局约束的图像标记方法，其特征在于包括以下步骤：①选取一个图像库，该图像库中包含有M幅原始图像及每幅原始图像对应的掩膜图像，将图像库中的第m幅原始图像记为将对应的掩膜图像记为然后采用超像素分割方法对图像库中的每幅原始图像进行超像素分割，得到图像库中的每幅原始图像对应的超像素区域节点图像，将对应的超像素区域节点图像记为将中的第nm个超像素区域节点记为接着在图像库中的每幅原始图像对应的掩膜图像中找出与对应的超像素区域节点图像中的每个超像素区域节点相对应的掩膜区域，对于在中找出与中的每个超像素区域节点相对应的掩膜区域，将在中找出的与相对应的掩膜区域记为再根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域中属于前景的像素点的总个数与整个掩膜区域中的像素点的总个数的比例，来确定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，将的区域标签记为最后根据图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，判定图像库中的每幅原始图像对应的掩膜图像中的每个掩膜区域为前景区域或为背景区域，对于若则将判定为前景区域，若则将判定为背景区域；并将图像库中的每幅原始图像对应的掩膜图像中的所有掩膜区域的区域标签构成一个区域标签集合，将中的所有掩膜区域的区域标签构成的区域标签集合记为将中的所有掩膜区域标记后得到的图像记为其中，M≥200，1≤m≤M，1≤nm≤Nm，Nm表示中的超像素区域节点的总个数，Nm>1；②提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点特征，将的节点特征记为然后将图像库中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点的节点特征构成一个节点特征集合，将中的所有超像素区域节点的节点特征构成的节点特征集合记为其中，的维数为1×192，表示的颜色直方图特征，表示的纹理直方图特征，表示的位置概率直方图特征，和的维数为1×64；并提取图像库中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点与其相邻的各个超像素区域节点之间的连接边特征，将与其相邻的第个超像素区域节点之间的连接边特征记为然后将图像库中的每幅原始图像对应的超像素区域节点图像中的所有超像素区域节点对应的连接边特征构成一个连接边特征集合，将中的所有超像素区域节点对应的连接边特征构成的连接边特征集合记为其中，与相邻的超像素区域节点是指与有共同边界的超像素区域节点，表示中与相邻的超像素区域节点的总个数，的维数为1×3，表示与其相邻的第个超像素区域节点的共同边界上的所有像素点的PB值之和，表示的颜色直方图和与相邻的第个超像素区域节点的颜色直方图之间的欧氏距离，表示的纹理直方图和与相邻的第个超像素区域节点的纹理直方图之间的卡方距离；再将图像库中的每幅原始图像对应的超像素区域节点图像所对应的节点特征集合和连接边特征集合构成图像库中的每幅原始图像对应的超像素区域节点图像的特征集合，将的特征集合记为③将图像库中选取的M'幅原始图像及选取的每幅原始图像对应的掩膜图像构成训练集，将训练集中的第m'幅原始图像记为将对应的掩膜图像记为将对应的超像素区域节点图像记为将中的所有掩膜区域标记后得到的图像记为并将图像库中剩余的M‑M'原始图像及剩余的每幅原始图像对应的掩膜图像构成测试集；然后将训练集中的所有原始图像对应的超像素区域节点图像的特征集合及对应的掩膜图像所对应的区域标签集合，输入到条件随机场模型Ecrf(Ytruth,Xorg)＝Enode(Ytruth,Xnode)+Eedge(Ytruth,Xedge)中，通过条件随机场模型计算得到训练集中的每幅原始图像对应的超像素区域节点图像的能量，将的能量记为接着根据热统计力学，确定训练集中的每幅原始图像对应的超像素区域节点图像的条件似然概率应满足的条件，的条件似然概率应满足的条件为：之后将训练集中的所有原始图像对应的超像素区域节点图像的最大条件似然概率的表示式描述为：最后优化当训练集中的所有原始图像对应的超像素区域节点图像的能量之和最小时即使得最大时输出条件随机场模型的统一权重参数α和β，得到训练好的条件随机场模型；其中，0.5M≤M'≤0.9M，1≤m'≤M'，Ytruth、Xorg、Xnode和Xedge均为条件随机场模型的输入参数，Ytruth表示训练集中的任一幅原始图像对应的掩膜图像所对应的区域标签集合，Xorg表示训练集中的任一幅原始图像对应的超像素区域节点图像的特征集合，Xnode表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应的节点特征集合，Xedge表示训练集中的任一幅原始图像对应的超像素区域节点图像所对应的连接边特征集合，Enode(Ytruth,Xnode)表示条件随机场模型的一阶势，Eedge(Ytruth,Xedge)表示条件随机场模型的二阶势，表示所对应的区域标签集合，表示的特征集合，表示所对应的节点特征集合，表示所对应的连接边特征集合，exp()表示以自然基数e为底的指数函数，max{}表示取最大值函数；④获取训练集中的每幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中的每个方格的虚拟标签，将中的第z个方格的虚拟标签记为然后将训练集中的每幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中的所有方格的虚拟标签构成一个虚拟标签集合，将中的所有方格的虚拟标签构成的虚拟标签集合记为接着将训练集中的所有原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像所对应的虚拟标签集合，输入到形状玻尔兹曼机模型中；之后采用对比散度算法训练形状玻尔兹曼机模型的第一层网络，得到形状玻尔兹曼机模型的第一层网络的输出htruth,1及形状玻尔兹曼机模型的第一层网络的参数Wtruth,1、atruth和btruth，再将形状玻尔兹曼机模型的第一层网络的输出htruth,1作为形状玻尔兹曼机模型的第二层网络的输入，同样采用对比散度算法训练形状玻尔兹曼机模型的第二层网络，得到形状玻尔兹曼机模型的第二层网络的输出htruth,2及形状玻尔兹曼机模型的第二层网络的参数Wtruth,2和ctruth，最后采用平均场估计方法对Wtruth,1、atruth、btruth、Wtruth,2和ctruth进行微调优化，将微调优化后对应得到的和作为形状玻尔兹曼机模型的最终参数，得到训练好的形状玻尔兹曼机模型；其中，1≤z≤Z，Z表示中的方格的总个数，符号为向上取整符号，1≤nm'≤Nm'，Nm'表示中的超像素区域节点的总个数，Nm'>1，表示中的第nm'个掩膜区域的区域标签，表示中与中的第nm'个掩膜区域对应的区域中属于中的第z个方格的面积占的面积的比例，表示与相交的面积，符号“∩”为相交运算符号，表示的面积，表示训练集中的任一幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中的所有方格的虚拟标签构成的虚拟标签集合，K表示形状玻尔兹曼机模型的第一层隐节点中的隐节点的总个数，K>1，表示训练集中的任一幅原始图像对应的掩膜图像中的所有掩膜区域标记后得到的图像中的第z个方格的虚拟标签，表示与形状玻尔兹曼机模型的第一层隐节点中的第k个隐节点的连接权重，表示形状玻尔兹曼机模型的第一层隐节点中的第k个隐节点的值，表示形状玻尔兹曼机模型的第一层隐节点中的第k个隐节点的偏置值，表示的偏置值，U表示形状玻尔兹曼机模型的第二层隐节点中的隐节点的总个数，U>1，表示形状玻尔兹曼机模型的第一层隐节点中的第k个隐节点与形状玻尔兹曼机模型的第二层隐节点中的第u个隐节点的连接权重，表示形状玻尔兹曼机模型的第二层隐节点中的第u个隐节点的值，表示形状玻尔兹曼机模型的第二层隐节点中的第u个隐节点的偏置值；⑤将训练好的条件随机场模型中的参数α和β及训练好的形状玻尔兹曼机模型中的参数和作为条件随机场与形状玻尔兹曼机联合模型的初始化参数；然后将训练集中的所有原始图像对应的超像素区域节点图像的特征集合及对应的掩膜图像所对应的区域标签集合，输入到条件随机场与形状玻尔兹曼机联合模型中；接着根据热统计力学，确定训练集中的每幅原始图像对应的超像素区域节点图像的条件似然概率应满足的条件，的条件似然概率应满足的条件为：之后将训练集中的所有原始图像对应的超像素区域节点图像的最大条件似然概率的表示式描述为：最后通过平均场估计方法迭代优化使得最大时输出条件随机场与形状玻尔兹曼机联合模型的最终参数αfinal、βfinal、和得到训练好的条件随机场与形状玻尔兹曼机联合模型；⑥将测试集中的所有原始图像对应的超像素区域节点图像的特征集合，输入到训练好的条件随机场与形状玻尔兹曼机联合模型中，训练好的条件随机场与形状玻尔兹曼机联合模型输出测试集中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签；然后将测试集中的每幅原始图像对应的掩膜图像中的每个掩膜区域的区域标签，对应作为测试集中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点标记；再将测试集中的每幅原始图像对应的超像素区域节点图像中的每个超像素区域节点的节点标记，作为该超像素区域节点中的每个像素点的标记，得到测试集中的每幅原始图像对应的超像素区域节点图像相应的标记图。