[发明专利]一种基于生成图像标注库的图像自动标注的方法

权利要求书

1.一种基于生成图像标注库的图像自动标注的方法，包括以下几个步骤：

步骤1：图像标签库的构建；

图像标签库由图像库，对应的标签标注矩阵以及标签列表构成，标签列表包含所有用于图像标注的标签，标签标注矩阵由所有图像对应的标注向量构成，图像的标注向量0,1串，标明图像是否存在标签列表对应的标签，如存在则为1，不存在则为0；

令原始图像标签库为{(x₁,y₁),...,(x_l,y_l)}，(x_i，y_i)表示第i个带有标签的图像，x_i为图像i的视觉特征向量，y_i为图像i的标签向量，标签列表为C＝{c₁,c₂,...,c_q}，代表所有在图像标签库中出现过的标签；标签向量集合构成标签矩阵Y₀＝[y₁,y₂,...,y_l]，处理后的标签矩阵为Y＝[y′₁,y′₂,...,y′_l]；令R为标签相关矩阵，R_i,j表示标签c_i与标签c_j之间的相关性,其中o_i表示标注库中标签c_i的频数，Col_i,j表示标签c_i与c_j的共现，标签c_i与c_j的共现指的是标签c_i与c_j同时对一幅图像进行标注；

设误差函数为E＝E₁+αE₂+βE₃，d_ij表示图像i与图像j之间的距离，表示所有图像之间距离的和，s表示此图像标注库所有含有的标签列表中标签的个数，也即此图像标注库共有多少个不重复的标签；E₁表示期望标签矩阵和样本的视觉相似性之间的差异性；E₂＝||Y^TY-R||²，E₃＝||Y-Y₀||²，Y为处理后的标签标注矩阵，Y₀为初始的标签标注矩阵；

优化目标为min{E₁+αE₂+βE₃}，α和β均为非负整数，求解出近似的最优解，最优解即处理过后的最优图像标签库；

针对一个标注集为T＝{T₁,T₂,...,T_n}的图像，首先对其进行图像分割，得到m个图像块，再从该标注集T中为每个图像块确定一个最佳标注，最后合并具有相同标注的相邻区域，从而实现了为图像进行区域标注的目的；计算分割之后每一个标签对应的图像块面积，得到面积序列为S＝{S₁,S₂,...,S_n}，将图像的长宽分别进行8等分分割，每一层的权重由内置外依次递减，最外层的权重每分割为1，依次为1,2,4,8，一共四层；计算标注区域对应的图像权重块，如果图像区域与图像块有交集，则对应图像块总权重增加对应分割块的权重，得到权重序列W＝{W₁,W₂,...,W_n}；对应的标签权重计算公式为：

最终的图像标注库中图像标签矩阵中每一个图像的标签向量为标签权重；

步骤2：基于距离的最近邻传播模型的构建；

提取图像的多维特征，包括图像颜色特征，图像纹理特征，图像局部兴趣点特征，图像特征分多个维度计算其距离；

其中，图像颜色特征包括颜色矩和颜色聚合向量，采用YUV颜色空间进行颜色特征提取；

颜色矩采集包括一阶矩、二阶矩和三阶矩：

一阶矩：

二阶矩：

三阶矩：

其中，p_i,j表示彩色图像第i个颜色通道分量中灰度为j的像素出现的概率，N表示图像中的像素个数，μ_i为图像第i个颜色通道分量的平均值，或者简单说即一阶矩；

图像的3个分量Y，U，V的前三阶颜色矩组成一个9维直方图向量，即图像的颜色特征：F_color＝[μ_Y,σ_Y,s_Y,μ_U,σ_U,s_U,μ_V,σ_V,s_V]，其中字母μ，σ和s分别代表一阶矩，二阶矩和三阶矩，下标Y，U和V分别代表图像的三个分量，组合起来为颜色分量对应的颜色矩；

颜色聚合向量：将直方图的每一个纵向条纹bin的像素分为两部分，如果该bin内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素，将每一个bin分为颜色聚合向量和颜色非聚合向量；

图像的纹理特征采用基于Gabor小波的纹理特征；

最后，图像特征还包含SIFT算子提取的图像特征点特征；

提取图像各项特征之后，构建基于距离的最近邻传播模型，其近邻被定义为融合多维图像特征的图像距离与目标图像最为接近的若干张图像，其距离权重w被定义为：

其中，j为训练集中的图片，d_θ(i,j)＝θ^Td_ij，d是一个维度的距离，θ是权值矩阵；d_θ(i,j)是多维距离的线性组合，其中核心参数是权值矩阵θ的计算，通过使用TagProp模型进行学习，学习的结果是得到权值矩阵θ；

步骤3：对未标注图像进行标签概率计算；

计算待标注的图像i对应的标签y存在的概率p(y_i)：

其中，σ(z)＝(1+exp(-z))^-1，其作为概率计算结果——的一个平滑处理，w_ij表示图像i和j在图像集中的距离权重，v(j,y_j)代表在图像j中，标签y_j的权重，α,β是公式中的一组调和参数，作为不同训练集调优的一个设置，对于一幅图像，通过标签推断公式计算得出的不同概率的若干标签，取概率最大的前五个标签为此幅图像的标签。