[发明专利]基于邻域与距离度量学习的图像语义自动标注方法

摘要

本发明提供一种基于邻域与距离度量学习的图像语义自动标注方法，包括通过引入变换矩阵，从训练集中随机取任意两幅图像求得距离度量；计算标注词的先验概率，对于训练集中的每个图像获取邻域，记录训练集中标注词出现与不出现的次数，计算条件概率；对于测试集中的每个图像获取邻域，通过计算图像系数得到标准词向量并输出。本发明无需事先确定标注词的个数比较现有技术智能化程度更高，标注结果更准确。而且，本发明的图像邻域完全是通过学习所获得的距离度量得到的，精确度更高。

主权项

一种基于邻域与距离度量学习的图像语义自动标注方法，其特征在于：设训练集Tr为有标注词的图像集合{I1,I2,...,IN1}，N1为训练集Tr中图像个数，测试集Te为无标注词的图像集合{I1,I2,...,IN2}，N2为测试集Te中图像个数；任一幅图像I由M个视觉特征x1,x2,...,xM表示成M维向量I＝(x1,x2,...,xM)，L＝{k1,k2,...,km}是标注词集合，每幅图像I∈Tr都与对应，Y＝(y1,y2,...,ym)，Y称为图像I的标注词向量；yj＝1表示图像I有标注词kj，yj＝0表示图像I没有标注词kj，j的取值为1,2,…,m；训练集表示为Tr＝{(Iu,Yu)|u＝1,2,...N1}，表示第j个标注词kj属于图像Iu，表示第j个标注词kj不属于图像Iu，Yu为图像Iu的标注词向量；执行以下步骤，步骤一，从训练集中随机取任意两幅图像Iu,Iv∈Tr，求得距离度量Δ(Iu,Iv)，实现如下，令S＝ATA，其中A是变换矩阵；对于训练集中的任意两幅图像Iu,Iv∈Tr，它们之间的距离Δ(Iu,Iv)是Δ(Iu,Iv)＝(Iu,Iv)TS(Iu,Iv)＝(AIu,AIv)T(AIu,AIv)其中，S＝ATA是由变换矩阵A生成的度量矩阵，(Iu,Iv)T是图像Iu与Iv向量之间欧几里得距离的转置，AIu是A与Iu的内积，AIv是A与Iv的内积，(AIu,AIv)是计算两个内积AIu、AIv的欧几里得距离后所获得的向量，(Iu,Iv)TS(Iu,Iv)是(Iu,Iv)T、S和(Iu,Iv)的内积；图像Iu选择训练集Tr中的另一图像Iv作为自己近邻的概率Puv按下式计算，Puv=w(Iv)exp(-||AIu-AIv||2)Σk≠uw(Ik)exp(-||AIu-AIk||2)]]>其中，w(I)＝P2(I)/P1(I)是待定向量，其中P1(I)和P2(I)分别是训练集Tr和测试集Te的概率密度函数，Ik表示训练集Tr中图像Iu以外的任意图像，则Iu、Ik相应的待定向量w(Iv)＝P2(Iv)/P1(Iv)、w(Ik)＝P2(Ik)/P1(Ik)；记训练集Tr中所有与Iu具有相同标注词的图像集合为Ωu，则Ωu中的图像都是图像Iu的近邻的概率Pu是Pu=ΣIv∈ΩuPuv]]>概率Pu的加权均值f(A)如下，f(A)=Σu=1N1w(Iu)logPu]]>其中，Iu相应的待定向量w(Iu)＝P2(Iu)/P1(Iu)；按下式计算f(A)的梯度∂f∂A=2AΣu=1N2w(Iu)(Σk≠uPuk(Iu-Ik)(Iu-Ik)T-ΣIv∈ΩuPuv(Iu-Iv)(Iu-Iv)TΣIv∈ΩuPuv)]]>利用梯度下降法求得变换矩阵A，由此得到图像距离Δ(Iu,Iv)；步骤二，对于标注词kj∈L和训练集Tr中的每个图像Iu∈Tr，按照下式分别计算标注词的先验概率和P(kj+)=1+Σu=1N1yuj1+N1,P(kj-)=1-P(kj+)]]>其中，和分别表示标注词kj出现或不出现；步骤三，对于训练集Tr中的每个图像Iu∈Tr，利用步骤一所获得的距离度量Δ(Iu,Iv)，获得Iu的邻域δ(Iu)，实现如下，δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Tr}其中，τ是预设的邻域半径，τ＞0；步骤四，对于标注词kj∈L，记录训练集Tr中标注词kj出现与不出现的次数aj和bj；步骤五，计算条件概率P(Ckj|kj+)=1+ajM+Σaj,P(Ckj|kj-)=1+bjM+Σbj]]>其中，是训练集Tr中在图像Iu的邻域δ(Iu)内有标注词kj的图像的个数，M是图像视觉特征的个数；步骤六，对于测试集Te中的任意图像Iu∈Te，获得图像Iu的邻域δ(Iu)，实现如下，首先，对于测试集中任意图像Iu∈Te，利用步骤一所获得的距离度量Δ(Iu,Iv)，获得Iu的邻域δ(Iu)，实现如下，δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Te}其中，τ是预设的邻域半径，τ＞0，Iv表示测试集Te中图像Iu以外的任意图像；步骤七，通过计算图像系数得到标准词向量并输出，实现如下，对于每个标注词kj∈L，计算测试集中任一图像Iu∈Te的邻域δ(Iu)内所包含的图像中有标注词kj的图像系数ω(Iu,kj)；如果ω(Iu,kj)＝│δ(Iu)│，则其中│δ(Iu)│表示邻域δ(Iu)内所有图像的数目；否则，如果ω(Iu,kj)＝0，则否则，按照下式计算ω(Iu,kj)=P(kj|Ckj)=argmaxz∈{+,-}P(kjz)P(Ckj|kjz)]]>其中，为计算获得的后验概率，如果新计算的ω(Iu,kj)＞λ，则否则λ为预设阈值，λ∈(0,1)。