[发明专利]一种基于模型互更新的双模图像决策级融合跟踪方法

摘要

本发明公开了一种基于模型互更新的双模图像决策级融合跟踪方法。本发明针对红外与可见光图像的特点，首先提取红外与可见光图像的特征描述向量，使其能提供互补信息，增加图像的信息量描述。之后采用Gentle Adaboost学习算法分别建立红外与可见光图像两个分类器模型，将跟踪问题转化为目标与背景的二分类问题。然后在半监督学习框架下协同训练，同时进行模型互更新，有效避免了模型误差累积问题。并利用训练结果和它们各自的置信度进行决策级融合得到最终的似然图像，最后通过均值漂移算法在最终的似然图像中定位目标位置。本发明能有效避免模型误差累积和单模图像描述目标信息局限性而导致的跟踪丢失问题，提高了跟踪的鲁棒性。

主权项

一种基于模型互更新的双模图像决策级融合跟踪方法，其特征在于该方法的具体步骤是：步骤(一).提取初始帧红外图像与初始帧可见光图像的特征1.1初始帧红外图像的特征提取：对初始帧红外图像提取灰度颜色与梯度方向直方图两种特征；根据初始帧红外图像中目标像素点(x,y)，由公式(1)、(2)得到该目标像素点(x,y)的梯度，如下：G_x(x,y)＝H(x+1,y)‑H(x‑1,y)    式(1)；G_y(x,y)＝H(x,y+1)‑H(x,y‑1)    式(2)；式中，G_x(x,y)、G_y(x,y)、H(x,y)分别表示输入初始帧红外图像中该目标像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值；根据公式(3)、(4)，该目标像素点(x,y)处的梯度幅值G(x,y)和梯度方向α(x,y)为：以该目标像素点(x,y)为中心的5x5区域内，根据公式(3)和式(4)得到的数值计算方向梯度直方图，梯度方向11等分，确定梯度方向直方图特征；提取该目标像素点(x,y)的像素值作为灰度颜色特征；由梯度方向直方图特征、灰度颜色特征构成12维特征向量；1.2对初始帧可见光图像的特征提取：对初始帧可见光图像提取彩色颜色与局部二值模式两种特征；对于可见光RGB彩色图像，分别计算各通道之间的局部二值模式特征，包括R‑R，R‑G，R‑B，G‑R，G‑G，G‑B，B‑R，B‑G，B‑B九种通道的组合；对初始帧可见光图像选取各组合中第一个通道的目标像素点(x,y)为中心和该组合第二通道以该目标同一像素点(x,y)为中心的3x3区域，该区域上的某像素点的像素值若大于等于目标像素点(x,y)的像素值时，则标记为1；若小于目标像素点(x,y)的像素值时，则标记为0；然后将该区域的二进制数化为十进制数，得到九种通道组合对应的九维局部二值模式特征值，确定为九维局部二值模式特征；提取该目标像素点(x,y)的RGB通道的值作为三维彩色颜色特征；由局部二值模式特征、彩色颜色特征构成12维特征向量；步骤(二).制作训练样本在初始帧红外图像或初始帧可见光图像上选取目标与背景的像素点作为训练样本，组成训练样本集T1＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l)}，x_i∈X＝Rⁿ,y_i∈Y＝{1,‑1}，其中x_i为n维输入向量，也即n维训练样本，y_i为第i个样本的样本标签，l为训练样本总数；X表示状态空间，其中Y表示状态集合；步骤(三).设计分类器模型，具体步骤如下：(1)给定一个训练样本集T＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}；(2)初始化训练样本集权值w₁:对于i＝1，...，N,w₁(i)＝1/N；(3)做S轮循环，t＝1,…,S,S为弱分类器数量,执行以下步骤：a.对于具有权值的训练样本集T，求使得加权误差函数最小的弱分类器h_t(x)，其表达式为：$h_t\left(x\right)=\underset{n=1}{\overset{N}{\Σ}}{w}_1\left(i\right)I\left(h_t\right(x_i)\≠y_i)$其中I(h_t(x_i)≠y_i)为指示函数，若h_t(x_i)≠y_i时输出为1，否则输出0；b.迭代更新强分类器：H(x)←H(x)+h_t(x)；c.更新训练样本集权值并且归一化；(4)最后得到输出分类器：步骤(四).互更新红外与可见光图像的分类器模型,具体更新步骤如下：4.1根据步骤(三)针对初始帧红外图像与初始帧可见光图像分别建立两个分类器模型；4.2利用初始帧红外图像与初始帧可见光图像各自的输出分类器对各自的后续帧图像进行目标与背景的分类，得到各自的似然图像；4.3由似然图像对置信度进行精确的估计，其似然图像的置信度P由公式(9)计算得到：P(y＝1|x)＝e^H(x)/(e^H(x)+e^‑H(x))    式(9)；4.4根据红外图像与可见光图像各自的似然图像和置信度进行双模图像决策级融合得到最终的似然图像；4.5利用了红外图像与可见光图像各自的似然图像，对目标边缘上某个像素点计算红外图像与可见光图像各自的置信度，更新置信度较小的图像对应的分类器模型；若双模图像置信度差值在设定阀值之内，即认为双模图像在此图像帧序列都能跟踪目标，则不用更新分类器模型；否则重复步骤(三)；步骤(五).通过均值漂移算法在最终的似然图像中定位目标。