[发明专利]基于帧间约束超像素编码的目标跟踪方法

摘要

本发明公开了一种基于帧间约束超像素编码的目标跟踪方法，主要解决当目标发生遮挡、快速运动、外观形变而导致跟踪失败的跟踪问题。本发明实现的步骤如下：（1）预处理第一帧图像；（2）构建初始字典；（3）样本编码；（4）训练分类器；（5）当前帧检测样本编码；（6）预测目标框位置；（7）更新字典；（8）精确样本编码；（9）升级分类器；（10）判断是否为最后一帧图像，若是，则结束，否则，返回步骤（5）处理下一帧图像。本发明采用超像素分割和约束编码的方法，降低了图像处理后续任务的复杂度，确保了图像空间信息一致性原则，保留了图像局部边界信息和纹理信息的一致性，能够稳定准确地跟踪目标。

主权项

1.一种基于帧间约束超像素编码的目标跟踪方法，包括如下步骤：（1）预处理第一帧图像：（1a）输入一段待跟踪视频图像序列中的第一帧图像，将第一帧图像作为当前帧图像；（1b）在当前帧图像中将待跟踪目标用矩形框标出，将矩形框的位置作为待跟踪目标的初始位置；（1c）提取当前帧图像中所有像素点的颜色模型Lab特征描述子；（2）构建初始字典：（2a）采用Turbopixels方法，将当前帧图像分割成为超像素块；（2b）对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值，将该平均值作为每个超像素块的颜色模型Lab特征描述子；（2c）采用k均值聚类的方法，将每个超像素块的颜色模型Lab特征描述子进行聚类，得到初始字典；（3）样本编码：（3a）在当前帧图像中，以待跟踪目标的初始位置为中心，取出与待跟踪目标的初始位置大小相同的多个矩形框，将这些矩形框作为样本；（3b）提取样本中超像素块的颜色模型Lab特征描述子；（3c）按照下式，计算样本的编码：mincitΣi=1N||xit-Btcit||2]]>s.t.ATcit=1,∀i]]>其中，表示样本的编码，i表示样本的第i个超像素块，t表示当前正在处理图像的帧序号，N表示样本中超像素块的总个数，表示超像素块的颜色模型Lab特征描述子，B^t表示初始字典，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；（4）训练分类器：（4a）采用交叉验证的方法，由样本中正样本和负样本的类别及样本编码训练得到线性支持向量机SVM分类器；（5）当前帧检测样本编码：（5a）载入待跟踪视频图像序列中下一帧，作为当前帧图像，按照Turbopixels方法，获得当前帧图像超像素块，对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值，得到每个超像素块的颜色模型Lab特征描述子；（5b）在当前帧图像中，以上一帧待跟踪目标的位置为中心获取多个检测样本，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为检测样本；（5c）提取检测样本中超像素块的颜色模型Lab特征描述子；（5d）按照下式，计算检测样本的预测编码：mincit′Σi=1N||xit-Bit-1cit′||2]]>s.t.ATcit′=1,∀i]]>其中，表示检测样本的预测编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示上一帧字典，min(·)表示求最小值操作，||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；（5e）按照下式，计算检测样本的上一帧约束编码：cit-1=argmin∂i||cit′-c∂it-1||]]>其中，表示检测样本的检测样本的上一帧约束编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，表示检测样本的预测编码，表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域，表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码；||·||表示求一范数操作，argmin(·)表示选取最小值操作；（5f）按照下式，计算检测样本的编码：mincitΣi=1N||xit-Bit-1cit||2+λ||cit-1-cit||2]]>s.t.ATcit=1,∀i]]>其中，表示检测样本的编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示检测样本中超像素块的颜色模型Lab特征描述子，表示上一帧字典，表示检测样本的上一帧约束编码，λ是系数因子，取值范围0.1～10，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；（6）预测目标框位置：用当前帧图像的上一帧图像训练的分类器，对当前帧检测样本的编码进行分类预测，得到当前帧图像的检测样本的决策值，选出最大决策值的检测样本在当前帧图像中的位置，将该位置作为当前帧图像中待跟踪目标的位置；（7）更新字典：（7a）采用k均值聚类方法，将当前帧图像中超像素的颜色模型Lab特征描述子聚类到上一帧字典，得到修正聚类中心，按照下式，计算当前帧字典：Bt=αBt-1+(1-α)Bt′]]>其中，B^t表示当前帧字典，α表示权值系数，α的取值范围为0.85～1，B^t-1表示上一帧字典，表示修正聚类中心；（8）精确样本编码：（8a）在当前帧图像中，以当前帧图像中待跟踪目标的位置为中心，取出与待跟踪目标的位置大小相同的多个矩形框，将这些矩形框作为精确样本；（8b）提取精确样本中超像素的颜色模型Lab特征描述子；（8c）按照下式，计算精确样本的预测编码：mincit′Σi=1N||xit-Bitcit′||2]]>s.t.ATcit′=1,∀i]]>其中，表示精确样本的预测编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示当前帧字典，min(·)表示求最小值操作，||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；（8d）按照下式，计算精确样本的上一帧约束编码：cit-1=argmin∂i||cit′-c∂it-1||]]>其中，表示精确样本的上一帧约束编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，表示精确样本的预测编码，表示精确样本的第i个超像素块在上一帧图像对应超像素块的邻域，表示精确样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码，||·||表示求一范数操作，argmin(·)表示选取最小值操作；（8e）按照下式，计算精确样本的编码：mincitΣi=1N||xit-Bitcit||2+λ||cit-1-cit||2]]>s.t.ATcit=1,∀i]]>其中，表示精确样本的编码，t表示当前正在处理图像的帧序号，i表示样本的第i个超像素块，N表示样本中超像素块的总个数，表示检测样本中超像素块的颜色模型Lab特征描述子，B^t表示当前帧字典，表示精确样本的上一帧约束编码，λ是系数因子，取值范围0.1～10，min(·)表示求最小值操作,||·||²表示求二范数操作，s.t.表示约束条件符号，A表示元素值全为1的向量，(·)^T表示转置操作，表示i任意取1～N中的一个整数；（9）升级分类器：（9a）采用交叉验证的方法，由精确样本的类别及编码训练出本帧修正分类器；（9b）按照下式，计算当前帧分类器：wt=βwt-1+(1-β)wt′]]>其中，w^t表示当前帧分类器，β是更新系数，β的取值范围为0.8～1，w^t-1表示上一帧分类器，表示本帧修正分类器；（10）判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像，若是，执行步骤（11）；否则，执行步骤（5）；（11）结束。