[发明专利]一种基于深度图像或深度视频序列的实时跟踪目标的计算方法

摘要

本发明涉及一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，本发明包括预处理深度图像、搜索跟踪目标、实时更新跟踪模板；搜索跟踪目标过程分为粗略搜索和精细搜索两个阶段，减少了样本的数目，进而提高算法的运行速度。本发明使用深度图像进行目标跟踪，能在保护跟踪目标隐私的同时，实时跟踪目标，对光照、遮挡及复杂背景等因素具有较强的鲁棒性。本发明实时更新跟踪模板提高了跟踪的准确性，在跟踪目标的匹配值较低时，本发明不更新跟踪模板并对下一帧图像扩大搜索范围，避免了跟踪目标移动过快或变化过大造成的目标丢失。

主权项

一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，其特征在于，具体步骤包括：(1)采集深度图像，并对采集的深度图像进行预处理，所述预处理包括依次进行求补、腐蚀、膨胀、填充、重构、边缘提取、距离变换、归一化；(2)在第1帧深度图像中，手动标记初始跟踪目标A₁；在初始跟踪目标A₁附近取若干个训练样本X_1t，训练样本X_1t中心点的选取方法为：在以初始跟踪目标A₁为圆心、(1‑20)个像素点为半径的圆内随机取若干个像素点；在远离初始跟踪目标A₁处取若干个训练样本Y_1j，训练样本Y_1j中心点的选取方法为：在以初始跟踪目标A₁为圆心、(20‑100)像素点为内半径、(40‑150)个像素点为外半径的圆环内随机取若干个像素点；任一训练样本X_1t、任一训练样本Y_1j均与初始跟踪目标A₁大小相同；训练样本B_1i包括所有的训练样本X_1t及所有的训练样本Y_1j，i＝t+j，将每一个训练样本B_1i分别与初始跟踪目标A₁进行模板匹配并分类，模式匹配并分类公式如式(Ⅰ)所示：$C_{1i}=\frac{{\mathrm{\Σ}}_m{\mathrm{\Σ}}_n(B_{1i_{mn}}-{\stackrel{\‾}{B}}_{1i})(A_{1_{mn}}-{\stackrel{\‾}{A}}_1)}{\sqrt{\left({\mathrm{\Σ}}_m{\mathrm{\Σ}}_n{(B_{1i_{mn}}-{\stackrel{\‾}{B}}_{1i})}^2\right)\left({\mathrm{\Σ}}_m{\mathrm{\Σ}}_n{(A_{1_{mn}}-{\stackrel{\‾}{A}}_1)}^2\right)}}$     (I)式(Ⅰ)中，C_1i为第一帧深度图像中初始跟踪目标A₁与训练样本B_1i的匹配值，为A₁的均值，为B_1i的均值，为B_1i的矩阵，m为的行，n为的列；为A₁的矩阵，m为的行，n为的列；当C_1i的值大于阈值S时，训练样本B_1i属于正样本，S的取值范围为(0.4‑0.8)，否则，属于负样本；分类完毕后，将获取的所有正样本加权平均，得到S₁，并与初始跟踪目标A₁加权，加权公式如式(Ⅱ)所示，得到第1帧图像的跟踪模板；T₁＝α₁×S₁+α₂×A₁     (Ⅱ)式(Ⅱ)中，T₁为第1帧图像的跟踪模板；α₁+α₂＝1，α₁的取值范围为(0.5‑0.8)；(3)设定步骤(1)获取o帧深度图像，p＝2，2≤p≤o，执行以下步骤：A、在第p帧深度图像中，对应第p‑1帧图像中A_p‑1的相同位置为中心、(30‑100)个像素点为半径、(5‑10)个像素点为步长的圆内获取测试样本D_pl的中心，测试样本D_pl与跟踪模板T_p‑1大小相同；将测试样本D_pl与T_p‑1进行模板匹配，模板匹配公式如式(Ⅲ)所示：$C_{pl}^{\′}=\frac{{\mathrm{\Σ}}_m{\mathrm{\Σ}}_n(D_{{\mathrm{pl}}_{mn}}-{\stackrel{\‾}{D}}_{pl})(T_{p-1_{mn}}-{\stackrel{\‾}{T}}_{p-1})}{\sqrt{\left({\mathrm{\Σ}}_m{\mathrm{\Σ}}_n{(D_{{\mathrm{pl}}_{mn}}-{\stackrel{\‾}{D}}_{pl})}^2\right)\left({\mathrm{\Σ}}_m{\mathrm{\Σ}}_n{(T_{p-1_{mn}}-{\stackrel{\‾}{T}}_{p-1})}^2\right)}}$     (Ⅲ)式(Ⅲ)中，为第p帧深度图像中测试样本D_pl与跟踪模板T_p‑1的匹配值，为T_p‑1的均值，为D_pl的均值，为矩阵，m为的行，n为的列；为矩阵，m为的行，n为的列；l为正整数；选出通过公式(Ⅲ)求取的最大的匹配值对应的测试样本，以最大的匹配值对应的测试样本位置为中心、(5‑10)个像素点为半径、1个像素点为步长的圆内取测试样本的中心，将测试样本与T_p‑1进行模板匹配，模板匹配公式如式(Ⅳ)所示：$C_{pl}^{\′\′}=\frac{{\mathrm{\Σ}}_m{\mathrm{\Σ}}_n(D_{{\mathrm{pl}}_{mn}}^{\′}-{\stackrel{\‾}{D}}_{pl}^{\′})(T_{p-1_{mn}}-{\stackrel{\‾}{T}}_{p-1})}{\sqrt{\left({\mathrm{\Σ}}_m{\mathrm{\Σ}}_n{(D_{{\mathrm{pl}}_{mn}}^{\′}-{\stackrel{\‾}{D}}_{pl}^{\′})}^2\right)\left({\mathrm{\Σ}}_m{\mathrm{\Σ}}_n{(T_{p-1_{mn}}-{\stackrel{\‾}{T}}_{p-1})}^2\right)}}$     (Ⅳ)式(Ⅳ)中，为第p帧深度图像中测试样本与跟踪模板T_p‑1的匹配值，为T_p‑1的均值，为的均值，为矩阵，m为的行，n为的列；T_p‑1mn为矩阵，m为的行，n为的列；选出通过公式(Ⅳ)求取的最大的匹配值对应的测试样本即第p帧深度图像的跟踪目标A_p；判断通过公式(Ⅳ)求取的最大的匹配值是否大于阈值S，S的取值范围为(0.4‑0.8)，如果大于，则进入步骤B，否则，T_p＝T_p‑1；T_p为第p帧图像的跟踪模板，进入步骤C；B、在跟踪目标A_p附近取若干个训练样本X_pt，训练样本X_pt中心点的选取方法为：在以跟踪目标A_p为圆心、(1‑20)个像素点为半径的圆内随机取若干个像素点；在远离跟踪目标A_p处取若干个训练样本Y_pj，训练样本Y_nj中心点的选取方法为：在以跟踪目标A_p为圆心、(20‑100)像素点为内半径、(40‑150)个像素点为外半径的圆环内随机取若干个像素点；任一训练样本X_pt、任一训练样本Y_pj均与跟踪目标A_p大小相同；训练样本B_pi包括所有的训练样本X_pt及所有的训练样本Y_pj，i＝t+j，将每一个训练样本B_pi分别与跟踪模板T_p‑1进行模板匹配并分类，模式匹配并分类公式如式(Ⅴ)所示：$C_{pi}=\frac{{\mathrm{\Σ}}_m{\mathrm{\Σ}}_n(B_{{\mathrm{pi}}_{mn}}-{\stackrel{\‾}{B}}_{pi})(T_{p-1_{mn}}-{\stackrel{\‾}{T}}_{p-1})}{\sqrt{\left({\mathrm{\Σ}}_m{\mathrm{\Σ}}_n{(B_{{\mathrm{pi}}_{mn}}-{\stackrel{\‾}{B}}_{pi})}^2\right)\left({\mathrm{\Σ}}_m{\mathrm{\Σ}}_n{(T_{p-1_{mn}}-{\stackrel{\‾}{T}}_{p-1})}^2\right)}}$     (Ⅴ)式(Ⅴ)中，C_pi为第p帧深度图像中每一个训练样本B_pi与跟踪模板T_p‑1的匹配值，为T_p‑1的均值，为B_pi的均值，为矩阵，m为的行，n为的列；为矩阵，m为的行，n为的列；当C_pi的值大于阈值S时，训练样本B_pi属于正样本，S的取值范围为(0.4‑0.8)，否则，属于负样本；分类完毕后，将获取的所有正样本加权平均，得到S_p，并与初始跟踪目标A₁加权，加权公式如式(Ⅵ)所示，得到第p帧图像的跟踪模板；T_p＝α₁×S_p+α₂×A₁     (Ⅵ)式(Ⅵ)中，T_p为第p帧图像的跟踪模板；C、判断p是否等于o，如果是，结束，否则，p加1，进入步骤A。