[发明专利]基于双相关滤波和隶属度加权决策的深度目标跟踪方法

权利要求书

1.一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法，其特征在于，包括如下步骤：

(1)构建多个基于双相关的相关滤波器模型：

(1a)设置待构建的多个基于双相关的相关滤波器模型的数量为n，2≤n≤16，第k个相关滤波器C^k的输入为x^k，x^k∈R^L×H×D，模板参数为w^k，w^k∈R^L×H×D，高斯形类标矩阵为y^k，y^k∈R^L×H，R表示实数域，k＝1,2...n，L表示x^k、w^k和y^k的长，H表示x^k、w^k和y^k的高，D表示x^k和w^k第三维通道的数量，计算x^k、w^k和y^k在频域的值的计算公式分别为：

X^k＝F(x^k)

W^k＝F(w^k)

Y^k＝F(y^k)

其中，F(·)表示傅里叶变换；

(1b)通过X^k,W^k,Y^k构建基于双相关的相关滤波器模型C^k，得到n个基于双相关的相关滤波器模型C¹,C²,...C^k...,Cⁿ，其中W^k可建模为下面的优化问题：

其中，表示最小化算法，λ为正则化系数，λ＝0.01，表示傅里叶域内的平方计算，⊙表示矩阵之间对应元素相乘，∑(·)表示求和操作，X^k·W^k为X^k和W^k的相关，Y^k·(X^k·W^k)为Y^k和X^k·W^k的相关；

(2)设定包含待跟踪目标的图像序列参数：

设定包含待跟踪目标的图像序列中的图像帧数为t_max，第t帧图像中待跟踪目标中心的坐标位置为(x_t,y_t)，并初始化t＝1；

(3)对每个相关滤波器的隶属度进行初始化：

对第k个相关滤波器C^k的隶属度进行初始化的计算公式为：

(4)获取n个实现双相关功能的相关滤波器模型中W¹,W²,...W^k...,Wⁿ的值：

(4a)将大小为L×H的矩形框的中心与第t帧图像中待跟踪目标中心的坐标位置(x_t,y_t)对正，对该第t帧图像中待跟踪目标的所在区域进行框定，得到第t帧图像中的待跟踪目标区域I_t；

(4b)将I_t输入至预训练后的VGG网络中，得到VGG网络输出的16层卷积特征，并选取其中的n层卷积特征j¹,j²,...j^k...,jⁿ；

(4c)对每层卷积特征j^k进行傅里叶变换，得到j¹,j²,...j^k...,jⁿ在频域的值J¹,J²,...J^k...,Jⁿ：

J^k＝F(j^k)；

(4d)计算n个实现双相关功能的相关滤波器模型C¹,C²,...C^k...,Cⁿ的模板参数W¹,W²,...W^k...,Wⁿ的值，W^k的计算公式为：

其中Y^k为y^k在频域的值，y^k中坐标为(u,v)的元素的值为

(5)计算每个相关滤波器对第t+1帧图像中待跟踪目标的中心位置的估计值：

(5a)将大小为M×N,M≥2L,N≥2H的矩形框的中心与第t+1帧图像中坐标位置为(x_t,y_t)的像素点对正，对第t+1帧图像中待搜索区域进行框定，得到第t+1帧图像中的待搜索区域O_t+1；

(5b)将O_t+1输入至预训练后的VGG网络中，得到VGG网络输出的16层卷积特征，并选取其中的n层卷积特征T¹,T²,...T^k...,Tⁿ；

(5c)计算n个相关滤波器C¹,C²,...C^k...,Cⁿ的时域响应S¹(x,y),...S^k(x,y)...,Sⁿ(x,y)，其中，第k个相关滤波器C^k的时域响应S^k(x,y)的计算公式为：

S^k(x,y)＝F^-1(τ^k·W^k)

其中，τ^k为T^k在频域的值，τ^k＝F(T^k)，F^-1(·)代表F(·)的反变换；

(5d)计算每个时域响应S^k(x,y)中元素的最大值的位置并将作为第k个相关滤波器C^k在t+1帧图像中对待跟踪目标的中心位置的估计值，得到n个相关滤波器W¹,W²,...W^k...,Wⁿ在t+1帧图像中对待跟踪目标的中心位置的估计值其中，第k个相关滤波器C^k在t+1帧图像中对待跟踪目标的中心位置的估计值的计算公式为：

其中，为最大化函数；

(6)基于隶属度加权决策方法计算t+1帧图像中待跟踪目标的中心位置(x_t+1,y_t+1)：

(6a)计算每个相关滤波器的权值，得到n个相关滤波器C¹,C²,...C^k...,Cⁿ的权值w₁,...w_k...,w_n，其中第k个相关滤波器C^k的权值w_k的计算公式为：

其中，(·)^b代表(·)的b次方，b＞1；

(6b)计算t+1帧图像中待跟踪目标的中心位置(x_t+1,y_t+1)：

(7)获取深度目标跟踪结果：

判断t＝t_max是否成立，若是，输出包含待跟踪目标的图像序列中每帧图像中目标的中心位置，否则，t＝t+1，并执行步骤(8)；

(8)计算每个相关滤波器的隶属度：

计算每个相关滤波器的隶属度，得到n个相关滤波器C¹,C²,...C^k...,Cⁿ的隶属度并执行步骤(4)，其中第k个相关滤波器C^k的隶属度的计算公式为：

其中，d_k为第k个相关滤波器C^k在t-1帧图像中对待跟踪目标的中心位置的估计值与(x_t-1,y_t-1)的欧氏距离，||·||代表欧氏距离。

2.根据权利要求1所述的基于双相关滤波和隶属度加权决策的深度目标跟踪方法，其特征在于：步骤(4)中所述的预训练后的VGG网络，其网络结构和参数设置分别为：

网络结构为：输入层-第1卷积层-第2卷积层-第1池化层-第3卷积层-第4卷积层-第2池化层-第5卷积层-第6卷积层-第7卷积层-第8卷积层-第3池化层-第9卷积层-第10卷积层-第11卷积层-第12卷积层-第4池化层-第13卷积层-第14卷积层-第15卷积层-第16卷积层-第5池化层-第1全连接层-第2全连接层-第3全连接层-输出层；

网络参数设置为：所有池化层中池化操作的步长均为2，所有卷积层中的卷积核的大小均为3×3，第1卷积层到第16卷积层中卷积核的个数依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512、512，第1全连接层到第3全连接层中的节点个数依次为4096、4096、1000。