[发明专利]一种基于智慧路灯伴侣的目标接力跟踪算法

权利要求书

1.一种基于智慧路灯伴侣的目标接力跟踪方法，其特征在于，包括以下步骤：

步骤1，采用汽车和行人两类样本训练一个能够检测多种目标类别的深度神经网络；

步骤2，通过摄像头观察周围的环境，对摄像头的摄像视频通过步骤1训练得到的深度神经网络每隔n帧检测目标并提取其在网络中不同层次的卷积特征；

每隔n帧使用深度神经网络检测行人及车辆两类目标，并提取网络的一层以上的卷积特征；设目标在上一帧的坐标p_t-1，在当前帧t以p_t-1为中心截取出一块搜索区域，将搜索区域图像送入特征提取网络，提取卷积特征，作插值运算使特征图具有相同的分辨率；

步骤3，利用卷积特征，实现目标在下一帧的精确定位，融合检测结果与跟踪结果；

利用卷积特征及目标在上一帧的位置，实现在当前帧的精确定位，融合检测与跟踪结果：

步骤31，为每一层特征图构造相关滤波器，再将目标函数用快速傅里叶变换转到频域，得到函数的最优解；

对特征图进行升采样，升采样的方法如下：

其中，h代表升采样前的特征图，x为升采样后的特征图，α为插值的权值，k代表邻域范围的取值；x_i为i处的特征向量；

为每一层特征图构造相关滤波器，其目标函数如下：

其中，W为一个相关滤波器，其大小为(M,N,D)，M为宽度，N为高度，D为通道数；||W||为W的范数，此处的为W的欧几里得范数的平方，arg min为数学函数，表示函数值取最小值时，自变量的取值，x_m,n表示(m,n)处的特征向量，y(m,n)表示在(m,n)处的像素标签，此标签符合一个二维高斯分布，其中有m∈{0,...,M-1}，n∈{0,...,N-1}，λ是一个正则化参数；

再将目标函数用快速傅里叶变换转到频域，得到函数最优解：

其中，W^d表示频域d∈{1,...,D}的相关滤波器，Y表示y＝{y(m,n)|(m,n)∈{0,...M-1}×{0,...N-1}}的傅里叶变换，Xⁱ表示频率为i的特征图的傅里叶变换，其中i∈{1,...,D}，表示X的一个复杂的共轭函数，Θ代表Hadamard积；当给定第l层的搜索区域后，该层的相关性响应图为，

其中，Γ^-1为逆FFT变换的运算符号，Z为某层大小为M×N×D的特征向量的傅里叶变换，d表示频域，有d∈{1,...,D}；

步骤32，将提取出的每一层特征图按照从后向前的顺序，与对应的相关滤波器作卷积；首先在最后一层的特征图上作卷积，取最大响应值对应的坐标作为前一层的初始搜索坐标，然后在该层r×r的区域内与相关滤波器作卷积，r为实数，以此类推；

在该层r×r的区域内与相关滤波器作卷积，公式如下：

其中，f_l-1(m,n)为l-1层(m,n)处的相关性响应图，为l-1层的最大响应值对应的坐标，arg max为数学符号，表示函值取最大值时自变量的取值；根据此公式，求出前一层的最高响应位置；

步骤33，通过相关滤波器与对应特征图作卷积可以找到最大响应值，该响应值所在的位置即为目标在t帧的坐标p_t(x_t,y_t)，在p_t周围截取出一块子图像，同样提取卷积特征，作插值，然后更新相关滤波器；

更新相关滤波器的公式如下：

A^d表示相关滤波器W^d的分子，B^d表示W^d的分母，其中t为帧索引，η为学习率；

步骤34，若跟踪结果Tr与检测结果Det的重叠度大于阈值T时，认为这两个矩形框包含的是同一目标，将Det覆盖Tr；

步骤4，对于任意一个检测到的目标，将其高层卷积特征与相邻路灯保存的特征做比对，通过计算两者的相似度来确定是否是同一物体。

2.根据权利要求1所述基于智慧路灯伴侣的目标接力跟踪方法，其特征在于：步骤1中的深度神经网络训练，使用汽车和行人两类样本训练检测模型，然后使用多类别的数据集训练特征提取网络模型。

3.根据权利要求1所述基于智慧路灯伴侣的目标接力跟踪方法，其特征在于：步骤4中确定是否为同一物体的方法如下：对于每一个检测到的目标，如果与任意一个跟踪结果的重叠度都小于T，则分以下两种情况处理：

步骤41，将该目标的高层特征与所有相邻智慧路灯伴侣保存的特征{Ft}作比对，相似度函数为向量的余弦距离，若相似度最大值大于阈值T2，认为是同一物体，实现接力跟踪；

步骤42，如果该目标与{Ft}中特征相似度都小于T2，则认为是一个新目标。