[发明专利]基于CNN的自适应粒子滤波目标跟踪方法

权利要求书

1.基于CNN的自适应粒子滤波目标跟踪方法，其特征在于：该方法包括以下步骤，

S1：使用数万张通用目标图像离线预训练一个卷积神经网络，训练好的卷积神经网络用于提取目标特征；

S2：将视频转化图像帧输入系统；

S3：根据初始帧或选定帧确定初始模板，并构建候选模板库，具体如下：

S3.1：在初始帧或选定帧中手动标定预跟踪目标位置，作为目标图像；

S3.2：将目标图像输入卷积神经网络计算其深度特征，作为目标模板；引入仿射运动模型对目标图像进行仿射变换并计算深度特征，作为候选模板；

S3.3：将目标模板及其仿射变换放入候选模板库中；

S4：在待搜索区域里以高斯分布方式放入大量的粒子，计算每个粒子所在区域的深度特征，与初始模板进行比较，给每个粒子赋予权值；

S5：候选模板更新，具体步骤如下：

S5.1：选择权值分布前50％的粒子，计算它们的权值和即w；

S5.2：如果wT，T为阈值，则使用跟踪输出位置作为新模板；如果wT，则将某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和，对所有候选模板分别进行上述操作，选择其中权值和最大的候选模板作为新模板；

S5.3：将新的目标模板及其仿射变换放入候选模板库中；

S6：输入视频进行视频目标跟踪，得到并输出视频跟踪的结果。

2.根据权利要求1所述的基于CNN的自适应粒子滤波目标跟踪方法，其特征在于：

S1：使用数万张通用目标图像离线预训练一个卷积神经网络，训练好的网络用于提取目标特征；

卷积神经网络首先进行离线训练，具体训练过程如下：

典型的卷积神经网络由输入层、卷积层、下采样层即池化层、全连接层和输出层组成；

1)输入原始图像X；本方法用H_i表示卷积神经网络第i层的特征图，H₀＝X；假设是H_i卷积层，H_i的产生过程描述为：

其中：W_i表示第i层卷积核的权值向量；运算符号代表卷积核与第i-1层图像或者特征图进行卷积操作，卷积的输出与第i层的偏移向量b_i相加，最终通过非线性的激励函数f得到第i层的特征图H_i；

2)依据一定的下采样规则对特征图进行下采样；设H_i是下采样层：

H_i＝subsampling(H_i-1)

下采样层的功能有两点：1)对特征图进行降维；2)在一定程度上保持特征的尺度不变特性；

3)经过多个卷积层和下采样层的交替传递，卷积神经网络依靠全连接网络对针对提取的特征进行分类，得到基于输入的概率分布；

S2：将视频转化图像帧输入系统；

S3：根据初始帧或选定帧确定初始模板，并构建候选模板库，具体如下：

S3.1：在初始帧或选定帧中手动标定预跟踪目标位置，作为目标模板；

S3.2：将目标图像输入卷积神经网络计算其深度特征，引入仿射运动模型对目标图像进行仿射变换，作为候选模板；

本方法中以模板图像的中心点为坐标原点，建立坐标系，那么模板图像即目标图像表示为I(X)；模板图像中的像素点X＝(x,y)经仿射变换后，变为输入图像中的点Y，其中X和Y之间存在仿射关系：Y＝X+U；U为X和仿射系数a＝(a₀,a₁,a₂,a₃,a₄,a₅)的函数U(X,a)＝(u,v)；

其中，x和y是相对于模板图像中心的水平和垂直坐标，u和v表示仿射变换后图像在水平和垂直方向的变化量；

若用I(X+U(X,a))来表示模板图像I(X)经过放射变换后再输入图像的对应区域，则在灰度不变性前提下有以下公式成立：

I(X)＝I(X+U(X,a))

由此，利用仿射变换关系将模板图像和输入图像之间建立起了关系；

如果令看到仿射变换的三种特殊情况：

1)图像比例放大或膨胀；

2)图像围绕原点旋转θ角；

3)A＝I，图像发生平移；

S4：在待搜索区域里以高斯分布方式放入大量的粒子，计算每个粒子所在区域的深度特征，与模板进行比较，给每个粒子赋予权值；

以目标区域经过卷积神经网络提取的特征模板作为目标模板H_t1，以对目标图像进行仿射变换得到的图像经过卷积神经网络提取的特征模板作为候选模板H_t2，用H_p每个粒子所在区域的经过卷积神经网络提取的特征模板；以H_t与H_p之间的Bhattacharyya距离即巴氏系数作为相似性，通过相似性进而确定目标状态进行跟踪，其中，巴氏系数定义如下：

通过调整各粒子的权重大小和样本位置来近似实际的概率分布，以样本期望作为系统估计值；然后进行重采样，重新分布粒子的位置；

S5：候选模板更新，具体步骤如下：

S5.1：选择权值分布前50％的粒子，计算它们的权值和w；

通过对预测结果与目标模板的巴氏系数进行归一化，得到每个预测结果的权值，选择权值分布前50％的粒子，计算它们的权值和w；

S5.2：如果wT，则使用跟踪输出位置作为新模板；如果wT，则将某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和，对所有候选模板分别进行上述操作，选择其中权值和最大的候选模板作为新模板，具体步骤如下：

1)如果wT，则使用跟踪输出位置作为新的目标模板；如果wT，则需要通过步骤S2、步骤S3从候选模板库重新确定新的目标模板；

2)将候选模板库中的某一候选模板的深度特征和所有粒子的深度特征进行比较，重新给每个粒子赋予权值，并计算其权值前50％的粒子的权值和；

3)对候选模板库中的所有候选模板分别进行步骤S3的操作，选择其中权值和最大的候选模板作为新的目标模板；

S5.3：将新的目标模板及其仿射变换放入候选模板库中；

仿射变换能够描述3D空间中的目标到2D平面的成像过程，具体表现是各个方向的尺度变换、系数一致的均匀尺度变换或变换系数不一致的非均匀尺度变换及剪切变换；仿射变换具有平移、旋转和缩放不变性；对于一个目标模板，分别进行左右旋转2°、放大1.1倍、缩小0.9倍的仿射变化，基于该仿射变换，定义候选模板库Z如下：

式中，表示候选模板库中第i个目标模板的j个仿射变换，N为候选模板库中的目标模板数，将新的目标模板及其仿射变换保存到Z中；

S6：输入视频进行视频目标跟踪，得到并输出视频跟踪的结果。