[发明专利]一种支持循环神经网络对抗学习的目标跟踪方法

权利要求书

1.一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：该方法包括以下步骤：

步骤1，构建目标跟踪生成对抗网络OTGAN模型；

生成器包括用于提取视频帧全局特征的卷积网络和跟踪网络；所述卷积网络包括5个卷积层，3个最大池化层，1层全连接层，卷积层卷积核大小依次为11×11、5×5、3×3、3×3、3×3，最大池化层池化核为2×2，全连接层输出维度为4096维；所述跟踪网络由长短期记忆网络LSTM构成，所述长短期记忆网络LSTM输入参数包括：第i帧隐藏状态h_i、第i帧细胞状态c_i、所述卷积网络产生的4096维特征，得到的跟踪坐标为LSTM网络回归的向量最后四个参数构成的4维向量P_i＝[x_i,y_i,w_i,h_i]，其中(x_i,y_i)为跟踪目标矩形框的中心坐标，(w_i,h_i)分别为跟踪目标矩形框的宽和高；

步骤2，预训练生成器，使其具有初步预测视频帧跟踪结果的能力；

步骤3，预训练判别器，使其具有初步判别视频中运动目标运动轨迹真假的能力；

步骤4，对抗训练目标跟踪生成对抗网络OTGAN；

所述步骤4中所述对抗训练由所述生成器和所述判别器交替训练，所述训练包括以下步骤：

步骤4-1：将待跟踪视频帧图像输入所述生成器，得到预测的跟踪结果，将所得的跟踪结果构成的运动轨迹输入所述判别器，所述判别器判别该轨迹为真实轨迹的概率，根据所述判别器返回的判别概率迭代训练所述生成器的网络参数；

步骤4-2：将由所述生成器预测得到的跟踪结果构成的虚假运动轨迹标记为0，真实视频运动轨迹标记为1，共同组成所述判别器的训练集来训练所述判别器；

所述交替训练需要调节所述生成器和所述判别器的训练次数，当所述判别器的训练损失小于所述生成器训练损失的70％时，暂时停止所述判别器的更新，不断交替直至网络均衡。

2.根据权利要求1所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述步骤1中目标跟踪生成对抗网络OTGAN模型包括生成器和判别器，所述生成器用于生成视频帧跟踪结果，所述判别器用于判别输入是真实运动轨迹还是由生成器生成的跟踪结果构成的运动轨迹。

3.根据权利要求2所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述判别器由双向LSTM网络和全连接层构成。

4.根据权利要求1所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述步骤2中所述预训练生成器采用Adam优化算法，所述LSTM网络的输入是当前视频帧的全局特征向量和前一帧的输出状态；在所述预训练生成器过程中，对序列长度采用一种特殊机制，即从短序列开始展开，从训练数据中随机抽取样本，最终用越来越长的序列对模型进行训练。

5.根据权利要求1所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述步骤3中所述预训练判别器采用随机梯度下降法SGD，所述判别器的输入由真实运动轨迹与生成器生成的虚假轨迹构成。