[发明专利]基于模板匹配和深度分类网络的运动目标跟踪方法

摘要

本发明公开了一种基于模板匹配和深度分类网络的运动目标跟踪方法，主要解决现有技术目标检测速度慢，及在目标发生外观形变、遮挡时跟踪不准确的问题。其实现方案为：1)搭建双残差深度分类网络，并对其进行训练；2)在双残差深度分类网络中提取模板网络和检测网络；3)利用模板网络提取模板特征；4)利用检测网络提取检测特征；5)将模板特征在检测特征上进行模板匹配，得到模板匹配图；6)根据模板匹配图确定目标位置；7)根据目标位置更新模板特征；8)判断当前帧是否为最后一帧，若是，结束目标跟踪，否则，将更新后的模板特征作为下一帧的模板特征，返回4)。本发明跟踪速度快，准确率高，用于对剧烈形变、光照变化视频目标跟踪。

主权项

1.一种基于模板匹配和深度分类网络的运动目标跟踪方法，其特征在于，包括如下：(1)搭建双残差深度分类网络模型：(1a)将两个深度残差神经网络ResNet50作为双残差深度分类网络模型的前端网络，这两个深度残差神经网络的输入层参数不同，其他层的参数相同。(1b)搭建两个3层的全连接网络作为双残差深度分类网络模型的后端网络，每个全连接网络的第一层为输入层，第二层为隐藏层，第三层为输出层，这两个全连接网络的第一层参数不同，第二层、第三层的参数相同；(2)将ImageNet分类数据集输入到双残差深度分类网络模型，使用随机梯度下降法，更新双残差深度分类网络模型中每一个节点的权值，得到训练好的双残差深度分类网络模型；(3)在训练好的双残差深度分类网络模型中删除深度残差网络ResNet50的倒数第二个隐藏层之后的所有层，得到模板网络模型和检测网络模型；(4)利用模板网络提取模板特征图：(4a)输入含有待跟踪目标的视频图像序列中第一帧图像，在待跟踪目标初始位置的中心处，以待跟踪目标的一倍长宽确定一个矩形框；(4b)从矩形框中截取目标图像，调整图像大小为224×224×3像素，得到模板图像；(4c)将模板图像输入到模板网络中，提取图像的特征，将所有特征组成图像特征图，在模板网络的最后一层输出2048个7×7的模板特征图；(5)利用检测网络提取检测特征图：(5a)输入含有待跟踪目标的待检测图像，在待跟踪目标初始位置的中心处，以待跟踪目标的两倍长宽确定一个矩形框；(5b)从矩形框中截取目标图像，调整图像大小为448×448×3像素，得到检测图像；(5c)将检测图像输入到检测网络中，提取图像的特征，将所有特征组成图像特征图，在检测网络的最后一层输出2048个14×14的检测特征图；(6)模板匹配：(6a)将2048个的模板特征图和2048个的检测特征图进行一一对应，组成2048个模板检测特征对；(6b)在每一对模板检测特征对中，将7×7的模板特征图在14×14的检测特征图上进行滑框方式的卷积，得到2048个14×14的模板匹配图；(6c)将2048个模板匹配图中的14×14个像素点一一对应，并将对应点上的匹配值进行求和运算，得到一个14×14的特征响应图。(7)确定目标所在位置：(7a)将14×14特征响应图中的响应值从大到小进行排序，选取前10位响应值对应的归一化坐标，求其平均归一化坐标值；(7b)根据平均归一化坐标值，通过下式计算跟踪目标在视频帧图像中的位置；x′＝x×m+a‑w，y′＝y×n+b‑h，其中，x′表示视频帧中目标图像左上角第一个像素的横坐标值，x表示平均归一化横坐标，a表示待跟踪目标初始位置的横坐标值，w表示模板图像的宽度，m表示检测图像的宽度，y′表示视频帧中目标图像左上角第一个像素的纵坐标值，y表示平均归一化纵坐标，b表示待跟踪目标初始位置的纵坐标值，h表示模板图像高度，n表示检测图像的高度。(8)根据跟踪目标在视频帧图像中的位置提取跟踪目标特征图，根据跟踪目标特征图，更新模板特征图：Z＝ηZ₁+(1‑η)Z₂，其中，Z表示更新后的模板特征图，Z₁表示上一帧图像中的模板特征图，η表示模板更新的学习率，其中|η|≤1，Z₂表示当前视频帧中的跟踪目标特征图；(9)判断当前帧视频图像是否为待跟踪视频图像序列的最后一帧视频图像，若是，则结束对运动待跟踪目标的跟踪，否则，将更新后的模板特征图作为下一帧待跟踪目标的模板特征图，返回(5)，完成目标跟踪。