[发明专利]一种音视频控制设备中图像跟踪方法

说明书

本发明提出了一种音视频控制设备中图像跟踪方法，其步骤为：首先，获取视频流对应的序列帧图像，并在第一帧图像中选取候选区域，初始化目标图像的位置和初始尺度；其次，利用提取的当前帧图像的搜索区域图的HOG特征和颜色直方图特征计算的搜索区域图的响应图，作为预测目标位置区域；最后，获取预测目标位置的预测尺度，并根据设计的异常值检测器判断当前帧图像的特征响应图是否处于异常状态，若是，利用改进的MASK‑RCNN对当前帧图像进行检测，得到目标的位置信息，否则，输出当前帧图像的目标的位置及预测尺度，完成目标的跟踪。本发明通过将改进的KCF和改进的MASK‑RCNN模型进行结合，能有效地定位形变的目标，减少背景特征，提高检测效率。

技术领域

本发明涉及视频图像处理与检测识别技术领域，特别是指一种音视频控制设备中图像跟踪方法。

背景技术

图像追踪即在给定视频的第一帧的目标信息或者前几帧的目标信息，在后续帧序列中追踪目标，确定目标的运动轨迹。在视频分析中，有三个重要的步骤：目标检测、目标追踪和行为分析。目标追踪技术作为一个中间层任务，为许多需要每一帧目标的位置和尺度的高层应用服务。

目前存在的目标追踪算法也有很多种，其中Henriques提出的利用岭回归在输入特征空间中回归到一个二维高斯分布学习一个最优的核相关滤波器(KernelizedCorrelationFilters，KCF)，通过密集采样使KCF成为当时效果最好的目标追踪算法，KCF利用循环矩阵在傅里叶域可以对角化的性质，大大降低了算法复杂度，很大程度上提高了算法的运行速度。相关滤波跟踪器的相关计算可以通过离散傅里叶变换转换为频域的点积计算。KCF通过循环移位矩阵完成密集取样，通过核函数和岭回归函数完成滤波器的训练，最后通过计算样本图像和滤波器相关性，选择相关性最高的区域为目标对象预测位置。在相关滤波追踪方面，很多算法都是在KCF基础上进行改进。针对不同问题，改进的方法也各不相同。KCF在保证具有较高追踪精度的同时，还具有较快的处理速度。KCF的算法流程如图2所示。KCF是以固定大小的模板框来处理对象的特征模板，所以在对象发生尺度变化的时候，大小不变的模板框无法精确地描述对象。而且KCF核化相关滤波器在物体发生急剧形变的情况下会很容易丢失目标，尤其是在遮挡的情况下，由于KCF滤波器的模板在每帧的预测后会进行更新，被遮挡的目标部分会同背景噪音混杂，导致滤波器的模板发生漂移。后续以错误的模板进行匹配的话，自然很难找到正确目标。KCF滤波器在长期跟踪过程中同样稳定性不够强，在线更新的滤波器模板容易由于错误特征的积累，模板逐渐失真。

而Mask－RCNN是由Faster－RCNN改进而来的，在Faster－RCNN对RoI Pooling做了改进并提出了RoI Align，这样改进后不再进行取整操作，而是用双线性插值来更精确地找到每个块对应的特征，使得为每个RoI取得的特征能够更好地对齐原图上的RoI区域。与此同时，增添mask branch预测K个种类的m*m二值掩膜输出，引入预测K个输出的机制，允许每个类都生成独立的掩膜，避免类间竞争。这样做解耦了掩膜和种类预测，提高了分割效果。Mask－RCNN算法虽然能识别目标轮廓，但对一张图片分割需要耗费很长时间，无法对视频目标进行实时追踪。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种音视频控制设备中图像跟踪方法，解决了KCF滤波器在长期跟踪过程中同样稳定性不够强，在线更新的滤波器模板容易由于错误特征的积累，模板逐渐失真，很难识别正确目标；以及Mask－RCNN算法中图片分割耗时过长，无法对视频目标进行实时追踪的技术问题。

本发明的技术方案是这样实现的：

一种音视频控制设备中图像跟踪方法，其步骤如下：

步骤一：通过摄像头控制模块获取视频流，并由视频解码模块将视频流转化为Mat格式的序列帧图像；

步骤二：针对第一帧图像，选取候选区域，并初始化目标图像的位置和初始尺度；