[发明专利]基于孪生深度神经网络的动目标分割方法及系统

说明书

本发明涉及一种基于孪生深度神经网络的动目标分割方法及系统，所述分割方法包括：获取多组历史图像信息，每组历史图像信息包括同一视频中、尺寸大小相同的当前帧和参考帧、以及标有目标的运动情况的标签；根据各组历史图像信息，训练VGG16网络模型；根据训练后的VGG16网络模型，对待检测图像进行运动变换检测和相对背景检测，确定所述待检测图像中的动目标情况。本发明通过多组当前帧、参考帧及标签，对VGG16网络模型训练，将时间维度的信息通过对模板帧的对比，由于孪生网络中对模板的灵活选取，使本发明能够在利用时间维度信息的情况下良好地适应运动摄影条件，有效提高对动目标分割的准确度。

技术领域

本发明涉及神经网络模型及图像处理技术领域，特别涉及一种基于孪生深度神经网络的动目标分割方法及系统。

背景技术

运动目标分割算法模型可以分为非学习模型和机器学习模型，其中机器学习模型进一步分为无监督学习模型和监督学习模型。无监督学习方法和非学习方法不需要特定地学习数据，更具有普适性，而监督学习方法则有更好的精度。完全不处理时序关系的方法以基于生成式对抗网络和多尺度的卷积网络为主，在数据集上取得了最好的成绩。因为摄像头是否运动与结果无关，该类方法在PTZ类别表现良好。基于时空分析的模型则对摄像环境移动的适应性差，在整体成绩上落后于仅做空间分析的模型。

1. 非学习模型

非学习的动态目标分割模型以基于帧差分的方法为主。该类算法的主要优点是计算速度快，代码易于硬件实现。单纯的帧差分算法对环境影响比如光照和遮挡等因素适应性较差。在CDNet数据集上，该类算法在稳定的摄像条件下表现良好，但是对于有较多变化因素场景下的表现不能被应用环境接受，比如背景运动或者摄像机抖动移动等。

2. 无监督学习模型

基于受限玻尔兹曼机(RBM)的方法通过去掉背景来检测运动物体，其中RBM的权重由图像建模得到。RBM及其衍生方法存在的主要问题是准确率比较低，并且需要额外模型来解决不同场景的需求。

自组织映射网络通过动态调整像素的空间关联来学习场景中的运动信息。结果最好的一种自组织映射网络的变体通过设计自组织映射层和滤波层结合的结构来提高网络精度，在CDNet2014上的总体的F值（机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)）为0.816。基于自组织映射网络的方法的缺点是需要手动调整4个参数，以及在PTZ类别结果较差。

3. 监督学习模型

根据处理数据的方法，可以将监督学习分为空间分析模型和时空分析模型。其中空间分析模型只分析同一帧中不同像素之间的关系，而时空模型则会同时考虑到帧间的像素变化。

（1）空间分析模型

生成式对抗网络(GAN)为运动物体分割从背景去除的角度提供了另一种解决思路。在CDNet2014上的实验，BGAN模型及其提升版本BPVGAN模型在总体数据上的F值分别是0.934和0.95。作为背景去除的方法，GAN的衍生模型取得了良好的成绩，但是其测试过程仅在静止的单帧图片上进行，没有考虑运动因素。