[发明专利]基于动态背景补偿与深度学习的PTZ摄像机运动目标检测与识别方法

权利要求书

1.一种基于动态背景补偿与深度学习的PTZ摄像机运动目标检测与识别方法，其特征在于，包括以下步骤：

步骤一：提取视频流中前、中、后相邻三帧的关键点特征并进行匹配，根据匹配点集，使用随机采样一致性算法计算单应性矩阵，剔除匹配置信度低的特征点对，然后通过单应性矩阵对前、后两帧图像进行投影变换，与中间帧进行配准；

步骤二：对于配准完的前、中、后三帧，使用三帧差分运动目标检测算法提取候选区域，使用形态学膨胀算子对候选区域进行后处理，结合最小凸包检测对运动目标进行粗定位；

步骤三：将提取出的候选区域及其背景上下文输入到深度卷积神经网络提取特征，然后分别经分类网络与位置回归网络实现目标分类及位置的精细回归。

2.如权利要求1所述的基于动态背景补偿与深度学习的PTZ摄像机运动目标检测与识别方法，其特征在于，所述步骤一中，对前中后三帧视频图像进行图像尺度压缩，对压缩后的视频图像提取ORB特征点，采用非极大值抑制去除聚集的特征点，对处理后的ORB特征点进行ORB特征描述，使用汉明距离进行特征点匹配，匹配后的对应点集为其中i∈{1，2，…，L}，L为第m，n帧视频图像中匹配点的对数，为第m帧中第i个特征点的坐标，为剔除不良匹配点，利用随机采样一致性算法由公式(1)计算第m帧与第n帧的单应性矩阵剔除不良匹配点对单应性矩阵计算的影响。

其中通过以上计算过程分别计算第I_k-1帧与第I_k帧的单应性矩阵H_k|k-1和第I_k+1帧与第I_k帧的单应性矩阵H_k|k+1，然后根据公式(1)分别将前后帧(第I_k-1帧与第I_k+1)与中间帧第I_k帧配准，得到配准后的连续三帧I_k|k-1，I_k与I_k|k+1。

3.如权利要求1所述的基于动态背景补偿与深度学习的PTZ摄像机运动目标检测与识别方法，其特征在于，所述步骤二中对由步骤一配准后的前中后三帧(分别用I_k|k-1，I_k，I_k|k+1表示)做三帧差分，计算过程如公式(2)、(3)、(4)所示：

D(x，y)＝D₁(x，y)∩D₂(x，y) (4)

首先分别计算I_k|k-1与I_k的残差图，使用由实验确定的二值化阈值T将残差图二值化得到D₁，对I_k与I_k|k+1采用相同的计算过程得到D₂，对二值化图D₁，D₂做与运算(∩)得到三帧差分二值图D，其中(x，y)代表图像中的像素坐标，x＝1，2...，M，y＝1，2，...，N分别为像素的横纵坐标，M、N分别是图像的宽度和高度，为消除三帧差分二值图D中的孔洞与边缘裂缝，使用形态学膨胀算子对三帧差分二值图D进行处理并使用连通度检测算法获取二值图像中各个候选区域的轮廓区域集C_k＝{c_i}，i＝1，…，T，T为第k帧中候选区域的数量，其中c_i＝{z_j}，j＝0，2，…，V，V为候选区域c_i轮廓点的数量，z_j＝(x_j，y_j)为轮廓点的坐标，对每个轮廓区域进行最小凸包检测。