[发明专利]由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统

权利要求书

1.由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统，其特征在于：包括PTZ相机及控制系统，精密位移滑台及驱动装置，图像处理系统；

所述PTZ相机及控制系统包括一台PTZ相机及控制PTZ相机Pan-Tilt-Zoom功能的云台系统；

所述精密位移滑台及驱动装置包括一个精密二维线性滑台及与其相连的电机控制系统；

所述图像处理系统包括相应的图像采集装置，PTZ相机内参即时自标定模块，基于深度学习的目标检测模型和基于图像匹配算法的位姿测量模块；

目标检测之后，将目标物体在图像上的位置和尺寸信息作为反馈信号，调整PTZ相机的Pan-Tilt-Zoom运动参量，使目标图像位于图像的中心，将此时的PTZ相机的Pan-Tilt-Zoom设为预置位，进行内参标定；

目标检测系统分为训练阶段和检测阶段；在训练阶段，利用包含目标物体的图像作为训练样本，进行多层卷积操作计算样本的特征，通过线下训练获得具有在非结构化环境进行实例目标识别的检测器；在检测阶段，由单目PTZ相机进行Pan-Tilt旋转，拍摄图像序列，检测器在图像序列中对目标物体进行实时检测；当图像帧中检测到目标物体时，训练得到的目标检测模型会首先在图像上生成候选框，并计算图片的卷积特征，然后进行候选框的分类与回归，从而实现目标物体的识别与定位，确定目标物体在图像上的位置信息、类别信息和尺寸信息；

该系统采用了基于深度学习的目标检测模型和图像匹配算法对图像进行处理，此单双目视觉系统中，单目系统具有对目标物体的检测功能，双目系统具有对目标的三维位姿测量功能；

所述基于图像匹配算法的位姿测量模块的具体测量步骤包括：

步骤(1)、构建Hessian矩阵：基于获取的双目图像，在每个图像点(x,y)上都建立Hessian矩阵，如下式：

其中，L_xx是在x位置高斯二阶偏导与图像的卷积，σ是卷积模板尺度；用盒状卷积模板D_xx、D_xy、D_xy分别代替L_xx、L_xy、L_xy，得到用Hessian矩阵表示的行列式H_approx，行列式H_approx的值为：

det(H_approx)＝D_xxD_yy-(wD_xy)²

其中，w是补偿计算Hessian矩阵时采用高斯二次偏导函数表示而引入的一个参数；

步骤(2)、基于自适应滤波的方法构造尺度空间：对于每组金字塔的每层图像，图像中的不同位置的像素采用尺寸不同的模板对其进行滤波，考虑到图像中存在畸变，像素点(x,y)位置的卷积模板为G(x,y,(1+εr²)σ),其中ε为图像畸变系数，从而构造新高斯金字塔尺度空间检测极值点；采用经典SURF匹配算法得到64维改进的SURF描述子；

步骤(3)、结合全局信息和颜色信息的特征点描述：每个特征点都对应各自的主方向，以保持旋转不变性；在特征点周围构造一个正方形邻域来构建一个考虑图像畸变情况的64维特征点描述子向量；以每个特征点为中心，分别建立半径等于k×σ的同心圆坐标，取k＝32，σ是特征点所对应的尺度，通过Hessian矩阵来描述特征点主曲率，并进行反向高斯加权处理，形成32维全局信息描述子；在同心圆坐标系的基础上计算特征点的颜色不变量，构造32维的颜色信息描述子，最后归一化描述子，改进匹配算法的描述子框架如(3)式所示：

式中S为步骤(2)生成的64维改进SURF描述子，G为32维全局信息描述子，C为32维颜色信息描述子，γ₁与γ₂分别为权重；融合上面三种描述子生成共128维特征描述子；

步骤(4)、完成特征点匹配：构建描述子框架之后，通过寻找另一幅图像的描述子完成匹配；通过计算各部分描述子向量的欧式距离并加权组合，设定一个阀值，完成特征点的匹配并得到匹配点集；

步骤(5)、三维位姿测量：基于步骤(4)所获得的匹配点集，利用经典归一化八点法对双目视觉模块的外参进行标定，通过求取目标特征点的世界坐标确定其相对于双目视觉系统中起始位置处相机的位姿，完成三维测量任务；

PTZ相机及控制系统用于控制PTZ相机进行Pan-Tilt旋转及Zoom变焦操作，并拍摄场景图像；利用驱动装置控制PTZ相机在滑台上做直线运动，并控制PTZ相机在滑台上两个不同的位置获取场景图像，从而只需单台相机即可实现双目视觉系统的功能；所拍摄的图像通过图像采集装置传输到图像处理系统中进行处理，图像处理的部分结果作为反馈信息，用于自动控制PTZ相机的Pan-Tilt-Zoom运动和精密位移滑台的运动。

2.根据权利要求1所述的由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统，其特征在于：此单双目视觉系统具有对目标物体的检测功能与三维位姿测量功能，包括以下具体步骤：

步骤(1)、控制单目PTZ相机进行Pan-Tilt旋转，拍摄图像序列，传输到图像处理系统，以基于深度学习的目标检测模型作为基础框架，在图像序列中对目标物体进行实时检测，确定目标物体在图像上的位置信息和类别信息；当图像帧中检测到目标物体时，将目标物体在图像上的位置和大小信息作为反馈信号，调整PTZ相机的Pan-Tilt-Zoom运动参量，使目标图像的面积为整幅图像的1/2～2/3，目标图像位于图像的中心，并将此时的PTZ相机的Pan-Tilt-Zoom设为预置位；

步骤(2)、在完成步骤(1)的目标检测后，保持单目PTZ相机Zoom不变，利用其在不同Pan-Tilt下拍摄到的任意场景的两图像中的静止重叠区域对PTZ相机所有内参数，包括焦距、主点及畸变参数，进行即时自标定；

步骤(3)、完成步骤(2)的自标定后将PTZ调至预置位，将所需的直线位移转换为相应的指令，利用驱动装置控制PTZ相机在滑台上做直线运动指定距离至终点，从而构造双目视觉系统，并控制PTZ相机在直线运动的起始点和终止点各获取一幅包含目标的场景图像，然后采用图像匹配算法对该双目图像进行匹配处理，在融合了全局信息和颜色信息的同时采用自适应滤波器抑制了图像畸变对于匹配结果的影响；

步骤(4)、将步骤(3)得到的特征点匹配结果应用于经典的八点算法，通过获取目标上匹配点的世界坐标之后，间接获取目标相对于双目视觉系统中起始位置处相机的位姿。