[发明专利]由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统

说明书

本发明提供的由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统，包括PTZ相机及控制系统，精密位移滑台及驱动装置，图像处理系统。该系统通过控制PTZ相机在精密线性滑台上做直线运动，只需单台相机即可实现双目视觉系统的功能；该系统以基于深度学习的实例目标检测模型作为基础框架，构建了单目实例目标物体检测模块；该系统在PTZ相机保持Zoom不变时，利用不同Pan‑Tilt下拍摄到的任意场景的两幅图像能对PTZ相机所有内参数进行即时自标定；该系统通过所提出的对彩色畸变图像实现特征点高精度匹配的算法，构建了双目三维位姿测量模块；因此该单双目视觉系统只使用一台PTZ相机，既可以实现单目相机的功能，如目标检测与跟踪等；也可以实现双目系统的功能，如双目三维位姿测量、机器人视觉导引等。

技术领域：

本发明所设计的由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统属于机器视觉技术领域，具体涉及了系统的构建和控制策略，基于深度学习的单目实例目标检测模型及基于改进图像匹配算法的双目三维位姿测量方法。

背景技术：

随着对计算机视觉技术研究的深入，人们不再满足于通过构建视觉系统只得到二维图像的表面信息，而是希望通过视觉算法使计算机具有通过传统二维图像获取、理解、甚至感知图像中包含的三维信息的能力，因此，在很多实际应用中，三维位姿测量,即测量两个坐标系间的平移与旋转变换关系，包括3个位置和3个旋转角共6个自由度的位姿参量是必不可少的，理论上，只要已知空间不共线的3点在两个坐标系下的三维坐标，就能唯一确定两坐标系间的位姿关系，因此，位姿测量的关键就是如何得到特征点在这两个坐标系下的坐标，视觉位姿测量作为一种典型的非接触式测量方法已经在工业制造、辅助医疗，航空航天等领域得到了广泛的应用。

为求出目标点在摄像机坐标系下的坐标，典型的视觉测量方法有2种：一种是只用一台摄像机对目标成像，同时利用目标点间固有的几何约束关系进行求解，这种方法在计算机视觉领域称为PNP问题(Perspective-n-Point Problem)，是该领域的研究热点之一，另一种更为典型方法的是双目立体视觉方法，即采用两台摄像机，通过同一目标点在两台摄像机中的成像进行交会三角计算，得出目标点在测量坐标系下的三维坐标，基于模型的单目视觉由于只使用一个摄像机，因此具有系统简单的特点，但视野范围小，容易受到如遮挡，光照变化等外界干扰，在获取目标三维位姿时需要依赖有源装置或已知目标点间的几何约束，双目立体视觉虽然系统复杂，但不需要已知目标点间的几何约束即可利用视差原理获得关键的三维空间信息，进而在无场景先验信息的条件下就可以完成对空间中目标的三维位姿测量，基于双目视觉的物体三维位姿测量广泛应用于机器视觉各个部分，如：工业制造，视觉导航[4]等，一般来说，双目立体视觉系统分为两种形式，一种是两相机光轴相交的普通双目立体视觉系统，一种是两相机光轴平行的平行双目立体视觉系统。当两相机光轴平行且垂直于各自成像平面，焦距相等时，就称两相机处于平行对准状态，并构成平行双目视觉系统，由于固定摄像机视野窄，灵活度低，而且不能自由控制，使得相机对运动目标不能进行连续的跟踪，对于处在相机视野外的目标物体也无法方便的进行调整拍摄，无法满足自主导引的需求。

在过去几十年中，国内外已有大量的文献专注于研究目标检测，并提出了很多可行的方法使得目标检测可以不受光照，尺寸，遮挡等环境因素的影响，图像目标检测的方法多数基于外观模型，主要有基于生成式模型的检测和基于判别式模型的检测，近些年来，随着深度学习的兴起，大批学者提出将深度神经网络应用于目标物体检测，如R-CNN，FASTERRCNN，YOLO等，由神经网络提取得到具有更好泛化能力的特征，因此神经网络在目标检测中往往可以取得更加鲁棒，准确的效果。

曲道奎等学者在专利中(曲道奎.一种单摄像头模拟双目视觉系统及方法[P].沈阳：CN104637048A,2015-05-20.)曾提出了一种单目模拟双目视觉系统的方法，该方法可以只用单个相机实现双目视觉系统的功能，但只提出了一种单目相机构建双目系统的硬件组成方法而没有包含保证系统高精度测量的图像处理算法；