[发明专利]一种基于连续视频的机器人场景深度判别方法

摘要

本发明属于机器视觉模拟、图像匹配技术领域，具体为一种基于连续视频的机器人场景深度判别方法。该方法包括：对场景进行拍摄，获取不同位置的场景照片；对拍摄的照片进行图像匹配，然后通过场景的深度计算公式，得到场景的深度地图。其中，本发明采用了新的摄像坐标设定方法。图像匹配利用待匹配点所在区域的光强度矩阵，寻找与之接近的区域，新区域的中心点即为匹配点。本发明方法计算量较小，准确率高，稳定性好。

主权项

一种基于连续视频的机器人场景深度判别方法，其特征在于具体步骤如下：1)在一未知场景中，装备上单目视觉系统的机器人通过拍照获得关于场景的一张照片P1，再向前移动适当的距离，设长度为S，再拍照获得关于场景的另一种照片P2；2)对照片P2进行角点检测，对于照片P2上的每一个角点A2，利用本发明提出的关于单目机器人时间邻近帧图像的匹配方法进行匹配，从而在照片P1上找出A2的匹配点A1；所述的匹配利用待匹配点所在的一块合适大小的区域的光强度矩阵，寻找与该光强接近的另一块同样大小的区域，新区域的中心点即为匹配点；3)利用本发明请提出的单目机器人连续移动使用前后帧图像的深度计算方法，计算出场景中每一个角点对应的目标的深度，从而形成一个深度地图；其中，涉及到单目机器人坐标体系的设定，假设三维场景中目标的空间位置点A在摄像坐标系中的坐标为A(xA，yA，zA)，A点的投影点A′的坐标为A′(xA′，yA′，f)，其关系为： x A = x A ′ - f z A y A = y A ′ - f z A z A = z A A′(xA′，yA′，f)的坐标值由照片的信息获得，f为镜头的焦距；所述单目机器人时间邻近帧图小的匹配方法，具体如下：设待匹配图像上点(x，y)的光强度函数为f2(x，y)，目标图像上点(x，y)的光强度函数为f1(x，y)；设待匹配图像上的待匹配点A2的坐标为(x2，y2)；在目标图像上寻找这样的点(x，y)，使下面的目标函数P(x，y)达到最小值： P ( x , y ) = 1 ( 2 M + 1 ) × ( 2 N + 1 ) · Σ i = 0 , ± 1 , . . . . . . , ± M , j = 0 , ± 1 , . . . . . . , ± N | f 1 ( x + i , y + j ) - f 2 ( x 2 + i , y 2 + j ) | 说明：待匹配区域是待匹配图像上以像素点A2为中心的(2M+1)×(2N+1)像素区域，目标区域是目标图像上以像素点(x，y)为中心的(2M+1)×(2N+1)像素区域；这里，M为待匹配区域在x′方向上的像素个数，N为待匹配区域在y′方向上的像素个数；所述单目机器人连续移动使用前后帧图像的深度计算方法，具体如下：对于场景中的目标点A，当机器人位于点O1时，点A在投影平面上的投影点为A1(x1′，y1′，-f)，P1(0，0，-f)为此时投影平面的中心点；当机器人移动了距离s后到位置O2时，点A在投影平面上的投影点为A2(x2′，y2′，-f)，P2(0，0，-f)为此时投影平面的中心点；则深度O2H2的计算式为： O 2 H 2 = y 1 ′ · w - x 1 ′ · h ( x 1 ′ - x 2 ′ ) h - ( y 1 ′ - y 2 ′ ) w · s w、h分别为移动和拍摄的横向偏差、纵向偏差。