[发明专利]一种基于双目视觉的交通标志牌三维重建方法

说明书

本发明公开了一种基于双目视觉的交通标志牌三维重建方法，包括S1、交通标志牌识别与轮廓提取；S2、交通标志在连续帧中的跟踪；S3、连续帧跟踪后的图像中确定Host帧和Target帧；S4、在Target帧中构建交通标志牌边缘距离图；S5、基于双目视差，计算Host帧观测到的平面方程参数作为初值；S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。

技术领域

本发明属于图像识别的技术领域，具体涉及一种基于双目视觉的交通标志牌三维重建方法。

背景技术

现有的交通标志牌三维重建技术主要包括以下三种：

1、基于特征点的三维重建；其原理是基于特征点的多视图重建。

2、基于双目视差的三维重建；其原理是基于双目视差重建稠密三维点云。

3、基于片假设的多视图重建技术(Patch-based Multi-view Stereo)。其原理是假设空间由连续的三维小片(Patch)构成，通过优化每个小片的朝向进而完成空间的三维重建。

上述方法都不能很好的解决交通标志牌的三维重建问题。

第一种方法在重建交通标志牌时，只能重建出一些离散的空间三维点，无法获取交通标志牌的几何尺寸和朝向；

第二种方法能够较完整的重建出交通标志牌的形状，但是重建出的三维点云相互独立，缺少约束。且由于双目视差较小，重建出的误差较大，其获取到的朝向信息精度较低；

第三种方法虽然有空间平面假设，但是它并没有把交通标志牌看出一个整体来做优化，其重建出的交通标志牌必然存在多个平面，这不满足实际情况，无法获取交通标志牌的朝向和尺寸信息。

发明内容

本发明的目的在于针对现有技术中的上述不足，提供一种基于双目视觉的交通标志牌三维重建方法，以解决或改善上述的问题。

为达到上述目的，本发明采取的技术方案是：

一种基于双目视觉的交通标志牌三维重建方法，其包括：

S1、获取交通标志牌的图像，并基于双目视差图提取图像中交通标志牌的轮廓；

S2、获取交通标志牌的连续帧图像，并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓；

S3、在连续帧图像中确定Host帧和Target帧；

S4、基于Target帧中的交通标志牌构建边缘距离图；

S5、基于双目视差，计算Host帧观测到的平面方程，作为初值；

S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；

S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；

S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。

优选地，S3在连续帧图像中确定Host帧和Target帧，包括：从连续帧图像中选择1帧作为Host帧，其余帧作为Target帧。

优选地，S4中基于Target帧构建边缘距离图，包括：