[发明专利]一种车载环视实时3D全景图像的拼接方法及图形采集装置

权利要求书

1.一种车载环视实时3D全景图像的拼接方法，其特征在于，具体步骤如下：

通过多个车载摄像头分别采集车辆周围环境的图像，所述多个车载摄像头分别位于车辆的不同方位；

校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标系；

对多个车载摄像头所采集的图像进行拼接；

将拼接后的图像映射至所述3D模型坐标系下构成3D全景图像；

输出所述3D全景图像。

2.根据权利要求1所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，

车载摄像头数量为四个，分别采集车辆的前方、后方、左方和右方的图像；所述车载摄像头均为鱼眼摄像头，所述车载摄像头所采集的图像为鱼眼广角图像。

3.根据权利要求1或2所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，校正多个车载摄像头，并根据多个车载摄像头的内参和外参建立3D模型坐标的步骤如下：

通过车载摄像头拍摄标定布图案的图像；

通过标定布图案对各车载摄像头的位姿进行标定；

计算车载摄像头的内参矩阵、外参矩阵和中心点偏移；

计算图像的特征点位置，求取变换矩阵，并用变换矩阵将图像像素融合到同意的模型坐标系下，即为3D模型坐标系。

4.根据权利要求3所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，计算图像的特征点位置的步骤如下：

通过FAST特征检测算法求取特征点；

对求取的特征点数目进行筛选，对候选的哈里斯角点特征进行筛选；

构建高斯图像金字塔筛选特征点，并实现特征的旋转；

提取关键点，对候选的特征点计算描述子。

5.根据权利要求1、2或4所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，对多个车载摄像头所采集的图像进行拼接的步骤如下：

多个车载摄像头拍摄的图像形成连续时间序列的运行图像帧；

对运动图像帧中的重叠区域寻找最优分割；

周期迭代，对特定图像帧进行运动分析，实现对图像中特征点的动态跟踪和定位，生成最优边界的映射查找表，作为下一次进行修正补偿的初值；

将融合区域的特征点映射到3D模型坐标系下。

6.根据权利要求5所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，对运动图像帧中的重叠区域寻找最优分割的步骤如下：

通过快速近邻匹配方法找到两张图像特征点的匹配关系；

对图像进行能量梯度计算，并对能量梯度值进行累加计算；

对重叠区域的图像像素进行遍历，优化求最大流最小割；

记录最佳分割线的特征点坐标，并作特征点匹配、提纯和最大值抑制；

对特征点进行最佳拼接图像映射计算。

7.根据权利要求5所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，

形成连续时间序列的运行图像帧的步骤如下：

通过同步时间模块给多个车载摄像头拍摄的图像打上时间戳；

根据时间戳，将图像依照时间先后排序，进而形成连续时间序列的运行图像帧。

8.根据权利要求6或7所述的一种车载环视实时3D全景图像的拼接方法，其特征在于，对图像进行能量梯度计算，并对能量梯度值进行累加计算的步骤如下：

求取硬约束可以清晰定义满足软约束条件的梯度求解函数；

·

对每个重叠区域像素分配一个能量值并找到能量值最小的像素的八连通路径；

计算能量累加图：

·M(i，j)＝e(i，j)+min(M(i-1，j-1)，M(i-1，j)，M(i-1，j+1))

求取最小裁剪线。