[发明专利]基于双向鱼眼摄像机的360°行车记录系统及方法

权利要求书

1.一种基于双向鱼眼摄像机形成360°全景图的行车记录系统，包括鱼眼摄像机(1)、标定板(2)、单片机(3)、后视镜(4)，其特征在于：所述单片机(3)连接鱼眼摄像机(1)和后视镜(4)，由电源对单片机(3)、鱼眼摄像机(1)和后视镜(4)提供工作电源，标定板(2)置于鱼眼摄像机(1)可拍摄的位置；鱼眼摄像机(1)以背靠背方式连接在单片机(3)上，将拍摄的视频流图像经过单片机(3)处理后输出到后视镜(4)显示；利用鱼眼摄像机(1)获取行车周围环境视频流图像，所采用的鱼眼摄像机(1)为双向鱼眼摄像头，所拍摄图像由单片机(3)进行校准、柱面投影和图像拼接，形成行车周围环境拼接360°全景图。

2.根据权利要求1所述的基于双向鱼眼摄像机形成360°全景图的行车记录系统，其特征在于：

所述的鱼眼摄像机(1)各方向的畸变参数，由对鱼眼摄像机(1)拍摄标定板(2)获得的图像，采用棋盘格角点提取算法提取黑白网格交叉点的位置信息用于标定获得；

所述鱼眼摄像机(1)与单片机(3)通过可双通道图像采集且串行输出方式进行串口通信，对所得到关于行车周围环境360°的视频流图像，通过多线程方式以25帧/秒的速率输出到单片机(3)，单片机(3)调用鱼眼摄像机(1)的内参和外参对视频流图像进行处理；

所述的行车周围环境拼接360°全景图，由单片机(3)将校准、柱面投影和图像拼接之后的拼接全景图，以25帧/秒视频流的方式通过连接线串口通信传输到后视镜(4)显示。

3.一种基于双向鱼眼摄像机形成360°全景图的行车记录方法，采用权利要求1所述的基于双向鱼眼摄像机形成360°全景图的行车记录系统进行操作，其特征在于具体的操作步骤如下：

1）使用鱼眼摄像机(1)拍摄标定板(2)多个姿态的图像，对标定板图像上的黑白网格交叉点进行标定，将3D实际点到图像平面像素上投影的图像形成函数g通过泰勒级数展开，运用标定板的几何关系建立方程组，构成相机校准参数的膨胀系数通过求解两步最小二乘性问题来估计，通过投影变换对应关系求出鱼眼摄像机(1)的内参和外参，得出鱼眼摄像机(1)各方向的投影畸变参数；

2）单片机(3)调用鱼眼摄像机(1)的内参和外参，将鱼眼摄像机(1)所拍摄的视频流图像用柱面投影算法投影到到柱面坐标系，以设置的图像宽度为周长求出柱面坐标系半径，以设置的图像高度为柱面高度，根据图像柱面投影变换公式，将鱼眼图像坐标转化为柱面坐标系中对应的坐标；单片机(3)调用鱼眼摄像头(1)的内参和外参，将鱼眼摄像机(1)所拍摄的视频流图像用柱面投影算法投影到到柱面坐标系，运用SIFT算法对柱面投影图像侦测局部特征值，并得到关于特征值的描述符；

3）运用SIFT算法对柱面投影图像做高斯模糊卷积滤波，对滤波得到的图像作差分运算，得到高斯差分图像；进行极值检测得到高斯差分图像的局部特征值和关键点，通过对尺度空间DoG函数进行曲线拟合，提高关键点稳定性；利用图像的局部特征为每一个关键点分配一个基准方向，使用图像梯度的方法求局部结构的稳定方向；为每一个关键点建立一个描述符，用一组向量描述这个关键点，此向量是该区域图像信息的一种抽象，具有唯一性，保证关键点描述符具有尺度不变特性；

4）运用改进的最佳缝合线算法，根据两幅图像相互之间重叠区域用SIFT算法得到的特征值描述符相同特性，配合距离加权平均的方法融合成为一张行车周围环境拼接360°全景图，单片机(3)将校准、柱面投影和图像拼接之后的拼接全景图以视频流的方式传输到后视镜(4)显示。

4.根据权利要求3所述的基于双向鱼眼摄像机形成360°全景图的行车记录系统，其特征在于：所述步骤1)中获取畸变参数的方法，是使用鱼眼摄像机(1) 拍摄多个姿态的7行10列30mm×30mm的标定板(2)，采用棋盘格角点提取算法对标定板图像上的黑白网格交叉点进行标定，通过求解关于黑白网格交叉点位置信息关系方程组求出鱼眼摄像机(1)的内参和外参，进而得出各方向的畸变参数。

5.根据权利要求3所述的基于双向鱼眼摄像机形成360°全景图的行车记录系统，其特征在于：所述步骤2)至步骤4)中，使用SIFT算法求出柱面投影图像局部特征值描述符，并运用改进的最佳缝合线算法，配合距离加权平均的方法将左右鱼眼摄像头(1)拍摄的两幅图像融合成为一张行车周围环境拼接360°全景图。