[发明专利]基于改进畸变校正和标记拼接的环视图像拼接方法及系统

说明书

本发明涉及一种基于改进畸变校正和标记拼接的环视图像拼接方法及系统，其方法包括：步骤S1：对四路车载鱼眼相机进行标定，分别获得每个相机的内外参和畸变系数；步骤S2：通过鱼眼相机获取鱼眼图像，利用内外参和畸变系数分别对鱼眼图像进行畸变校正和暗角校正处理，得到校正后的鱼眼图像；步骤S3：将校正后的鱼眼图像通过俯视变换，获得四个对齐的俯视图；步骤S4：将四个对齐的俯视图像进行拼接，并通过图像融合算法去除缝隙，获得完整的全景鸟瞰图。本发明通过改进现有基于鱼眼标定的畸变校正算法，解决畸变校正图像的有效像素丢失的情况，扩展畸变校正图像的视场范围。此外，本发明引入基于标记点的图像拼接方法，可以实现较快的图像拼接速度。

技术领域

本发明涉及计算机视觉与图像处理领域，具体涉及一种基于改进畸变校正和标记拼接的环视图像拼接方法及系统。

背景技术

随着中国社会的迅速发展与国民经济水平的不断提高，我国的机动车保有量也快速增加。汽车在人们的日常生活中扮演着越来越重要角色的同时，为了给驾驶员提供更多信息避免交通事故的发生，汽车驾驶辅助系统的作用也越来越被重视，车载环视图像拼接技术便是其中核心。

传统的汽车驾驶辅助系统大致使用三种手段帮助汽车司机观察汽车周边情况，即后视镜、倒车雷达和倒车摄像头。但是这些传统手段都只能给司机提供前后方向信息，存在视野盲区，而且不够直观、可视化程度不高。

随着计算机视觉和图像处理领域的技术不断发展，如何应用相应方法改进车载辅助系统性能已成为研究热点。目前可以将四路超广角鱼眼相机分别安装在汽车前、后、左、右四个方向捕获车身周边信息，并经过车载环视图像自动拼接方法处理后在显示设备输出全景图像。这样形成的全景图像能有从高向下鸟瞰的效果，可以实现360度无死角显示车辆周边景象。车载环视图像自动拼接方法既是无人驾驶技术的基础，也是智能驾驶的重要组成部分，相应研究具有重要意义。

区别于普通相机，鱼眼镜头为了获得接近180度的超广视角故而拥有较短的焦距，而这会对鱼眼镜头拍摄的图像造成严重畸变。普通相机只需以针孔模型校正便可得到效果良好的校正图像，但是鱼眼镜头视场为整个半球区域，针孔模型的透视投影却无法在平面呈现半球区域。针对于此，众多国内外学者深入研究鱼眼镜头成像模型并提出了多种非线性畸变建模方法。Brown提出了使用奇数多项式描述相机径向畸变的算法。Tsai在此基础上给出了一般通用校正方法，许多学者在该模型基础上研究消除鱼眼相机中径向畸变，其中国内最具代表性的是张正友提出的基于棋盘格的标定算法，它不需要使用者拥有专业的3D几何或计算机视觉知识，只需相机从不同方向拍摄平面棋盘格图像，理论上至少两张，其中相机或者棋盘格都可自由移动，不需要相机姿态己知，然后通过封闭解和最大似然估计将非线性参数优化，得到精度较高的结果。张氏标定法将相机校正算法从实验室理论阶段提升到了实用阶段。

但是由于鱼眼相机中的径向畸变较为严重，奇数多项式模型并不足够适用于鱼眼相机校正。Schwarz在1980年提出了可以指数关系来描述畸变半径和非畸变半径的指数模型。Basu和Licardie在1995年将上述指数模型与奇数多项式进行比较，发现该模型有较好的校正效果。

Devernay和Faugeras在2001年提出了用三角函数模型来描述鱼眼畸变的方法，但该算法不能给出完整的校准，它可以用来校正鱼眼图像，以符合针孔模型，而当需要知道鱼眼图像上一点对应入射光线的方向时，该算法并不适用。Fitzgibbon在2001提出了一种利用反比例模型的快速鱼眼校正算法。

Shah提出了一般通用的鱼眼相机校正算法，在校正过程由世界坐标系下的点坐标与对应图像中的点坐标得到一个映射关系，通过该映射关系，并利用拉格朗日乘子法估计相机的内参，包括像平面上像素宽度、图像畸变中心、相机有效焦距和失真系数，但是该算法在校正过程中需要高精度的激光束或圆柱形校准物，实现过程比较麻烦，目前还是只停留在实验室阶段。

发明内容

为了解决上述技术问题，本发明提供一种基于改进畸变校正和标记拼接的环视图像拼接方法及系统。