[发明专利]多摄像头适配的车载视觉感知系统

摘要

本发明公开了一种多摄像头适配的车载视觉感知系统，包括车载摄像头信号传输单元、DSP处理单元、摄像头类型判断单元、视觉数据存储单元及图像信息预处理单元；本发明可以实现包括红外摄像头、单目摄像头、单目广角摄像头、双目立体摄像头、双目图像拼接摄像头、多镜头图像拼接全景摄像头在内的多种摄像头类型的适配，并且建立一种通用型的车载视觉处理方案，为汽车驾驶辅助系统提供多样兼容性视觉方案，同样可以减少多种车载视觉搭载的时间成本以及经济成本。

主权项

1.一种多摄像头适配的车载视觉感知系统，其特征在于，包括：车载摄像头信号传输单元，用于车载硬件感光元器件的信号转换及信号传输；DSP处理单元，与车载摄像头信号传输单元相连，用于车载摄像头数字信号的信号滤波及A/D转换；摄像头类型判断单元，与摄像头类型判断单元相连，用于识别车载摄像头的硬件类型并为系统功能提供摄像头类型信息；视觉数据存储单元，与DSP处理单元相连，用于储存车载摄像头数据作为行车记录，储存图像预处理结果数据作为传感器融合的数据接口；以及图像信息预处理单元，与摄像头类型判断单元及视觉数据存储单元相连，用于将摄像头数据根据摄像头类型进行预处理，对图像进行去雾‑优化处理、香农熵检测、灰度化、二值化及基于边缘检测的图像分割；该系统还包括图像处理单元，所述图像处理单元与图像信息预处理单元相连；所述图像处理单元包括：路面估计单元，用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类；视觉里程计单元，用于根据去雾优化处理数据/灰度图像数据，对车辆行驶进行相对位姿解算；图像特征计算单元，用于对去雾优化处理数据、灰度图像数据进行视觉特征解算，包括特征检测、特征描述，计算特征分别为Haar、HOG、FAST、ORB、BRIEF或者LBP，特征实际解算种类由摄像头处理需求指定；视觉地图构建单元，用于针对BRIEF特征建立视觉特征地图库，与视觉里程计融合为视觉环境SLAM，对视觉地图进行优化处理，进行实时回环检测；图像识别单元，用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别；图像追踪单元，用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配，计算、估计车辆、行人、交通标识、车道线在世界坐标系下的时刻状态、位置；以及视觉特征库储存单元，用于储存图像特征计算单元解算出的视觉特征数据，存储方式为依时序下3D结构重建的特征库储存方式，为视觉地图构建单元提供计算数据接口；该系统还包括系统后端，所述系统后端与图像处理单元相连；所述系统后端包括：结构化道路构建单元，用于利用路面估计单元、视觉地图构建单元、图像识别单元解算结果搭建结构化道路模型，优化模型结果；行驶环境检测单元，用于根据路面估计单元、视觉地图构建单元、图像识别单元、图像追踪单元数据解算结果，检测自车辐射范围L米内行驶环境变化；以及系统数据交互接口单元用于为人机共驾、人机交互、车辆控制决策定位数据提取、车辆控制决策环境数据提取及传感器数据融合决策级数据提取提供数据接口。