[发明专利]一种全景环视图像拼接方法、装置和电子设备、存储介质

说明书

本申请公开了一种全景环视图像拼接方法、装置和电子设备、存储介质。所述方法包括：获取全景环视初始化图像以及全景环视初始化图像的分区信息，全景环视初始化图像的分区信息包括四个单独观测区域、四个共同观测区域和一个车身所在区域；确定共同观测区域内每个像素点对应的双重加权融合策略；根据全景环视初始化图像的分区信息、共同观测区域内每个像素点对应的双重加权融合策略和四路鱼眼相机的内外参数，构建像素点对应关系映射表；获取四路鱼眼相机采集的四张鱼眼图像，并根据像素点对应关系映射表获得全景环视初始化图像中每个像素点对应的像素值并写入到该像素点位置，得到拼接后的全景环视图像。本申请具有拼接效率高、拼接质量好的优势。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种全景环视图像拼接方法、装置和电子设备、存储介质。

背景技术

在自动驾驶领域，全景环视系统(Around View Monitor，简称为AVM)属于自动泊车系统的一部分，是一种实用性极高、可大幅提升用户体验和驾驶安全性的功能。该系统利用安装于车身前、后、左、右的4路鱼眼相机实时获取车身周边的环境信息，再经软件合成为360度全景环视图像。当与图像处理技术相结合时，可以实现车位识别、障碍物检测以及可行驶区域识别等功能，是自动泊车系统的重要组成部分。

其中，现有软件是通过图像拼接技术实时地生成360度全景环视图像，图像拼接是将两张或多张拥有相同区域的图像，采用算法找到相邻两张图之间的几何变换关系，再两两拼接成一张图的过程。本申请的发明人在研究与实践全景环视图像的拼接算法时发现，现有的图像拼接算法存在拼接效率低、重叠区域存在拼接乱码、拼接重影等边界效应。

发明内容

基于现有技术中存在的上述问题，本申请实施例提供了一种全景环视图像拼接方法、装置和电子设备、存储介质，以高效拼接全景环视图像并避免全景环视图像出现边界效应。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种全景环视图像拼接方法，所述方法包括：

获取全景环视初始化图像以及所述全景环视初始化图像的分区信息，所述全景环视初始化图像的分区信息包括四个单独观测区域、四个共同观测区域和一个车身所在区域；

确定所述共同观测区域内每个像素点对应的双重加权融合策略，所述双重加权融合策略包括像素点对应的角度加权和距离加权；

根据所述全景环视初始化图像的分区信息、共同观测区域内每个像素点对应的双重加权融合策略和安装在车辆车身前、后、左、右的四路鱼眼相机的内外参数，构建像素点对应关系映射表，所述像素点对应关系映射表指示所述单独观测区域的像素点与相应一路鱼眼相机采集的鱼眼图像的像素点的对应关系，以及指示共同观测区域的像素点与相应的两路鱼眼相机采集的两张鱼眼图像的像素点的对应关系和相应的角度加权与距离加权；

获取四路鱼眼相机采集的四张鱼眼图像，并根据所述像素点对应关系映射表获得所述全景环视初始化图像中每个像素点对应的像素值并写入到该像素点位置，得到拼接后的全景环视图像。

可选地，所述确定所述共同观测区域内每个像素点对应的双重加权融合策略，包括：

获取所述共同观测区域内像素点的像素位置、该共同观测区域对应的两路鱼眼相机的像素位置和该共同观测区域与相邻两个单独观测区域的边界线位置；

根据所述共同观测区域内像素点的像素位置和该共同观测区域的边界线位置，确定该像素点偏向两条边界线的偏向程度，根据该像素点偏向两条边界线的偏向程度得到该像素点对应的角度加权；

根据所述共同观测区域内像素点的像素位置和该共同观测区域对应的两路鱼眼相机的像素位置，确定该像素点与两路鱼眼相机的相对距离，根据该像素点与两路鱼眼相机的相对距离得到该像素点对应的距离加权。

可选地，通过下述步骤获取该共同观测区域的边界线位置：