[发明专利]图像融合方法、自动驾驶控制方法、装置和设备

说明书

本申请提供了一种图像融合方法、自动驾驶控制方法、装置和设备；其中，该方法包括：从目标环境的2D图像中获取指定标志物对应的图标和图标的第一位置；在目标环境的3D点云图像中，根据第一位置确定指定标志物的第二位置；根据第二位置，从3D点云图像中提取指定标志物对应的平面区域；将指定标志物对应的图标融合至3D点云图像的平面区域。本申请通过将2D图像中的标志物图标融合至3D点云图像中，丰富了3D点云图像的信息量，扩展了标志物的使用场景。

技术领域

本申请涉及互联网技术领域，尤其涉及一种图像融合方法、自动驾驶 控制方法、装置和设备。

背景技术

在地图重建、自动驾驶等领域中，常常需要检测并识别环境中的标志 物，如路牌、路标、地面指示标等交通标志，以及广告牌、商铺牌或其他 标志物；现有的标志物检测识别方式，大多通过图像处理或机器学习等技 术实现，但这些方式通常是二维平面上的内容识别，信息比较单一，难以 满足用户多样化的需求。

发明内容

有鉴于此，本申请实施例提供一种图像融合方法、自动驾驶控制方法、 装置和设备，以丰富标志物检测的信息量，扩展标志物的使用场景，从而 满足用户多样化的需求。

主要包括以下几个方面：

第一方面，本申请实施例提供了一种图像融合方法，该方法包括：从 目标环境的2D图像中获取指定标志物对应的图标和图标的第一位置；在 目标环境的3D点云图像中，根据第一位置确定指定标志物的第二位置； 根据第二位置，从3D点云图像中提取指定标志物对应的平面区域；将指 定标志物对应的图标融合至3D点云图像的平面区域。

在本发明较佳的实施例中，上述从目标环境的2D图像中获取指定标 志物对应的图标和图标的第一位置的步骤之前，方法还包括：通过摄像装 置获取目标环境的2D图像；通过激光雷达获取目标环境的3D点云图像。

在本发明较佳的实施例中，上述从目标环境的2D图像中获取指定标 志物对应的图标的步骤，包括：从目标环境的2D图像中检测指定标志物 对应的初始区域；从初始区域中提取指定标志物的边缘线条，将边缘线条 所包围的图像确定为指定标志物对应的图标。

在本发明较佳的实施例中，上述从目标环境的2D图像中检测指定标 志物对应的初始区域的步骤，包括：采用深度学习的方式，从目标环境的 2D图像中检测指定标志物对应的初始区域；或者，采用深度学习和跟踪 结合的方式，从目标环境的2D图像中检测指定标志物对应的初始区域。

在本发明较佳的实施例中，上述从初始区域中提取指定标志物的边缘 线条的步骤，包括：如果指定标志物为三角形或矩形，对初始区域进行线 段分割检测LSD，得到指定标志物的多个线段；根据线段间的顶点位置和 连接关系，得到指定标志物的边缘线条；如果指定标志物为圆形，在初始 区域中进行椭圆拟合，得到指定标志物的边缘线条。

在本发明较佳的实施例中，上述指定标志物对应的图标的第一位置的 获取过程包括：确定初始区域在目标环境的2D图像中的坐标；根据2D 图像的拍摄位置和初始区域的坐标，确定初始区域的地理位置；将图像初 始区域的地理位置作为指定标志物对应的图标的第一位置。

在本发明较佳的实施例中，上述从初始区域中提取指定标志物的边缘 线条，将边缘线条所包围的图像确定为指定标志物对应的图标包括：从初 始区域中提取指定标志物的边缘线条；判断边缘线条组成的当前形状是否 发生透视形变；如果是，根据当前形状所属的图形类别调整边缘线条和边 缘线条包围的图像；将调整后边缘线条所包围的图像确定为指定标志物对 应的图标。

在本发明较佳的实施例中，上述判断边缘线条组成的当前形状是否发 生透视形变的步骤，包括：识别指定标志物的边缘线条组成的当前形状所 属的图形类别；判断当前形状是否属于图形类别对应的标准形状；如果否， 确定当前形状发生透视形变。