[发明专利]基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法

摘要

本发明公开了一种基于FPN Swin Transformer与Pointnet++的自动驾驶三维目标检测方法，该方法利用相机和激光雷达获取路况的前视图像和点云信息，通过逆透视变换和投影对应得到融合点云信息的前视图像和鸟瞰图像，将其输入FPN Swin Transformer网络进行特征提取可以得到两种视角下的目标二维检测框和分类结果，通过视锥点云提取工作得到目标的候选点云区域并通过Pointnet++网络进行特征提取可以得到目标的三维边界回归框和分类结果，最后通过综合考虑两个网络下的目标分类结果得到最终的目标分类结果。本发明通过多层次融合图像和点云信息与采用基于二维检测框进行三维边界回归的方法，可以有效解决自动驾驶领域目标检测不全面，目标三维信息检测困难，目标分类结果不准确和鲁棒性差等问题。