[发明专利]一种自适应融合可见光与点云数据的三维目标检测方法

权利要求书

1.一种自适应融合可见光与点云数据的三维目标检测方法，其特征在于，包括以下步骤：

步骤1：将摄像机获取的图像输入图像处理流：所述图像处理流由四个轻量级卷积块和四个具有不同步长的并行转置卷积层依次组成；每个轻量级卷积块由两个3×3卷积层、一个批处理归一层和一个ReLU激活函数组成；

摄像机获取的图像经过四个轻量级卷积块输出语义图像特征，再经过并行转置卷积层恢复图像分辨率，得到与原始图像相同大小的特征图并进行拼接，得到最终特征图；

步骤2：将激光雷达点云图像输入几何处理流；所述几何处理流由四个集合特征抽取层和一个特征传播层依次组成；

所述集合特征抽取层首先使用最远点采样法在激光雷达点云图像中采样多个中心点，然后以每个中心点为球心聚合指定半径内的所有点作为一个组，之后采集聚合的每个组的特征作为点云特征；

所述特征传播层使用反距离权重法对激光雷达点云图像进行插值，然后将插值的特征和集合特征抽取层提取出来的特征进行组合，组合后的特征经过1x1的卷积核进行处理；

步骤3：构建图像点云融合模块；

所述图像点云融合模块由图像采样器、投影矩阵和全连接层构成；图像采样器采集激光雷达点云图像，通过已校准的投影矩阵，将激光雷达点投影到摄像机图像上；将投影矩阵表示为M，则对于激光雷达点云中的某个特定点p(x,y,z)，得到其在摄像机图像中的对应位置p'(x',y')，公式表示为：

p′＝M×p

其中M为大小是3×4的投影矩阵，在投影公式中，将p'和p互相转换为齐次坐标下的三维和四维向量；

步骤4：利用图像点云融合模块将点云特征与语义图像特征进行融合；

将点云特征F_P和语义图像特征F_I送入图像点云融合模块的全连接层，并将点云特征F_P和语义图像特征F_I映射到同一通道中，然后将点云特征F_P和语义图像特征F_I拼接形成一个紧凑特征表示，再通过另一个全连接层压缩成一个带有单个通道的权值映射ω，最后使用Sigmoid激活函数将权值映射ω归一化到[0,1]的范围内：

w＝σ(ωtanh(αF_P+βF_I))

其中，ω，α，β分别表示图像点云融合模块中可学习的权重矩阵，σ表示Sigmoid激活函数；

在得到权重图w后，将点云特征F_P和语义图像特征F_I进行拼接，公式如下：

F_IL＝F_P||wF_I

步骤5：由三个集合特征抽取层组成优化网络，优化网络包括两个子网络，分别由两个级联的1×1卷积层组成，用于分类和回归；使用非极大值抑制方法对拼接后的图像进行目标检测。