[发明专利]一种多数据融合的车辆检测方法、系统、设备及存储介质

权利要求书

1.一种多数据融合的车辆检测方法，其特征在于，包括如下步骤：

步骤S100、当目标车辆移动至路边单元的通信范围时，获取由所述路边单元采集前方道路的第一激光点云；

步骤S200、获取所述目标车辆采集前方道路的第二激光点云和RGB图像，其中所述第一激光点云和所述第二激光点云为时间同步采集；

步骤S300、融合所述第一激光点云和所述第二激光点云，得到第三激光点云：

步骤S301、对所述第一激光点云和所述第二激光点云进行预处理，并初始化所述第二激光点云的刚体变换矩阵；

步骤S302、提取所述第一激光点云中的多个第一关键点以及所述第二激光点云中的多个第二关键点；

步骤S303、对所述第一激光点云中的多个第一关键点和所述第二激光点云中的多个第二关键点进行关键点匹配，并通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵；

步骤S304、根据所述最优的刚体变化矩阵，得到所述第三激光点云；

步骤S400、对所述RGB图像和所述第三激光点云进行多模态融合，得到融合特征信息；

步骤S500、从所述融合特征信息中检测出车辆选框。

2.根据权利要求1所述的多数据融合的车辆检测方法，其特征在于，所述提取所述第一激光点云中的多个第一关键点，包括：

步骤S3021、计算所述第一激光点云中第i个数据点的邻域集合的重心：

其中，p_i表示所述第一激光点云中的第i个数据点，w表示第i个数据点的邻居数据点的数量，o表示所述第一激光点云中的第i个数据点的邻域集合的重心；

步骤S3022、构建法向量求解公式：

其中，P表示所述第一激光点云中的第i个数据点的邻域集合，n表示所述第一激光点云中的第i个数据点相应拟合曲面的法向量；

步骤S3023、通过最小二乘法求解所述f，得到第i个数据点相应的法向量；

步骤S3024、计算所述第一激光点云中的第i个数据点与所述第一激光点云中的第i个数据点的邻域集合中所有邻居数据点的法向量之间的夹角，并计算均值：

其中，θ_ij表示所述第一激光点云中的第i个数据点的法向量与第j个邻居数据点的法向量之间的夹角，表示所述第一激光点云中的第i个数据点与全部邻居数据点的夹角的均值；

步骤S3025、当所述满足预设的阈值范围，则将所述第一激光点云中的第i个数据点作为其中一个第一关键点；

步骤S3026、重复上述提取过程，直至得到所述第一激光点云中的所有第一关键点。

3.根据权利要求2所述的多数据融合的车辆检测方法，其特征在于，所述通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵，包括：

在匹配的关键点对的集合中随机选取多个关键点对作为子集合；

根据子集合中的全部关键点对，利用奇异值分解方法求解刚体变换矩阵；

通过求解的刚体变换矩阵计算关键点对的集合中剩余的数据点对基于该刚体变换矩阵实现位置更新后的距离误差；

判断距离误差是否大于阈值，将距离误差大于阈值的数据点作为待剔除的数据点，并且将距离误差小于阈值的数据点作为待保留的数据点；

重复上述迭代过程，直至达到迭代的最大次数，将待保留的数据点的数量最多的一次迭代过程的刚体变换矩阵作为最优的刚体变换矩阵。

4.根据权利要求3所述的多数据融合的车辆检测方法，其特征在于，所述对所述RGB图像和所述第三激光点云进行多模态融合，得到融合特征信息，包括：

步骤S401、基于第一深度学习网络从所述RGB图像中提取第一车辆特征图；

步骤S402、基于第二深度学习网络从所述第三激光点云中提取第二车辆特征图；

步骤S403、对所述第一车辆特征图和所述第二车辆特征图进行区域大小选取和统一分辨率处理，并逐像素平均融合所述第一车辆特征图和所述第二车辆特征图，得到融合特征图；

步骤S404、通过特征金字塔对所述融合特征图进行上采样以实现车辆特征提取；

步骤S405、对所述特征金字塔的输出结果进行卷积降维处理，得到融合特征信息。