[发明专利]一种融合方法、装置、设备、介质及产品

说明书

本发明公开了一种融合方法、装置、设备、介质及产品。该方法包括：获取激光雷达采集的待识别点云图像中至少一个点云集合对应的包围盒的位置坐标和参数信息；获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信息和特征信息；将每个包围盒的位置坐标投影至所述待识别图像中，得到每个包围盒相对于所述待识别图像的第一位置坐标；根据所述每个包围盒相对于待识别图像的第一位置坐标和所述每个目标物体的位置信息将目标物体的特征信息和所述目标物体对应的包围盒的参数信息进行融合。通过本发明的技术方案，能够充分发挥激光雷达与图像数据的优势，获得更加丰富的目标物体的相关信息。

技术领域

本发明涉及智能交通技术领域，尤其涉及一种融合方法、装置、设备、介质及产品。

背景技术

目前大多数的车联网路测方案大都是基于图像及视频数据，即依赖单一的视觉图像信息进行目标检测与跟踪，但是该类单一的依靠视觉图像信息进行目标检测方式，通常要求是高质量、高分辨率的原始图像，而视觉传感器自身的局限性使得光照变化、目标间遮挡、阴影等因素都会对采集到的图像质量产生严重的影响，如大风、雨雪等恶劣天气或光照变化、遮挡、阴影等，使检测结果的可靠性大大降低，检测系统的鲁棒性差，跟踪在环境变化比较复杂的时候使用很受限制。

多传感器系统相比单一传感器获取目标的信息更加丰富、观测域更加广阔，且鲁棒性更高，结合多传感器实现车联网以解决上述单一依靠视觉图像信息检测的问题。

但是目前结合激光雷达与图像数据进行车联网路测的方式中，通常都只是借助激光雷达的点云信息作为先验知识用来降低在图像上的搜索空间，由搜索到的图像数据再进行目标检测跟踪，该类方式存在以下问题：对激光雷达测得的点云信息仅仅是用于降低图像的搜索空间，并未充分利用该点云信息，没有充分发挥激光雷达与图像数据的优势。

发明内容

本发明提供了一种融合方法、装置、设备、介质及产品，以解决由于是先借助激光雷达的点云信息来降低图像上的搜索空间，再由搜索的图像数据进行目标跟踪，并未充分利用点云信息，没有充分发挥激光雷达与图像数据的优势的问题，能够充分发挥激光雷达与图像数据的优势，获得更加丰富的目标物体的相关信息。

根据本发明的一方面，提供了一种融合方法，该方法包括：

获取激光雷达采集的待识别点云图像中至少一个点云集合对应的包围盒的位置坐标和参数信息；

获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信息和特征信息；

将每个包围盒的位置坐标投影至所述待识别图像中，得到每个包围盒相对于所述待识别图像的第一位置坐标；

根据所述每个包围盒相对于待识别图像的第一位置坐标和所述每个目标物体的位置信息将目标物体的特征信息和所述目标物体对应的包围盒的参数信息进行融合。

进一步的，获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信息和特征信息，包括：

获取摄像头拍摄的待识别图像；

将所述待识别图像输入目标模型，得到所述待识别图像中的至少一个目标物体的位置信息和特征信息，其中，所述目标模型通过目标样本集迭代训练神经网络模型得到，所述目标样本集包括：图像样本和所述图像样本对应的标识信息，所述标识信息包括：图像样本中的至少一个目标物体的位置信息和特征信息。

进一步的，将所述待识别图像输入目标模型，得到所述待识别图像中的至少一个目标物体的位置信息和特征信息，包括：

基于OpenVINO工具对目标模型进行转换，得到权重信息和网络拓扑信息；

将权重信息、网络拓扑信息和待识别图像加载至OpenVINO工具中，得到待识别图像中的至少一个目标物体的位置信息和特征信息。

进一步的，通过目标样本集迭代训练神经网络模型，包括：