[发明专利]一种面向多传感器数据融合需求的三维场景感知方法

说明书

本发明公开了一种面向多传感器数据融合需求的三维场景感知方法，具体做法为对原始多模态数据进行裁剪和随机掩膜，提取局部和全局特征训练Transformer网络模型，将不进行随机掩膜的多模态数据进行特征提取输入到训练好的融合Transformer网络模型中，动态融合信息得到粗糙网格，上采样后得到最终重建出的人体网格。重建出人体网格的方法即为三维场景感知方法中的一种。本发明方法能够在不同模式之间灵活切换，并处理输入的传感器数据中的任意组合。本发明方法在大规模的人体数据集上得到验证，证实在三维场景感知方面，本方法具有优异的表现。适用于各种使用多传感器融合数据的场景，本发明方法也是第一种未知模态数据的融合框架，适用于任意模态之间组合的输入。

技术领域

本发明属于计算机领域，具体涉及一种面向多传感器数据融合需求的三维场景感知方法。

背景技术

三维人体重建方法可以作为三维感知方法的一部分，因为人体是三维世界中的主要元素之一。人体的位置、形状、姿态和动作等信息对于很多应用都是非常重要的，比如虚拟现实、智能监控、医学诊断等领域。通过三维人体重建方法，可以从图像、视频、深度相机等传感器数据中获取人体的三维位置、形状和运动信息，从而实现对人体的三维感知。

传感器技术和深度学习的最新进展导致三维场景感知方法取得了重大进展。然而，大多数现有方法都依赖于来自特定传感器的数据，由于个体传感方式的固有局限性，这些数据可能不可靠。虽然现有的多模态融合方法通常需要根据特定的传感器组合或设置进行定制设计，但灵活性有限。

但是，组合多模态信息并不容易。早期的激光雷达-相机融合方法采用点到图像投影，通过逐元素相加或逐通道级联来组合点云和RGB图像像素值。这些方法严重依赖于点云和图像之间的投影关系，如果其中一种模式受到损害或失败，这种关系可能会崩溃。最近，已经提出了几种定制的基于Transformer的结构用于多模态融合。然而，这些融合框架需要针对不同的传感器配置进行专门设计，这很难扩展到其他传感器组合。尽管有各种融合方法，但如何以与模式无关的方式整合来自不同传感器设置和组合的信息仍未开发。特别是，为不同的传感器组合采用专门的算法和对齐功能需要大量努力。

近年来，基于Transformer的融合方法受到了广泛关注。具体来说，DeepFusion使用可学习的对齐机制激光雷达信息与最相关的图像动态关联起来，但是DeepFusion方法缺少全局特征，从而减少了融合阶段的全局交互。TokenFusion裁剪单模态Transformer层中的特征标记以保留更好的信息，然后重新利用裁剪后的标记进行多模态融合，但TokenFusion方法无法适应不利环境，因此在光线不好的环境中表现出较差的性能。TransFusion采用软关联方法来处理劣质图像情况。

发明内容

本发明目的在于针对现有实验均使用特定模态数据的场景以及现有多模态数据融合方法不能解决现有问题，提出一种面向多传感器数据融合需求的三维场景感知方法。

本发明的目的是通过以下技术方案实现的：

一种面向多传感器数据融合需求的三维场景感知方法，该方法包括以下步骤：

S1，从原始多模态的数据中裁剪得到仅包含身体部位的感兴趣区域；

S2，将S1中得到的裁剪后的不同模态的数据进行模态掩膜；

S3，将掩膜后得到的数据中不同的模态分别独立提取全局特征和局部特征；

S4，全局整合各种模态数据的局部特征，融合成一个全局特征向量；

S5，将S3和S4中得到的局部特征和全局特征向量输入到融合Transformer网络模型中进行训练；