[发明专利]一种面向多传感器数据融合需求的三维场景感知方法

权利要求书

1.一种面向多传感器数据融合需求的三维场景感知方法，其特征在于，该方法包括以下步骤：

S1，从原始多模态的数据中裁剪得到仅包含身体部位的感兴趣区域；

S2，将S1中得到的裁剪后的不同模态的数据进行模态掩膜；

S3，将掩膜后得到的数据中不同的模态分别独立提取全局特征和局部特征；

S4，全局整合各种模态数据的局部特征，融合成一个全局特征向量；

S5，将S3和S4中得到的局部特征和全局特征向量输入到融合Transformer网络模型中进行训练；

S6，直接输入原始多模态数据，进行分别独立提取全局特征和局部特征，并进行全局整合，得到全局特征向量输入到训练好的融合Transformer网络模型中，动态融合信息得到粗糙网格G^T'，上采样后得到最终重建出的人体网格，实现三维场景感知。

2.根据权利要求1所述的一种面向多传感器数据融合需求的三维场景感知方法，其特征在于，所述步骤S1具体为：

利用从数据集中网格关节点的真实值，使用自动标注的边界框裁剪原数据；裁剪后得到所需数据集D＝{I^t,P^t,J^t,V^t},t＝0,...,N,其中是裁取出身体部分的RGB图像和深度点云，是在时间t标注的22个关节点和10475个顶点的具体位置，每一帧RGB图像包括不同输入模态之间的随机取样。

3.根据权利要求1所述的一种面向多传感器数据融合需求的三维场景感知方法，其特征在于，所述步骤S2中做法具体为：

对S1中得到的数据随机屏蔽一些输入模态，从而强制模型在不同的输入模态组合中学习；关节/顶点标记特征G^T进行随机掩膜，模拟自身或烟雾遮挡和缺失部分。

4.根据权利要求1所述的一种面向多传感器数据融合需求的三维场景感知方法，其特征在于，所述步骤S3具体为：

S301：将模态掩膜后得到的图像和点云的人体区域输入到现有图像和点云主干网络，以提取全局特征和局部特征；

S302：使用一个共享的HRNet获取RGB图像I的梯度特征和全局特征其中n为通道数，m为特征维度，HRNet输出得到的梯度特征和全局特征输入到第一多层感知器中生成局部特征；

S303：深度点云特征使用点云处理网络得到点云局部特征其中n表示最远点采样中采样的点的数量，3表示空间坐标，p表示从集群局部点中提取出的特征的维度；

S304：从点云局部特征L^d使用第二多层感知器提取出点云全局特征向量

5.根据权利要求1所述的一种面向多传感器数据融合需求的三维场景感知方法，其特征在于，所述步骤S4具体为：

通过将22个关节点和655个顶点坐标与一个从SMPL-X降采样得到的粗糙的网格模板联系起来，从而实现位置嵌入；每个模态的序数都嵌入到局部特征中，以简化训练；所有局部特征都用于为人体重建提供细粒度的局部细节，得到全局特征向量。

6.根据权利要求1所述的一种面向多传感器数据融合需求的三维场景感知方法，其特征在于，所述步骤S5中的训练过程为：

将S3和S4中得到的局部特征和全局特征向量输入到S5步骤中的融合Transformer网络结构进行训练；对每个场景选择训练集和测试集，其中训练集随机分成多个部分，每个部分由输入模态的组合组成；在整个测试集上测试所有模态组合，以比较不同模型之间的性能，并将L1损失函数应用于重建的网格以约束顶点和关节。