[发明专利]一种基于多帧点云的运动目标检测系统和方法

权利要求书

1.一种基于多帧点云的运动目标检测系统，包括体素特征提取模块、转换模块和识别模块，其特征在于所述转换模块包括跨模态注意力模块；

所述体素特征提取模块，将连续帧点云序列进行体素化，并提取特征张量序列；

所述转换模块，获取特征张量序列，通过跨模态注意力模块，将第一特征张量与第二特征张量进行融合，融合的结果再与第三特征张量融合，再将融合后的结果与第四特征张量融合，在以此类推，得到最终融合后的特征张量；跨模态注意力模块，将两个特征张量，根据注意力机制进行匹配融合，并通过卷积神经网络融合后，得到融合后的特征张量；

所述识别模块，对最终融合后的特征张量进行特征提取，输出目标的检测信息；

跨模态注意力模块的匹配融合如下：

其中，Q_a=X_a*W_Q和Q_b=X_b*W_Q分别表示注意力机制中的Query，K_a=X_a*W_K和K_b=X_b*W_K分别表示注意力机制中Key，V_a=X_a*W_V和V_b=X_b*W_V分别表示注意力机制中Value，X_a和X_b表示待融合的两个特征张量，W_Q、W_K以及W_V分别表示可训练权重矩阵，d分别表示Q_a与K_b的维度和Q_b与K_a的维度，Trans()为矩阵转置操作，softmax_col()表示矩阵按列进行归一化操作；

再将Y(X_a, X_b)和Y(X_b, X_a)通过卷积神经网络进行融合，得到融合后的特征张量：

Crossmodal Attention(X_a,X_b)=Conv(Y(X_a, X_b),Y(X_b, X_a))

其中，Conv()表示卷积神经网络。

2.根据权利要求1所述的一种基于多帧点云的运动目标检测系统，其特征在于所述体素特征提取模块，根据每帧对应的位姿，将连续帧点云序列转换到大地坐标系，并对转换后的连续帧点云序列进行体素化，大地坐标系是相对于大地的固定预设坐标原点的笛卡尔正交坐标系，以第一帧点云数据向前方向为大地坐标系的X轴正方向，向右方向为大地坐标系的Y轴正方向，向上方向为大地坐标系的Z轴正方向。

3.根据权利要求1所述的一种基于多帧点云的运动目标检测系统，其特征在于所述体素化，通过构建体素大小及体素化范围，将每个体素内点的均值作为体素化特征。

4.根据权利要求1所述的一种基于多帧点云的运动目标检测系统，其特征在于所述提取特征张量，是对体素化得到的特征，通过稀疏卷积模块进行特征提取，得到特征张量，稀疏卷积模块包括一组子卷积模块，子卷积模块包括子流行卷积层、归一化层和Relu层。

5.根据权利要求1所述的一种基于多帧点云的运动目标检测系统，其特征在于所述转换模块，将形状大小为C*D*W*H的特征张量重塑成大小为C*（D*W*H）的特征张量，C表示特征通道数，D表示高度，W表示宽度，H表示长度，再对重塑后的特征张量序列进行匹配融合。

6.根据权利要求1所述的一种基于多帧点云的运动目标检测系统，其特征在于所述特征张量序列为{F_Base_seq[i],0i=N}，i表示帧索引，N表示帧数，对序列中的特征张量进行匹配融合，得到融合后的特征张量F_Base_fusion_seq[j,j+1]，j表示帧索引，0j=N，当j=1时，对特征张量F_Base_seq[j]和特征张量F_Base_seq[j+1]进行融合，当1jN时，对融合后的特征张量F_Base_fusion_seq[j-1,j]和特征张量F_Base_seq[j+1]进行循环融合，输出最终融合后的特征张量F_Base_fusion_seq[N-1,N]。

7.根据权利要求5所述的一种基于多帧点云的运动目标检测系统，其特征在于所述识别模块，将最终融合后的特征张量重塑成形状大小为(C*D)*W*H的特征张量，再对重塑后的特征张量进行特征提取，输出目标的检测信息。