[发明专利]基于毫米波雷达多域数据融合的行为检测方法及装置

权利要求书

1.一种基于毫米波雷达多域数据融合的行为检测方法，其特征在于，包括：

根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱；

根据所述距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；

基于多根天线对应的所述距离-速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应；

根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；

分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；

将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。

2.根据权利要求1所述的方法，其特征在于，根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，包括：

当满足预定条件时，获取预定时间长度对应的多帧微多普勒信号，通过掩码卷积算法确定多帧微多普勒信号中动作相关性最高的位置，并将其中有速度能量格点和无速度能量格点进行切分；

采用动作检测算法对切分后的所述微多普勒信号进行动作相关性计算，以确定是否有动作发生；

若确定有动作发生，则复制所述动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。

3.根据权利要求2所述的方法，其特征在于，分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征，包括：

针对所述待检测数据中包含的若干帧微多普勒信号，采用预先训练的CNN网络或者RNN网络对其进行特征提取；

将所述待检测数据中包含的若干帧点云数据及其对应的时间维度信息输入至预先训练的点云特征提取网络，以使所述点云特征提取网络输出对应的点云特征。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述帧特征提取网络包括相连接的循环神经网络以及多层感知器。

5.一种基于毫米波雷达多域数据融合的行为检测装置，其特征在于，包括：

第一确定模块，用于根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱；

第二确定模块，用于根据所述距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；

第三确定模块，用于基于多根天线对应的所述距离-速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应；

获取模块，用于根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；

提取模块，用于分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；

处理模块，用于将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。

6.根据权利要求5所述的装置，其特征在于，所述获取模块用于：

当满足预定条件时，获取预定时间长度对应的多帧微多普勒信号，通过掩码卷积算法确定多帧微多普勒信号中动作相关性最高的位置，并将其中有速度能量格点和无速度能量格点进行切分；

采用动作检测算法对切分后的所述微多普勒信号进行动作检测，以确定是否有动作发生；

若确定有动作发生，则复制并获取所述动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。