[发明专利]一种基于毫米波雷达和机器视觉的手语识别方法

权利要求书

1.一种基于毫米波雷达和机器视觉的手语识别方法，其特征在于，包括：

步骤S1：通过毫米波雷达进行手心位置的检测，获取关键帧的时间信息和位置信息；

步骤S2：采用多线程融合方法，将毫米波雷达获取的关键帧的时间信息与通过摄像头获取的视频数据的时间信息进行融合；

步骤S3：通过坐标系转换，将毫米波雷达获取的关键帧的位置信息与摄像头获取的视频数据的位置信息进行空间融合；

步骤S4：根据时间融合以及空间融合后的视频数据，提取出手部区域关键帧；

步骤S5：通过预设神经网络对手部区域关键帧进行识别，得到识别结果；

其中，步骤S1具体包括：

步骤S1.1：通过毫米波雷达对手语轨迹进行采样，计算手语轨迹中各个采样点在连续时间内的点密度，得到手语轨迹的点密度曲线；

步骤S1.2：采取等间隔划分方法，并设定阈值T，对手语轨迹的点密度曲线进行处理，得到划定间隔及阈值后的手心点密度曲线；

步骤S1.3：根据划定间隔及阈值后的手心点密度曲线，将每个区间中大于阈值T的最大值对应的点作为关键帧，并获取关键帧的时间信息和位置信息；

步骤S1.1具体包括：

步骤S1.1.1：通过毫米波雷达连续发射时间间隔相等的调频信号，以测量手心与毫米波的距离信息以及相对于毫米波的角度和速度；

步骤S1.1.2：根据手心与毫米波的距离信息以及相对于毫米波的角度和速度，计算手语轨迹中各个采样点在每个位置的周围单位面积上的手心出现个数，求出点密度，得到手语轨迹的点密度曲线。

2.如权利要求1所述的方法，其特征在于，步骤S2具体包括：

步骤S2.1：采用多线程分别处理毫米波雷达获取的关键帧数据和摄像头获取的视频数据，并进行数据融合；

步骤S2.2：根据毫米波雷达频率和摄像头频率的最大公约数确定采样频率，将毫米波雷达的关键帧数据与摄像头获取的视频数据在时间上进行同步。

3.如权利要求1所述的方法，其特征在于，步骤S3具体包括：

通过坐标系转换，将毫米波雷达坐标系、图像坐标系、三维世界坐标系相统一，将毫米波雷达获取的关键帧的位置信息对应至摄像头的视频数据上。

4.如权利要求1所述的方法，其特征在于，步骤S4具体包括：

步骤S4.1.1：根据毫米波雷达检测得到的手心与毫米波的距离信息以及相对于毫米波的角度和速度，判断手的出现位置；

步骤S4.1.2：将从关键帧上得到的点目标投影至关键帧对应的摄像头拍摄的图像上，并围绕点目标生成一个矩阵的感兴趣区域，获得一组有时序的仅包含手的关键帧图像，其为仅包含手部区域图像的关键帧图片。

5.如权利要求1所述的方法，其特征在于，步骤S5具体包括：

步骤S5.1：将手部区域关键帧按时序输入预设长短期记忆神经网络LSTM；

步骤S5.2：通过LSTM将多个手部区域关键帧识别为手语词汇，并将连接得到手语动作的译文，完成手语识别。