[发明专利]一种基于毫米波雷达和机器视觉的手语识别方法

说明书

本发明公开了一种基于毫米波雷达和机器视觉的手语识别方法，首先通过毫米波雷达进行手心位置的检测，获取关键帧的时间信息和位置信息，然后采用多线程融合方法，将毫米波雷达获取的关键帧的时间信息与通过摄像头获取的视频数据的时间信息进行融合；接着通过坐标系转换，将毫米波雷达获取的关键帧的位置信息与摄像头获取的视频数据的位置信息进行空间融合，接下来根据时间融合以及空间融合后的视频数据，提取出手部区域关键帧，最后通过预设神经网络对手部区域关键帧进行识别，得到识别结果。本发明的方法可以实现连续手语的识别，提高识别的准确率和实时性。

技术领域

本发明涉及手语的智能翻译技术领域，具体涉及一种基于毫米波雷达和机器视觉的手语识别方法。

背景技术

中国现有聋哑人数目庞大，手语识别在聋哑人教学及交流方面有着极其重要的作用。在当前研究中，随着新型体感交互设备的普及与机器学习理论的深入，如何基于视觉快速准确的捕获三维手语运动数据并实时理解连续手语的语义，已经成为自然人机交互领域的关键问题。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

专利文献CN109696963A公开了一种基于手语翻译手套的手语识别方法，从准确性上来分析，穿戴式设备手语句子平均识别率仅为72％。且设备昂贵，不利于大范围的推广应用。专利文献CN109460748A公开了一种基于三目视觉的手语识别方法，通过解决双目设备的视觉盲区缺陷以及独立的手势识别方案无法准确地获取聋哑人手语所要传达的信息等问题，从而提升准确性。然而，由于此种图像识别方法处理速度受限，在连续语句识别方面精度不高。同时提取特征受到复杂背景的影响很大，无法普遍推广。

由此可知，现有技术中的方法存在对于连续语句识别准确性和实时性不佳的技术问题。

发明内容

有鉴于此，本发明提供了一种基于毫米波雷达和机器视觉的手语识别方法，用以解决或者至少部分解决现有技术中的方法存在的对于连续语句识别准确性和实时性不佳的技术问题。

为了解决上述技术问题，本发明提供了一种基于毫米波雷达和机器视觉的手语识别方法，包括：

步骤S1：通过毫米波雷达进行手心位置的检测，获取关键帧的时间信息和位置信息；

步骤S2：采用多线程融合方法，将毫米波雷达获取的关键帧的时间信息与通过摄像头获取的视频数据的时间信息进行融合；

步骤S3：通过坐标系转换，将毫米波雷达获取的关键帧的位置信息与摄像头获取的视频数据的位置信息进行空间融合；

步骤S4：根据时间融合以及空间融合后的视频数据，提取出手部区域关键帧；

步骤S5：通过预设神经网络对手部区域关键帧进行识别，得到识别结果。

在一种实施方式中，步骤S1具体包括：

步骤S1.1：通过毫米波雷达对手语轨迹进行采样，计算手语轨迹中各个采样点在连续时间内的点密度，得到手语轨迹的点密度曲线；

步骤S1.2：采取等间隔划分方法，并设定阈值T，对手语轨迹的点密度曲线进行处理，得到划定间隔及阈值后的手心点密度曲线；

步骤S1.3：根据划定间隔及阈值后的手心点密度曲线，将每个区间中大于阈值T的最大值对应的点作为关键帧，并获取关键帧的时间信息和位置信息。

在一种实施方式中，步骤S1.1具体包括：

步骤S1.1.1：通过毫米波雷达连续发射时间间隔相等的调频信号，以测量手心与毫米波的距离信息以及相对于毫米波的角度和速度；