[发明专利]一种融合超声波和图像信息的人脸多模态检测方法及系统

摘要

本公开提供了一种融合超声波和图像信息的人脸多模态检测方法及系统，涉及主动安全领域，方法包括：获取向待检测人脸发射的调制超声波信号的基带超声波信号；提取唇部反射信号，在时间上对唇部反射信息进行差分抑制时不变信号，提取有效频域的唇动信号；提取每一帧中的人脸关键点，获取连续两帧人脸关键点位置变化的运动矢量，根据张闭嘴区间分割出相应的唇部超声波信号；提取唇部超声波信号的频率轴信息和视觉空间信息，输入至跨模态信息融合中提取双模态信息，将所述双模态信息进行聚合并获取加权超声波特征，引入可训练的类标签嵌入，输出检测结果。提高人脸检测识别的安全性和可靠性。