[发明专利]基于图像识别的唇语识别方法、装置、设备及存储介质

摘要

本发明涉及人工智能领域，公开了一种基于图像识别的唇语识别方法、装置、设备及存储介质。该方法包括：实时采集唇语用户的多帧人脸图像进行关键点检测与唇部区域定位，得到各人脸图像对应的唇部区域图像；依次对各人脸图像对应的唇部区域图像进行特征提取，得到唇语用户的唇部特征序列；将唇部特征序列输入预置唇语识别模型，输出唇语用户对应的发音音素序列；将发音音素序列转换成文字格式的多个自然语句，并通过预置统计语言模型对多个自然语句进行打分，得到目标自然语句；将目标自然语句进行音频转换，得到唇语发音并进行播报。本发明能从实时采集的唇语图像数据中识别出唇语表达语句，并进行播报，使无声的唇语得以实时发声。