[发明专利]一种基于端到端的视听语音识别方法、装置、设备及介质

说明书

本发明涉及人工智能技术领域，尤其涉及一种基于端到端的视听语音识别方法、装置、设备及介质。上述方法应用于医疗领域，本发明中，通过端到端的模型实现视听语音识别，将卷积特征与编码特征相结合，提取图像序列信息与音频信息中的特征，提高特征提取的准确率，将图像序列信息与音频信息中的特征融合后，进行视听语音识别，该视听语音识别方法可以更好地利用和适应新的硬件并行计算能力，提高运算速率，因此，该视听语音识别方法可以提高语音识别的性能。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于端到端的视听语音识别方法、装置、设备及介质。

背景技术

目前现有的语音识别技术已经取得了较大的发展并且已经应用到了多个领域，如：医疗领域中医疗文书录入，疾病辅助诊断，医疗设备交互，导诊服务及诊后随访等业务中应用到了语音识别技术，然而由于较高的语音识别率通常都是在较纯净的语音环境中得到的，当处于噪声环境时，识别率将会急剧下降，而人类的语音感知具有听觉和视觉的双模型特性，从而具有很高的语音识别能力，并且在语音失真或受到噪音干扰的情况下，仍然能够达到较高的识别率，所以视听语音识别方法的研究逐渐日益引起人们的关注。

现有技术中，通过综合利用说话人的音频信息和视频信息(特别是嘴部形状特征)完成语音识别。但当在噪声和失真条件下，语音识别的性能显著下降，因此，在视听语音识别的过程中，如何视听语音识别的性能成为亟待解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种基于端到端的视听语音识别方法、装置、设备及介质，以解决视听语音识别性能较低的问题。

本申请实施例的第一方面提供了一种基于端到端的视听语音识别方法，所述视听语音识别方法包括：

将获取的原始视频中视觉流和音频流分离，得到图像序列信息与音频序列信息；

基于三维卷积核构成的卷积层对所述图像序列信息进行卷积处理，得到图像卷积特征，使用全局平均池化层对所述图像卷积特征进行维度挤压，得到一维的第一特征；

基于一维卷积核构成的卷积层对所述音频序列信息进行卷积处理，得到音频卷积特征，对所述音频卷积特征进行下采样，得到与所述第一特征的帧率相匹配的第二特征；

分别对所述第一特征和所述第二特征进行编码，得到对应所述第一特征的第一特征编码和对应所述第二特征的第二特征编码；

对所述第一特征编码与所述第二特征编码进行融合，得到融合特征编码，对所述融合特征编码进行解码，得到解码特征，所述解码特征用于对所述音频流进行修正，得到基于所述视觉流的语音识别结果。

本申请实施例的第二方面提供了一种基于端到端的视听语音识别装置，所述视听语音识别装置包括：

分离模块，用于将获取的原始视频中视觉流和音频流分离，得到图像序列信息与音频序列信息；

第一特征确定模块，用于基于三维卷积核构成的卷积层对所述图像序列信息进行卷积处理，得到图像卷积特征，使用全局平均池化层对所述图像卷积特征进行维度挤压，得到一维的第一特征；

第二特征确定模块，用于基于一维卷积核构成的卷积层对所述音频序列信息进行卷积处理，得到音频卷积特征，对所述音频卷积特征进行下采样，得到与所述第一特征的帧率相匹配的第二特征；

编码模块，用于分别对所述第一特征和所述第二特征进行编码，得到对应所述第一特征的第一特征编码和对应所述第二特征的第二特征编码；

解码模块，用于对所述第一特征编码与所述第二特征编码进行融合，得到融合特征编码，对所述融合特征编码进行解码，得到解码特征，所述解码特征用于对所述音频流进行修正，得到基于所述视觉流的语音识别结果。