[发明专利]一种基于端到端的视听语音识别方法、装置、设备及介质

权利要求书

1.一种基于端到端的视听语音识别方法，其特征在于，所述视听语音识别方法包括：

将获取的原始视频中视觉流和音频流分离，得到图像序列信息与音频序列信息；

基于三维卷积核构成的卷积层对所述图像序列信息进行卷积处理，得到图像卷积特征，使用全局平均池化层对所述图像卷积特征进行维度挤压，得到一维的第一特征；

基于一维卷积核构成的卷积层对所述音频序列信息进行卷积处理，得到音频卷积特征，对所述音频卷积特征进行下采样，得到与所述第一特征的帧率相匹配的第二特征；

分别对所述第一特征和所述第二特征进行编码，得到对应所述第一特征的第一特征编码和对应所述第二特征的第二特征编码；

对所述第一特征编码与所述第二特征编码进行融合，得到融合特征编码，对所述融合特征编码进行解码，得到解码特征，所述解码特征用于对所述音频流进行修正，得到基于所述视觉流的语音识别结果。

2.如权利要求1所述的视听语音识别方法，其特征在于，所述基于三维卷积核构成的卷积层对所述图像序列信息进行卷积处理，得到图像卷积特征，包括：

根据预设三维卷积核，构建第一卷积层；

使用第一卷积层对所述图像序列信息进行卷积处理，得得到图像卷积特征。

3.如权利要求1所述的视听语音识别方法，其特征在于，所述基于一维卷积核构成的卷积层对所述音频序列信息进行卷积处理，得到音频卷积特征，包括：

根据预设一维卷积核与预设滤波器数值，构建第二卷积层；

使用第二卷积层对所述音频序列信息进行卷积处理，得到音频卷积特征。

4.如权利要求1所述的视听语音识别方法，其特征在于，所述分别对所述第一特征和所述第二特征进行编码，得到对应所述第一特征的第一特征编码和对应所述第二特征的第二特征编码，包括：

通过嵌入层所述第一特征和所述第二特征进行线性投影，得到第一投影特征与第二投影特征；

使用相对位置信息对所述一投影特征与第二投影特征进行编码，得到第一位置编码特征与第二位置编码特征；

通过多头注意力机制，对所述第一位置编码特征与第二位置编码特征进行特征增强，得到对应所述第一位置编码特征的第一特征编码和对应所述第二位置编码特征的第二特征编码。

5.如权利要求1所述的视听语音识别方法，其特征在于，所述对所述第一特征编码与所述第二特征编码进行融合，得到融合特征编码，包括：

通过多层感知器，将所述第一特征编码与所述第二特征编码投影到预设维度空间进行融合，得到融合投影特征；

对所述融合投影特征进行批归一化与激活处理，得到融合特征编码。

6.如权利要求1所述的视听语音识别方法，其特征在于，所述对所述融合特征编码进行解码，得到解码特征，包括：

获取预设前缀序列；

通过预设嵌入层，提取所述前缀序列的嵌入特征，基于所述嵌入特征，对所述融合特征编码进行特征解码，得到解码特征。

7.一种基于端到端的视听语音识别装置，其特征在于，所述视听语音识别装置包括：

分离模块，用于将获取的原始视频中视觉流和音频流分离，得到图像序列信息与音频序列信息；

第一特征确定模块，用于基于三维卷积核构成的卷积层对所述图像序列信息进行卷积处理，得到图像卷积特征，使用全局平均池化层对所述图像卷积特征进行维度挤压，得到一维的第一特征；

第二特征确定模块，用于基于一维卷积核构成的卷积层对所述音频序列信息进行卷积处理，得到音频卷积特征，对所述音频卷积特征进行下采样，得到与所述第一特征的帧率相匹配的第二特征；

编码模块，用于分别对所述第一特征和所述第二特征进行编码，得到对应所述第一特征的第一特征编码和对应所述第二特征的第二特征编码；

解码模块，用于对所述第一特征编码与所述第二特征编码进行融合，得到融合特征编码，对所述融合特征编码进行解码，得到解码特征，所述解码特征用于对所述音频流进行修正，得到基于所述视觉流的语音识别结果。