[发明专利]一种在线端对端语音转写方法及系统

说明书

本发明提供一种在线端对端语音转写方法及系统，在一个实施例中，对所述音频文件提取声学特征；对所述声学特征进行非线性变换和降采样并输出第一特征序列；将第一特征序列进行分块，依次将每块特征序列输入到编码器中并输出多组第二特征序列；对所述第二特征序列进行建模，输出多组汉字序列并对所述多组汉字序列进行打分；将分数最高的汉字序列作为最终转写结果。通过改进编码器结构，让其处理分块的音频；通过改进解码器的结构，让其在截断音频的基础上输出汉字。使得在输入音频的同时转写文本。

技术领域

本发明涉及语音转写技术领域,尤其涉及一种在线端对端语音转写方法及系统。

背景技术

语音转写技术是将输入的音频转换为文本的重要技术，也是人机交互领域的一个重要研究内容。

传统的语音转写技术包含声学模型、发音字典和语言模型，并且借助加权有限状态转换机构建复杂的解码网络，将声学特征序列转换为文本序列。当前新兴的端对端语言转写技术采用单个神经网络模型，直接将声学特征转换为文本序列，极大地简化了语音转写过程中的解码流程。但是目前的高性能的端对端语音转写必须等待完整的音频输入后，才能开始转换为文本序列，限制了端对端语音转写技术应用于实时转写的在线任务。

发明内容

有鉴于此，本申请实施例提供了一种在线端对端语音转写方法及系统，克服了现有的端对端语音转写技术不能应用于实时转写在线任务的问题，通过改进基于编码器和解码器结构的端对端语音转写技术，使得编码器和解码器不再依赖完整的音频就能开始转换为文本序列。

第一方面，本发明申请提供了一种在线端对端语音转写方法包括：

获取音频文件，对所述音频文件提取声学特征；

对所述声学特征进行非线性变换和降采样并输出第一特征序列；

将第一特征序列进行分块，依次将每块特征序列输入到编码器中并输出多组第二特征序列；

对所述第二特征序列进行建模，输出多组汉字序列并对所述多组汉字序列进行打分；

将分数最高的汉字序列作为最终转写结果。

可选地，所述获取音频文件，对所述音频文件提取声学特征包括：

对获取的音频文件提取对数梅尔谱特征作为帧级别声学特征。

可选地，所述编码器为基于自注意力机制的在线编码器；

所述编码器由12个相同的子模块堆叠组成，每个子模块依次由自注意力网络、残差网络、层规范化网络、全连接网络、残差网络和层规范化网络堆叠组成。

可选地，所述对所述第二特征序列进行处理，输出多组汉字序列并对所述多组汉字序列进行打分包括：

构建基于自注意力机制的在线解码器，所述解码器对第二特征序列进行建模，并对输出的多组汉字序列进行打分；

所述解码器由6个相同的子模块堆叠组成，其中每个子模块为一层自注意力网络、一层残差网络、一层层规范化网络、一层截断注意力网络、一层残差网络、一层层规范化网络、一层全连接网络、一层残差网络和一层层规范化网络。

可选地，所述解码器对第二特征序列进行建模，并对输出的多组汉字序列进行打分包括：

将多组第二特征序列依次通过所述解码器的6个子模块，将最后一个子模块的层规范网络的输出特征输入汉字分类器；

所述汉字分类器输出多组汉字以及每组汉字对应的分数；

取排名前十的汉字分别输入解码器输出下一个汉字，直到解码器输出终止符为止。

第二方面，本发明申请提供了一种在线端对端语音转写系统包括：