[发明专利]语音信息处理方法、装置和电子设备

说明书

本公开实施例公开了语音信息处理方法、装置和电子设备。该方法的一具体实施方式包括：获取至少一帧待翻译语音信息的第一声学特征信息；在流式语音识别下，确定第一声学特征信息是否对应完整语义；响应于确定结果为是，对所述第一声学特征信息执行翻译操作，得到对应的翻译结果，提高了翻译结果的准确度，降低了翻译结果的输出延迟。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种语音信息处理方法、装置和电子设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

语音翻译(Speech Translation,ST)旨在将源语言语音翻译成目标语言文本，广泛应用于会议演讲、商务会议、跨境客服、海外旅行等各种场景。

传统的语音翻译模型通常先利用语音识别模型将语音转换为源语言的文字，再利用机器翻译模型将识别后的源语言文字翻译为目标语言。

近来，端到端翻译方法应用到了非流式语音翻译和流式翻译中。发明人发现在将端到端翻译方法应用到流式翻译的一些方案，是按照固定的时间对源端音频进行切片，每个语言切片视为一个翻译的口令，并应用于流式语音翻译。但真实环境中，语音长度往往是变长的，导致端到端语音翻译要么引入延迟、要么引起翻译错误。

发明内容

提供该公开内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该公开内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开实施例提供了一种语音信息处理方法、装置和电子设备。

第一方面，本公开实施例提供了一种语音信息处理方法，包括：获取至少一帧待翻译语音信息的第一声学特征信息；在流式语音识别下，确定第一声学特征信息是否对应完整语义；响应于确定结果为是，对所述第一声学特征信息执行翻译操作，得到对应的翻译结果。

第二方面，本公开实施例提供了一种语音信息处理模型，包括：声学模型、语义识别模型和翻译模型，其中，所述声学模型用于：在流式语音识别模式下，接收至少一帧待翻译语音信息，并提取所述至少一帧待翻译语音信息第一声学特征信息；所述语义识别模型用于：在流式语音识别模式下，接收所述至少一帧第一声学特征信息，并确定所述至少一帧第一声学特征信息是否对应完整语义；所述翻译模型用于在流式语音识别模式下确定所述第一声学特征信息的翻译结果。

第三方面，本公开实施例提供了一种语音信息处理模型的训练法法，应用于第二方面所述的语音信息处理模型，所述语音信息处理模型包括声学模型、语义识别模型和翻译模型，该方法包括：获取训练样本集，所述训练样本集包括多个训练样本对，训练样本对包括第一语言的原始语音信息和第二语言的所述原始语音信息对应的翻译结果；将训练样本对中的原始语音信息输入到初始训练后的声学模型，将所述翻译结果作为所述翻译模型的输出，对所述语音信息处理模型进行训练，得到的训练后语音信息处理模型。

第四方面，本公开实施例提供了一种语音信息处理装置，包括：获取单元，用于获取待翻译语音信息的至少一帧第一声学特征信息；确定单元，用于在流式语音识别下，确定所述至少一帧第一声学特征信息是否满足预设翻译条件；翻译单元，用于响应于确定结果为是，对所述第一声学特征信息执行翻译操作，得到对应的翻译结果。

第五方面，本公开实施例提供了一种语音信息处理模型的训练装置，包括：获取单元，用于获取待翻译语音信息的至少一帧第一声学特征信息；确定单元，用于在流式语音识别下，确定所述至少一帧第一声学特征信息是否满足预设翻译条件；翻译单元，用于响应于确定结果为是，对所述第一声学特征信息执行翻译操作，得到对应的翻译结果。