[发明专利]语音识别及模型训练方法与装置

说明书

本申请公开了语音识别及模型训练方法与装置，涉及语音识别领域，方法包括：获取待识别语句的语音信息、第一历史识别文本信息和第二历史识别文本信息；根据语音信息进行语音识别得到第一候选识别结果；根据语音信息、第一历史识别文本信息和第二历史识别文本信息进行语音识别，得到第二候选识别结果；对第一候选识别结果进行主题分类得到主题分类结果；根据第一候选识别结果、主题分类结果和第二候选识别结果对第一候选识别结果进行重排序，根据重排序结果从第一候选识别结果中确定目标识别结果。本申请通过引入角色偏好和主题连贯性的对话特征，对识别结果重排序，能够提升最终识别结果的准确性。

技术领域

本申请涉及语音识别领域，具体涉及语音识别及模型训练方法与装置。

背景技术

人工智能(AI，Artificial Intelligence)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理、机器学习、深度学习等几大方向。随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

近年来，随着深度学习技术的发展，端到端(End-to-end)语音识别的性能有了很大的提升，对于常见的朗读场景，端到端语音识别已经超越人类的识别性能。目前主流的端到端语音识别模型为基于卷积神经网络(Convolutional Neural Networks,CNN)和自注意力机制(Self-attention)的Conformer(Convolution-augmented Transformer，卷积增强的Transformer模型)架构，Conformer架构能够同时建模语音的局部信息和全局信息，有较强的对单句语音的识别能力。

不同于普通的朗读场景，对话语音中还具有说话人轮转、局部连贯性、话题相关性等特点，如何根据对话语音的特点进行更针对性的建模，以提升对话语音识别效果还亟待解决。

发明内容

为了提升对话语音的识别准确性，本申请提供了语音识别及模型训练方法与装置。所述技术方案如下：

第一方面，本申请提供了一种语音识别方法，所述方法包括：

获取当前对话中待识别语句的语音信息、第一历史识别文本信息和第二历史识别文本信息，所述第一历史识别文本信息为所述当前对话中与所述待识别语句对应的语音输出对象的历史识别文本信息，所述第二历史识别文本信息为所述当前对话的全量历史识别文本信息；

将所述语音信息输入语音识别模型的第一语音识别模块，进行语音识别，得到第一候选识别结果；

将所述语音信息、所述第一历史识别文本信息和所述第二历史识别文本信息输入所述语音识别模型的第二语音识别模块，进行语音识别，得到第二候选识别结果；

将所述第一候选识别结果输入所述语音识别模型的主题分类模块，进行主题分类，得到所述第一候选识别结果的主题分类结果；

根据所述第一候选识别结果、所述主题分类结果和所述第二候选识别结果，对所述第一候选识别结果进行重排序，并根据得到的重排序结果从所述第一候选识别结果中确定所述待识别语句的目标识别结果。

第二方面，本申请提供了一种语音识别模型的训练方法，语音识别模型包括第一语音识别模块和第二语音识别模块，所述方法包括：

获取对话样本中待识别语句样本的样本语音信息以及所述待识别语句样本的样本文本信息；

将所述样本语音信息输入所述第一语音识别模块，进行语音识别，得到第一样本识别结果；

将所述样本语音信息和所述样本文本信息输入所述第二语音识别模块，进行语音识别，得到第二样本识别结果；

根据所述第一样本识别结果、所述第二样本识别结果和所述样本文本信息，对所述语音识别模型进行训练。