[发明专利]语音识别方法、装置及相关系统和设备

说明书

本申请公开了语音识别方法、装置、相关系统及设备。其中，方法包括：确定多语种混合语音数据的各个数据帧；针对各个数据帧，通过语音识别模型包括的语种识别子网络，确定所述数据帧的语种信息；通过语音识别模型包括的与所述语种信息对应的语音识别子网络,确定所述数据帧的语音文本信息；根据所述数据帧的语音文本信息，确定与所述语音数据对应的文本序列。采用这种处理方式，使得在帧级别的语音数据上联合语种识别和语音识别，以实现多语种混合语音的识别，这样可避免将语种识别和语音识别环节孤立所导致的错误传递问题；因此，可以有效提升多语种混合语音识别的准确度。

技术领域

本申请涉及数据处理技术领域，具体涉及语音交互系统、方法和装置，语音转写系统、方法和装置，语音识别方法和装置，终端设备，点餐设备，智能音箱，以及电子设备。

背景技术

随着人工智能时代的到来，一个显著的变化是越来越多的智能物联网(IoT)设备出现在日常生活中，如智能音箱、智能电视、地铁语音购票机、点餐机等等。智能IoT设备的出现极大地方便人们的日常生活，同时也提出一个问题：如何更加便捷地和这些设备进行交互。语音交互是人和人之间最便捷的交互方式，所以关于如何和IoT设备进行交互，也可选择语音交互。

对于一个智能的语音交互系统，可以通过语音识别，语义理解，语音合成等模块来完成用语音指令控制智能设备，从而可以替代传统的手动操作。在这个链路中，语音识别是核心技术模块之一，其功能是将人的语音转化成设备可以识别的文本。关于语音识别的研究由来已久，但是直到2009年深度神经网络在语音识别中的应用，才使得语音识别系统的性能获得极大提升，开始慢慢走向实用化。

目前的语音识别系统主要是针对特定语种的识别系统，如中文语音识别，英文语音识别系统等。对于一个智能交互系统，通常需要部署不同语种的语音识别系统，以支持多个语种的语音识别。由于很多时候用户说某个语种是没有先验的，因此智能交互系统通常采用联合“语种识别和多语种语音识别”的方式进行多语种语音识别。该系统包括彼此间相互独立的语种识别模块和语音识别模型，对于待识别的用户语音，首先要通过语种识别模块，判断该语音为何种语种的语音，然后再通过相应语种的语音识别模块对该段语音进行识别。例如，对于同一个聊天机器人或智能音箱，用户A采用中文与该设备进行语音交互，用户B采用英文与该设备进行语音交互，用户C采用法文与该设备进行语音交互，多语种语音识别系统首先识别用户语音为哪个语种，如果为中文，则对于该用户的所有语音都采用中文语音识别模块进行识别；如果为英文，则对于该用户的所有语音都采用英文语音识别模块进行识别。

然而，在实现本发明过程中，发明人发现该技术方案至少存在如下问题：1)对于多语种语音识别问题，由于上述方案中的语种识别模块和语音识别模块是两个孤立的模块，也就是说，先从“整体”上对待识别语音进行语种识别，再通过“一个”相应语种的语音识别模型对所有语音片段进行语音识别，因此存在很明显的错误传导，如果前端语种识别模块发生误判，那么后端语音识别模块将完全不起作用，例如在中外宾交谈场景中，采集的语音数据有时为中文，有时为英文，不同语种的语音交杂的一起，现有方案无法正确识别哪些语音为中文，哪些语音为英文，进而无法正确识别语音；2)很多时候用户可能会在一句话中使用多个语种，如一句话里夹杂中文和英文(如今天我很happy)，这类问题称之为混读语音识别问题，由于上述方案只能判断这一句话属于哪个语种，因此无论判断为中文还是英文，均无法正确识别这类多语种混读的语音，从而影响语音识别效果。综上所述，现有技术存在无法正确识别多语种混合语音的问题。

发明内容

本申请提供语音交互系统，以解决现有技术存在的无法正确识别多语种混合语音的问题。本申请另外提供语音转写系统、方法和装置，语音识别方法和装置，终端设备，点餐设备，智能音箱，以及电子设备。

本申请提供一种语音交互系统，包括：