[发明专利]语音识别方法、装置及相关系统和设备

权利要求书

1.一种语音交互系统，其特征在于，包括：

服务端，用于接收客户端发送的针对多语种混合语音数据的语音交互请求；针对所述语音数据的各个数据帧，通过语音识别模型包括的语种识别子网络，确定所述数据帧的语种信息；通过语音识别模型包括的与所述语种信息对应的语音识别子网络,确定所述数据帧的语音文本信息；根据各个数据帧的语音文本信息，确定语音回复信息；向客户端回送所述语音回复信息；

客户端，用于确定所述语音数据，向所述服务端发送所述语音交互请求；接收所述服务端回送的所述语音回复信息，展示所述语音回复信息。

2.一种语音交互方法，其特征在于，包括：

接收客户端发送的针对多语种混合语音数据的语音交互请求；

针对所述语音数据的各个数据帧，通过语音识别模型包括的语种识别子网络，确定所述数据帧的语种信息；以及，通过语音识别模型包括的与所述语种信息对应的语音识别子网络,确定所述数据帧的语音文本信息；

根据各个数据帧的语音文本信息，确定语音回复信息；

向客户端回送所述语音回复信息。

3.根据权利要求2所述的方法，其特征在于，还包括：

从语音数据帧与语种标注信息间的第一对应关系集中学习得到所述语种识别子网络；

针对各个语种，从所述语种的语音数据与语音文本标注信息间的第二对应关系集中学习得到与所述语种对应的语音识别子网络。

4.根据权利要求3所述的方法，其特征在于，还包括：

将多个混合语种语料划分为多个语音数据帧；

根据所述多个语音数据帧，确定所述第一对应关系集。

5.根据权利要求3所述的方法，其特征在于，

所述通过语音识别模型包括的语种识别子网络，确定所述数据帧的语种信息，包括：

通过所述语种识别子网络，确定所述数据帧的语种概率；

根据所述语种概率和各个语种的语种概率阈值，确定所述数据帧的语种信息。

6.根据权利要求5所述的方法，其特征在于，还包括：

确定混合语种的语音数据与语音文本标注信息间的第三对应关系集；

根据所述第三对应关系集，调整所述语种识别子网络和各个语音识别子网络的网络参数、及所述语种概率阈值，使得通过调整后的语音识别模型预测得到的第四对应关系集与所述第三对应关系集间的差距达到模型优化目标；所述第四对应关系包括混合语种的语音数据与语音文本预测信息间的对应关系。

7.根据权利要求2所述的方法，其特征在于，

所述多语种混合语音数据包括中文语音数据和英文语音数据；

所述语音识别模型包括中文语音识别子网络和英文语音识别子网络；

所述通过语音识别模型包括的与所述语种信息对应的语音识别子网络,确定所述数据帧的语音文本信息，包括：

若所述语种信息为中文，则通过中文语音识别子网络,确定所述数据帧的语音文本信息；

若所述语种信息为英文，则通过英文语音识别子网络,确定所述数据帧的语音文本信息。

8.根据权利要求2所述的方法，其特征在于，

所述多语种混合语音数据包括三个语种以上的多语种混合语音数据；

所述语音识别模型包括三个语种以上的语音识别子网络。

9.根据权利要求2所述的方法，其特征在于，

所述语音交互请求携带目标语种设置信息；

通过与所述目标语种的对应的语音识别子网络,处理所述语音交互请求。

10.根据权利要求2所述的方法，其特征在于，

接收客户端发送的针对目标用户的语种设置请求；

根据所述语种设置请求携带的目标语种信息，存储目标用户与目标语种之间的对应关系；

若接收到所述目标用户的语音交互请求，则根据所述对应关系，确定与目标用户对应的多个目标语种，并通过与所述目标语种的对应的语音识别子网络,处理所述目标用户的语音交互请求。