[发明专利]混合声学模型训练及歌词时间戳生成方法、设备、介质

说明书

本申请公开了一种混合声学模型训练及歌词时间戳生成方法、设备及计算机可读存储介质，在混合声学模型训练方法中，先获取初始的混合声学模型；再获取待训练音频及待训练音频对应的待训练音素，因为待训练音频包括单语种音频和混合语种音频，且待训练音素中的每个音素均携带有该音素所属语种的标识信息，所以基于待训练音频及待训练音素对初始的混合声学模型进行训练的话，可以使得混合声学模型得到能够直接输出与输入音频对应的携带音素所属语种标识信息的音素信息，在此过程中，混合声学模型无需进行语种判断，也无需兼容单语种识别工具，能够精简混合声学模型的结构，且可以提高混合声学模型对音频进行多语种音素识别的效率。

技术领域

本申请涉及语言处理技术领域，更具体地说，涉及混合声学模型训练及歌词时间戳生成方法、设备、介质。

背景技术

当前，随着语言水平的提高，用户在交流等信息传输过程中，可能使用多种语言，比如使用中文和英文来进行信息传输，当用户按照此类信息传输方法与计算机等设备进行交互时，便需要计算机等设备具备多语言的处理能力，比如准确识别多语言音频的多语种音素等。在此过程中，计算机等设备可以对音频进行切分，得到音频片段，对音频片段进行语种判断，确定各个音频片段的语种，再应用与该语种对应的单语种识别工具对对应的音频片段进行识别，以得到该音频片段包含的音素内容。并且，为了降低方法的操作难度，可以借助神经网络搭建的混合声学模型来对音频的音素内容进行识别，然而，该混合声学模型在工作过程中仍需执行语种判断等操作，且需要兼容单语种识别工具，使得混合声学模型的结构复杂，且混合声学模型的训练需要用到音频、音频语种、及音素信息等，导致音频的多语种音素识别效率低。

综上所述，如何快速对音频进行多语种音素识别是目前本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种混合声学模型训练方法，其能在一定程度上解决如何快速对音频进行多语种音素识别的技术问题。本申请还提供了一种歌词时间戳生成方法、电子设备及计算机可读存储介质。

为了实现上述目的，本申请提供如下技术方案：

第一方面，本申请提供一种混合声学模型训练方法，包括：

获取初始的所述混合声学模型；

获取待训练音频及所述待训练音频对应的待训练音素，其中，所述待训练音频包括单语种音频和混合语种音频，且所述待训练音素中的每个音素均携带有该音素所属语种的标识信息；

基于所述待训练音频及所述待训练音素对初始的所述混合声学模型进行训练，得到所述混合声学模型。

可选的，所述待训练音素中的中文音素为无声调的中文音素。

可选的，所述基于所述待训练音频及所述待训练音素对初始的所述混合声学模型进行训练，得到所述混合声学模型，包括：

提取所述待训练音频的训练梅尔倒数谱系数；

基于所述训练梅尔倒数谱系数及所述待训练音素对初始的所述混合声学模型进行训练，得到所述混合声学模型。

第二方面，本申请提供一种歌词时间戳生成方法，包括：

获取待处理音频；

将所述待处理音频输入如上任意所述的混合声学模型，确定所述待处理音频对应的各个第一类音素信息，且每个所述第一类音素信息中携带有该音素所属语种的标识信息；

获取所述待处理音频对应的歌词文本信息；

基于预先生成的混合发音词典，确定所述歌词文本信息对应的各个第二类音素信息，且每个所述第二类音素信息中携带有该音素所属语种的标识信息，其中，所述混合发音词典由目标文本及所述目标文本对应的目标音素组成，所述目标文本包括单语种文本及混合语种文本，且所述目标音素中的每个音素均携带有该音素所属语种的标识信息；