[发明专利]混合声学模型训练及歌词时间戳生成方法、设备、介质

权利要求书

1.一种混合声学模型训练方法，其特征在于，包括：

获取初始的所述混合声学模型；

获取待训练音频及所述待训练音频对应的待训练音素，其中，所述待训练音频包括单语种音频和混合语种音频，且所述待训练音素中的每个音素均携带有该音素所属语种的标识信息；

基于所述待训练音频及所述待训练音素对初始的所述混合声学模型进行训练，得到所述混合声学模型；

所述混合声学模型用于，基于输入的待处理音频确定所述待处理音频对应的各个第一类音素信息，且每个所述第一类音素信息中携带有该音素所属语种的标识信息，获取所述待处理音频对应的歌词文本信息，基于预先生成的混合发音词典，确定所述歌词文本信息对应的各个第二类音素信息，且每个所述第二类音素信息中携带有该音素所属语种的标识信息，其中，所述混合发音词典由目标文本及所述目标文本对应的目标音素组成，所述目标文本包括单语种文本及混合语种文本，且所述目标音素中的每个音素均携带有该音素所属语种的标识信息。

2.根据权利要求1所述的方法，其特征在于，所述待训练音素中的中文音素为无声调的中文音素。

3.根据权利要求1所述的方法，其特征在于，所述基于所述待训练音频及所述待训练音素对初始的所述混合声学模型进行训练，得到所述混合声学模型，包括：

提取所述待训练音频的训练梅尔倒数谱系数；

基于所述训练梅尔倒数谱系数及所述待训练音素对初始的所述混合声学模型进行训练，得到所述混合声学模型。

4.一种歌词时间戳生成方法，其特征在于，包括：

获取待处理音频；

将所述待处理音频输入如权利要求1-3任意一项所述的混合声学模型，确定所述待处理音频对应的各个第一类音素信息，且每个所述第一类音素信息中携带有该音素所属语种的标识信息；

获取所述待处理音频对应的歌词文本信息；

基于预先生成的混合发音词典，确定所述歌词文本信息对应的各个第二类音素信息，且每个所述第二类音素信息中携带有该音素所属语种的标识信息，其中，所述混合发音词典由目标文本及所述目标文本对应的目标音素组成，所述目标文本包括单语种文本及混合语种文本，且所述目标音素中的每个音素均携带有该音素所属语种的标识信息；

确定所述第一类音素信息与所述第二类音素信息间的对应关系；

基于所述对应关系将所述歌词文本信息和所述待处理音频进行对齐，并基于所述待处理音频的时间信息，确定所述歌词文本信息的目标时间戳信息。

5.根据权利要求4所述的方法，其特征在于，所述第一类音素信息、所述第二类音素信息、所述待训练音素及所述目标音素中的中文音素均为无声调的中文音素。

6.根据权利要求4所述的方法，其特征在于，所述获取待处理音频，包括：

获取用户生成的所述待处理音频；

所述确定所述歌词文本信息的目标时间戳信息之后，还包括：

获取所述歌词文本信息的标准时间戳信息；

基于所述目标时间戳信息及所述标准时间戳信息对用户生成所述待处理音频的过程进行评价。

7.根据权利要求4至6任一项所述的方法，其特征在于，所述基于权利要求1-3任意一项所述混合声学模型，确定所述待处理音频对应的各个第一类音素信息，包括：

对所述待处理音频进行分帧，得到待处理帧音频；

提取所述待处理帧音频的目标梅尔倒频谱系数；

将所述目标梅尔倒频谱系数输入预先训练的所述混合声学模型；

获取所述混合声学模型输出的各个所述第一类音素信息。

8.根据权利要求7所述的方法，其特征在于，所述第一类音素信息、所述第二类音素信息、所述待训练音素及所述目标音素的数据结构包括：音素所属语种的标识信息、连接符、音素；其中，所述连接符用于连接所述音素所属语种的标识信息及所述音素。