[发明专利]一种信息处理方法、装置、计算机设备及存储介质在审
申请号: | 202110113695.4 | 申请日: | 2021-01-27 |
公开(公告)号: | CN112837401A | 公开(公告)日: | 2021-05-25 |
发明(设计)人: | 谌国风;卢德辉 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
主分类号: | G06T13/80 | 分类号: | G06T13/80;G06F40/289;G06F40/30;G06F40/211;G10L15/26;G10L15/04 |
代理公司: | 深圳紫藤知识产权代理有限公司 44570 | 代理人: | 远明 |
地址: | 310052 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 信息处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种信息处理方法,其特征在于,所述方法包括:
获取配音文本对应的候选音素,得到候选音素集合;
获取与所述配音文本关联的配音音频,并将所述候选音素集合中的候选音素与所述配音音频进行对齐,得到对齐结果;
基于所述对齐结果从所述候选音素集合中确定目标音素;
根据所述目标音素和所述配音音频的播放时间戳,生成所述配音文本的口型图像序列。
2.根据权利要求1所述的方法,其特征在于,所述将所述候选音素集合中的候选音素与所述配音音频进行对齐,得到对齐结果,包括:
获取所述配音音频的音素序列;
从所述候选音素集合中选取对应的候选音素,构建候选音素序列;
确定所述音素序列与所述候选音素序列的对齐率。
3.根据权利要求2所述的方法,其特征在于,所述确定所述音素序列与所述候选音素序列的对齐率,包括:
获取所述配音音频的播放时间戳中时间点个数,得到第一数量;
将所述音素序列与所述候选音素序列进行匹配;
确定所述候选音素序列中与所述音素序列匹配成功的音素个数,得到第二数量;
计算所述第二数量与所述第一数量的比值,得到所述对齐率。
4.根据权利要求2所述的方法,其特征在于,所述从所述候选音素集合中选取对应的候选音素,构建候选音素序列,包括:
对所述配音文本进行分词处理,得到所述配音文本中的单词;
确定所述单词对应的音素组合;
获取所述单词在所述配音文本中的位置;
根据所述位置对所述音素组合进行排序,得到所述候选音素序列。
5.根据权利要求4所述的方法,其特征在于,所述确定所述单词对应的音素组合,包括:
从词表数据库中获取所述单词对应的发音标识,所述词表数据库包括多个样本单词和多个发音标识;
对所述发音标识进行转换处理,得到所述单词对应的音素组合。
6.根据权利要求2所述的方法,其特征在于,所述根据所述目标音素和所述配音音频的播放时间戳,生成所述配音文本的口型图像序列,包括:
从所述播放时间戳中获取所述音素序列中每一音素的播放时间点;
基于所述音素的播放时间点确定所述目标音素的播放时间点;
从预设口型图像帧集合中,获取所述目标音素对应的口型图像帧;
根据所述目标音素的播放时间点对所述目标音素对应的口型图像帧进行排列,得到所述口型图像序列。
7.根据权利要求1至6任一项所述的方法,其特征在于,在所述生成所述配音文本的口型图像序列之后,还包括:
检测所述口型图像序列中最后一帧口型图像帧是否为预设类型的口型图像帧;
若否,则基于所述口型图像序列生成第一目标口型图像帧,所述第一目标口型图像帧的口型类型为所述预设类型;
将所述第一目标口型图像帧添加至所述最后一帧口型图像帧之后。
8.根据权利要求1至6任一项所述的方法,其特征在于,在所述生成所述配音文本的口型图像序列之后,还包括:
获取所述口型图像序列中每一口型图像帧的口型参数;
计算相邻两帧口型图像帧的口型参数变化值;
若存在相邻两帧口型图像帧的口型参数变化值大于预设阈值,则根据所述相邻两帧口型图像帧生成第二目标口型图像帧;
将所述第二目标口型图像帧添加至所述相邻两帧口型图像帧之间。
9.一种信息处理装置,其特征在于,所述装置包括:
获取单元,用于获取配音文本对应的候选音素,得到候选音素集合;
对齐单元,用于获取与所述配音文本关联的配音音频,并将所述候选音素集合中的候选音素与所述配音音频进行对齐,得到对齐结果;
确定单元,用于基于所述对齐结果从所述候选音素集合中确定目标音素;
第一生成单元,用于根据所述目标音素和所述配音音频的播放时间戳,生成所述配音文本的口型图像序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110113695.4/1.html,转载请声明来源钻瓜专利网。