[发明专利]一种模拟虚拟人物说话的方法及装置

说明书

本发明实施例公开了一种模拟虚拟人物说话的方法及装置，方法包括以下步骤：根据多个音素分类，制作与每个音素分类对应的口型，得到多个基础口型；输入音频流，提取音频流的音频帧，识别音频帧的音素；从多个音素分类中，确定与音频帧的音素对应的音素分类，选择与之对应的基础口型；将选择的基础口型合成音频帧的对应口型。将真人口型通过音素分类，整理为14个基本口型，可以让计算机通过音素识别，驱动虚拟数字人口型同步。通过虚拟数字人口型专利，可以快速准确的实现虚拟数字人的语音口型同步。制定了口型标准化口型制作方案，极大的提高了虚拟数字人口型制作效率和口型的质量。让虚拟数字人更加接近于真人，极大的提升了用户的体验。

技术领域

本发明实施例涉及语言识别处理领域，具体涉及一种模拟虚拟人物说话的方法及装置。

背景技术

虚拟数字人口型当前市场主要有以下三种解决方案：

(1)固定虚拟数字人口型动画：不管虚拟角色说啥，口型都是固定的，做不到语音口型同步；

(2)音量驱动虚拟数字人口型动画：根据虚拟角色说话的音量大小，来控制虚拟角色的口型大小，非常不准确，做不到语音口型同步；

(3)真人图片序列帧动画：科大讯飞的虚拟数字人小晴使用的方案，通过识别语音调用图片序列帧动画来实现语音口型同步，该解决方案局限性大，需要拍摄大量的真人素材，很难应用于市场。

发明内容

为此，本发明实施例提供一种模拟虚拟人物说话的方法及装置，以解决现有技术中市面上的音量识别和固定口型，只适用于卡通角色，无法实现语音口型同步的问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：

在本发明的实施方式的一个方面中，提供了一种模拟虚拟人物说话的方法，所述方法包括：

根据多个音素分类，制作与每个所述音素分类对应的口型，得到多个基础口型；

输入音频流，提取所述音频流的音频帧，识别所述音频帧的音素；

从所述多个音素分类中，确定与所述音频帧的音素对应的所述音素分类，选择与之对应的所述基础口型；

将选择的所述基础口型合成所述音频帧的对应口型。

进一步地，所述多个音素分类包括：

(p，b，m)、(f，v)、(th)、(t，d)、(k，g)、(tS，dZ，S)、(s，z)、(n，l)、(r)、(A)、(e)、(ih)、(oh)、(ou)。

进一步地，在所述音频流中，提取2.5ms至60ms为单位的数据量为一帧音频。

进一步地，所述方法还包括：

制作虚拟人物模型，根据所述音频帧的对应口型，生成所述虚拟人物的口型。

进一步地，所述多个基础口型还包括：嘴闭合口型和通用口型。

进一步地，当从所述音频帧中识别的音素不在所述多个音素分类中时，选择所述通用口型作为基础口型；

当从所述音频帧中未识别出音素时，选择所述嘴闭合口型作为基础口型。

在本发明的实施方式的一个方面中，还提供了一种模拟虚拟人物说话的装置，所述装置包括：

基础口型生成单元，用于根据多个音素分类，制作与每个所述音素分类对应的口型，得到多个基础口型；

音素提取单元，用于输入音频流，提取所述音频流的音频帧，识别所述音频帧的音素；

基础口型确定单元，用于从所述多个音素分类中，确定与所述音频帧的音素对应的所述音素分类，选择与之对应的所述基础口型；