[发明专利]个性化虚拟人的生成方法及系统

权利要求书

1.一种个性化虚拟人的生成方法，其特征在于包括如下步骤：

基于目标群体的文本信息，预先建立通用虚拟人模型Fm，其中，m为所述通用虚拟人模型的数量，m∈[1，m]；

基于目标群体的声音信息，预先建立通用声音模型Vn，其中，n为所述通用声音模型的数量，n∈[1，n]；

在所述通用虚拟人模型中，获取用户偏好的通用虚拟人模型；在所述通用声音模型中，获取用户偏好的通用声音模型；

获取用户的偏好面孔信息和偏好音乐信息；

基于用户偏好的通用虚拟人模型与用户的偏好面孔信息，生成个性化面孔模型；基于用户偏好的通用声音模型与用户的偏好音乐信息，生成个性化声音模型；

根据所述个性化面孔模型与所述个性化声音模型，融合生成个性化虚拟人。

2.如权利要求1所述的生成方法，其特征在于：

所述偏好面孔信息包括偏好面孔的图片或视频，以及偏好表情的图片或视频；

所述偏好音乐信息包括偏好音乐片段或偏好语音片段。

3.如权利要求2所述的生成方法，其特征在于基于所述用户偏好的通用虚拟人模型与所述用户的偏好面孔信息，生成个性化面孔模型，具体包括如下步骤：

获取所述用户提供的偏好面孔的图片或视频；

将所述偏好面孔的图片或视频输入平均脸算法，与符合用户偏好的通用虚拟人按照预设比例进行特征融合，以生成个性化面孔模型。

4.如权利要求3所述的生成方法，其特征在于还包括：

获取所述用户提供的偏好表情的图片或视频；

将所述偏好表情的图片或视频与所述个性化虚拟人面孔进行特征融合，以生成多表情的个性化面孔模型。

5.如权利要求3所述的生成方法，其特征在于所述特征融合具体包括如下步骤：

在所述偏好面孔的图片或视频中提取预设数量的特征点；

将原始图片坐标系中特征点的位置通过相似变换转换到输出坐标系；

计算输出图像坐标中所有转换后的地标的平均值；

三角剖分目的网格化图像脸部区域，得到由预设数量个点数组中的点索引组成的三角形列表；

对输入图像中三角形的三个顶点和三角剖分后的平均特征点的相应点进行仿射变换；

将所有变形后图像的像素强度相加并除以图像数量，以进行面部平均化。

6.如权利要求2所述的生成方法，其特征在于基于所述用户偏好的通用声音模型与所述用户的偏好音乐信息，生成个性化声音模型，具体包括如下步骤：

获取所述用户提供的偏好音乐片段或偏好语音片段；

通过Adaspeech模型将所述偏好音乐片段或偏好语音片段与所述用户偏好的通用声音模型进行语音合成，以生成个性化声音模型。

7.如权利要求1所述的生成方法，其特征在于根据所述个性化面孔模型与所述个性化声音模型，融合生成个性化虚拟人，具体包括如下步骤：

采用AMM算法模型从所述个性化面孔模型中提取人脸表情相关参数，并建立第一数据集；

采用CTC模型对所述个性化声音模型进行音位信息的标定，以获取语音相关参数，并建立第二数据集；

采用滑动窗口预测器和深度神经网络算法对所述第一数据集和所述第二数据集进行融合训练，以形成个性化虚拟人。

8.如权利要求7所述的生成方法，其特征在于所述融合训练过程包括以下步骤：

将所述第二数据集按照预定长度作为滑动窗口，划分为连续重叠的子序列；

将每个滑动窗口的所述子序列作为输入，传递给前馈神经网络，输出对应长度的表情参数序列；

采用逐帧平均，融合得到每帧对应的表情参数，形成语音-表情参数集；

将所获取的语音-表情参数集与个性化面孔模型进行融合使用，输出面孔-声音融合后的个性化虚拟人。