[发明专利]虚拟对象的处理方法及装置

权利要求书

1.一种虚拟对象的处理方法，其特征在于，包括：

获取待处理的虚拟对象、表情参数以及姿态参数，其中，所述表情参数是通过真实面部表情提取得到的，所述姿态参数是通过真实面部姿态提取得到的；

将所述虚拟对象以及所述表情参数输入至预先训练好的表情驱动模型，以通过所述表情参数对所述虚拟对象进行表情转换，得到第一目标虚拟对象；

将所述第一目标虚拟对象以及所述姿态参数，输入至预先训练好的姿态驱动模型，以通过所述姿态参数对所述第一目标虚拟对象进行姿态调整，得到第二目标虚拟对象。

2.如权利要求1所述的虚拟对象的处理方法，其特征在于，所述表情驱动模型的生成方式包括：

获取第一训练样本，其中，所述第一训练样本包括没有目标表情的第一初始虚拟对象、表示所述目标表情的表情参数和具有所述目标表情的第二初始虚拟对象；

基于所述第一初始虚拟对象和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征，其中，所述第一面部光流表征所述目标表情作用于所述第一初始虚拟对象时所引起的像素移动的情况；

基于所述第一面部光流，对所述第一初始虚拟对象进行网格采样，得到模拟所述目标表情的第一预估图像；

基于所述第一图像特征，对所述第一预估图像进行修正，得到模拟所述目标表情的第二预估图像；

基于所述第二预估图像和所述第二初始虚拟对象计算表情驱动损失函数的值；

基于所述表情驱动损失函数的值更新所述第一卷积神经网络的参数，得到训练好的表情驱动模型。

3.如权利要求2所述的虚拟对象的处理方法，其特征在于，

所述第二初始虚拟对象包括第一类型图像和第二类型图像，所述第一类型图像是通过将所述第一初始虚拟对象以及所述表情参数输入第一图像模型得到的，所述第二类型图像是通过将所述第一初始虚拟对象以及所述表情参数输入第二图像模型得到的，所述第一类型图像和所述第二类型图像的面部干净程度不同。

4.如权利要求2所述的虚拟对象的处理方法，其特征在于，还包括：

从所述第一初始虚拟对象的中心位置开始，裁剪出预设范围内的图像，其中，所述预设范围是根据所述目标表情作用于所述第一初始虚拟对象时所引起的像素移动的范围来确定的；

所述基于所述第一初始虚拟对象和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征，包括：

基于裁剪出的所述预设范围内的图像和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征。

5.如权利要求2所述的虚拟对象的处理方法，其特征在于，所述第一卷积神经网络包括多个卷积层，所述基于所述第一初始虚拟对象和所述表情参数，通过第一卷积神经网络，得到第一面部光流以及第一图像特征，包括：

基于所述第一初始虚拟对象和所述表情参数，在所述第一卷积神经网络的第一个卷积层进行下采样，并基于下采样得到的数据，通过后续卷积层，得到第一面部光流以及第一图像特征。

6.如权利要求2所述的虚拟对象的处理方法，其特征在于，所述第一卷积神经网络的每个卷积层的通道数为预设数目，所述预设数目表示所述每个卷积层在运行时所对应的通道的下限数目。

7.一种虚拟对象的处理装置，其特征在于，包括：

获取单元，被配置为：获取待处理的虚拟对象、表情参数以及姿态参数，其中，所述表情参数是通过真实面部表情提取得到的，所述姿态参数是通过真实面部姿态提取得到的；

表情驱动单元，被配置为：将所述虚拟对象以及所述表情参数，输入至预先训练好的表情驱动模型，以通过所述表情参数对所述虚拟对象进行表情转换，得到第一目标虚拟对象；

姿态驱动单元，被配置为：将所述第一目标虚拟对象以及所述姿态参数，输入至预先训练好的姿态驱动模型，以通过所述姿态参数对所述第一目标虚拟对象进行姿态调整，得到第二目标虚拟对象。