[发明专利]三维虚拟角色图像生成方法及装置有效
申请号: | 202110897095.1 | 申请日: | 2021-08-05 |
公开(公告)号: | CN113592988B | 公开(公告)日: | 2023-06-30 |
发明(设计)人: | 梁彦军 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06T13/40 | 分类号: | G06T13/40;G06V40/16;G06V10/46;G06V10/77;G06V10/82;G06N3/0464;G06N3/08 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 卢万腾 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 三维 虚拟 角色 图像 生成 方法 装置 | ||
1.一种三维虚拟角色图像生成方法,其特征在于,包括:
使用预设的虚拟角色图像对目标人物图像的脸部区域进行替换,生成目标人物的第一二维虚拟角色图像;
获取所述目标人物图像对应的第一几何数据和纹理数据;
根据所述目标人物的二维虚拟角色图像对所述第一几何数据进行修正,得到虚拟几何数据;
将所述目标人物图像对应的纹理数据输入生成式对抗网络的生成器,生成虚拟纹理数据;
根据所述虚拟几何数据与所述虚拟纹理数据,生成待渲染的三维虚拟角色,并将所述三维虚拟角色转换为第二二维虚拟角色图像;
将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器,得到所述判别器输出的判别结果,若所述判别结果为真,则基于所述虚拟几何数据和所述虚拟纹理数据,生成所述目标人物对应的三维虚拟角色图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标人物的二维虚拟角色图像对所述第一几何数据进行修正,得到虚拟几何数据,包括:
从所述目标人物的第一二维虚拟角色图像中提取第二几何数据;
从所述第一几何数据中提取与所述第二几何数据对应的第三几何数据,并对所述第三几何数据进行二维数据转换处理;
利用所述第二几何数据和二维数据处理后的第三几何数据,对所述第一几何数据进行修正,得到虚拟几何数据。
3.根据权利要求1所述的方法,其特征在于,所述将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器,得到所述判别器输出的判别结果之后,所述方法还包括:
若所述判别结果为假,则通过所述生成器生成与所述虚拟纹理数据不同的衍生虚拟纹理数据;
根据所述衍生虚拟纹理数据与所述虚拟几何数据,生成衍生三维虚拟角色图像,并将所述衍生三维虚拟角色图像转换为衍生二维虚拟角色图像;
将所述衍生二维虚拟角色图像与所述第一二维虚拟角色图像在所述判别器中进行对比,直至所述判别结果为真。
4.根据权利要求1所述的方法,其特征在于,所述将所述第一二维虚拟角色图像与所述第二二维虚拟角色图像输入所述生成式对抗网络的判别器之前,所述方法还包括:
对所述第一二维虚拟角色图像与所述第二二维虚拟角色图像进行标准化处理。
5.根据权利要求1所述的方法,其特征在于,所述生成式对抗网络通过如下方式训练得到:
获取所述目标人物图像对应的纹理数据;
将所述目标人物图像对应的纹理数据输入到生成式对抗网络的生成器中,输出待判定虚拟纹理数据;
根据所述待判定虚拟纹理数据与所述虚拟几何数据,生成待判定三维虚拟角色,并将所述待判定三维虚拟角色转换为待判定二维虚拟角色图像;
将所述待判定二维虚拟角色图像与所述第一二维虚拟角色图像输入所述判别器中,输出判别结果,其中,所述判别器包括预设数量的卷积,所述判别结果用于表示所述待判定二维虚拟角色图像是否与所述第一二维虚拟角色图像一致;
基于所述判别结果和目标函数调整所述生成式对抗网络的参数,得到虚拟纹理数据生成模型,其中,所述虚拟纹理数据生成模型用于生成与所述目标人物对应的虚拟纹理数据。
6.根据权利要求5所述的方法,其特征在于,所述目标函数包括:像素损失函数、感知损失函数和风格损失函数;
所述目标函数根据以下方法获得:
将所述第一二维虚拟角色图像的像素数据与所述第二二维虚拟角色图像的像素数据进行比对,获取所述像素损失函数;
分别获取所述第一二维虚拟角色图像与所述第二二维虚拟角色图像的各层卷积特征,并将所述第一二维虚拟角色图像的各层卷积与所述第二二维虚拟角色图像的各层卷积特征进行比对,获取所述感知损失函数和所述风格损失函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110897095.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种聚酯和聚酰胺共混改性塑料及其制备方法
- 下一篇:推进机构和车辆座椅
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序