[发明专利]美漫风格的头像生成模型的训练、生成方法及电子设备在审
申请号: | 202211055003.6 | 申请日: | 2022-08-31 |
公开(公告)号: | CN115393181A | 公开(公告)日: | 2022-11-25 |
发明(设计)人: | 程平;吴松城 | 申请(专利权)人: | 厦门黑镜科技有限公司 |
主分类号: | G06T3/00 | 分类号: | G06T3/00;G06V40/16;G06N20/00 |
代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 张琳琳 |
地址: | 361000 福建省厦门市火炬高*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 风格 头像 生成 模型 训练 方法 电子设备 | ||
1.一种美漫风格的头像生成模型的训练方法,其特征在于,包括:
获取样本图像对,所述样本图像对包括真实头像以及对应的卡通头像;
将所述真实头像输入头像生成模型的特征编码模块中,确定特征编码;
将所述特征编码输入所述头像生成模型的头像风格生成模块中,确定预测卡通头像,所述头像风格生成模块是预训练得到的;
检测所述卡通头像与所述预测卡通头像的人脸关键点,并确定人脸关键点损失;
基于所述卡通头像与所述预设卡通头像的差异,确定图像转换损失;
根据所述人脸关键点损失与所述图像转换损失的融合结果,对所述特征编码模块的参数进行更新,以确定目标头像生成模型。
2.根据权利要求1所述的训练方法,其特征在于,所述根据所述人脸关键点损失与所述图像转换损失的融合结果,对所述特征编码模块的参数进行更新,以确定目标头像生成模型,包括:
获取多组权重组合,所述权重组合中包括与所述人脸关键点损失与所述图像转换损失一一对应的权重;
对于各个所述权重组合,对所述人脸关键点损失与所述图像转换损失进行融合,得到对应的综合损失;
利用所述综合损失对所述特征编码模块的参数进行更新,得到可选头像生成模型;
基于所述可选头像生成模型的训练效果,从所述可选头像生成模型中确定所述目标头像生成模型,所述训练效果包括训练时长以及所述可选头像生成模型的精准度中的至少一种。
3.根据权利要求2所述的训练方法,其特征在于,所述获取多组权重组合,包括:
获取各个所述权重的取值范围;
基于所述取值范围生成所述权重的取值,以得到所述多组权重组合。
4.根据权利要求1所述的训练方法,其特征在于,所述基于所述卡通头像与所述预设卡通头像的差异,确定图像转换损失,包括:
分别对所述卡通头像以及所述预设卡通头像进行人脸特征提取,得到第一人脸特征与第二人脸特征;
基于所述第一人脸特征以及所述第二人脸特征进行损失计算,确定特征损失;
基于所述卡通头像与所述预设卡通头像,分别计算像素损失以及感知损失,所述图像转换损失包括所述特征损失、所述像素损失以及所述感知损失。
5.根据权利要求1所述的训练方法,其特征在于,所述特征编码模块是基于特征金字塔网络构建的,所述将所述真实头像输入头像生成模型的特征编码模块中,确定特征编码,包括:
将所述真实头像输入所述特征编码模块中,提取多个金字塔尺度的特征向量,以确定所述特征编码。
6.根据权利要求5所述的训练方法,其特征在于,所述将所述特征编码输入所述头像生成模型的头像风格生成模块中,确定预测卡通头像,包括:
基于所述特征编码中各特征向量的金字塔尺度,将所述特征向量输入所述头像风格生成模块的对应网络层中进行图像重建,确定所述预测卡通头像。
7.一种美漫风格的头像生成方法,其特征在于,包括:
获取待处理人脸图像;
将所述待处理人脸图像输入目标头像生成模型中,得到目标卡通头像,所述目标头像生成模型是根据权利要求1-6中任一项所述的美漫风格的头像生成模型的训练方法训练得到的。
8.根据权利要求7所述的方法,其特征在于,所述获取待处理人脸图像,包括:
获取包含人脸的待处理图像;
对所述待处理图像进行人脸检测得到人脸图像;
基于所述人脸图像进行人脸对齐及归一化处理,确定所述待处理人脸图像。
9.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-6中任一项所述的美漫风格的头像生成模型的训练方法,或,执行权利要求7或8所述的美漫风格的头像生成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-6中任一项所述的美漫风格的头像生成模型的训练方法,或,执行权利要求7或8所述的美漫风格的头像生成方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门黑镜科技有限公司,未经厦门黑镜科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211055003.6/1.html,转载请声明来源钻瓜专利网。