[发明专利]用于生成信息的方法和装置有效
| 申请号: | 201910099415.1 | 申请日: | 2019-01-31 |
| 公开(公告)号: | CN109829432B | 公开(公告)日: | 2020-11-20 |
| 发明(设计)人: | 邓启力 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
| 主分类号: | G06K9/00 | 分类号: | G06K9/00;G06N3/04;G06N3/08 |
| 代理公司: | 北京天达共和律师事务所 11798 | 代理人: | 关刚 |
| 地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 用于 生成 信息 方法 装置 | ||
1.一种用于生成信息的方法,包括:
从目标人脸视频中提取目标视频帧和所述目标视频帧的基准视频帧,其中,所述基准视频帧与所述目标视频帧相邻,且位于目标视频帧之前或位于目标视频帧之后;
确定所述基准视频帧所对应的人脸关键点信息,以及基于所确定的人脸关键点信息和预设图像,生成所述基准视频帧所对应的热点图,其中,预设图像与所述基准视频帧的形状大小分别相同,热点图的图像区域包括数值集合,对于数值集合中的数值,该数值用于表征人脸关键点位于该数值所在位置的概率;
将所述目标视频帧、所述基准视频帧和所生成的热点图输入预先训练的第一识别模型,获得所述目标视频帧所对应的人脸关键点信息,其中,第一识别模型用于表征目标视频帧、基准视频帧和基准视频帧所对应的热点图与目标视频帧所对应的人脸关键点信息的对应关系。
2.根据权利要求1所述的方法,其中,所述确定所述基准视频帧所对应的人脸关键点信息,包括:
将所述基准视频帧输入预先训练的第二识别模型,获得所述基准视频帧所对应的人脸关键点信息。
3.根据权利要求2所述的方法,其中,所述第二识别模型通过如下步骤训练得到:
获取训练样本集,其中,训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本人脸关键点信息;
利用机器学习方法,将所述训练样本集中的训练样本的样本人脸图像作为输入,将所输入的样本人脸图像所对应的样本人脸关键点信息作为期望输出,训练得到第二识别模型。
4.根据权利要求1所述的方法,其中,所述第一识别模型通过以下步骤训练获得:
获取多个样本视频帧组,其中,样本视频帧组包括从样本人脸视频中提取出的、相邻的两个视频帧;
对于所述多个样本视频帧组中的样本视频帧组,执行以下步骤:从该样本视频帧组中确定样本目标视频帧和样本基准视频帧;确定该样本视频帧组中的样本基准视频帧所对应的人脸关键点信息,以及确定该样本视频帧组中的样本目标视频帧所对应的人脸关键点信息作为样本人脸关键点信息;基于样本基准视频帧所对应的人脸关键点信息和预设图像,生成样本热点图;利用该样本视频帧组、所生成的样本热点图和样本目标视频帧的样本人脸关键点信息,组成训练样本;
利用机器学习方法,将所组成的训练样本中的训练样本包括的样本视频帧组和样本热点图作为输入,将所输入的样本视频帧组和样本热点图所对应的、样本目标视频帧的样本人脸关键点信息作为期望输出,训练得到第一识别模型。
5.根据权利要求4所述的方法,其中,所述确定该样本视频帧组中的样本目标视频帧所对应的人脸关键点信息作为样本人脸关键点信息,包括:
确定该样本视频帧组中的样本目标视频帧所对应的初始人脸关键点信息;
基于预先为样本基准视频帧的人脸关键点信息和样本目标视频帧的初始人脸关键点信息分别分配的权重,对所确定的、样本基准视频帧的人脸关键点信息和所确定的、样本目标视频帧的初始人脸关键点信息进行加权求和处理,获得处理结果作为该样本视频帧组中的样本目标视频帧的样本人脸关键点信息。
6.根据权利要求1-5之一所述的方法,其中,所述基于所确定的人脸关键点信息和预设图像,生成所述基准视频帧所对应的热点图,包括:
利用高斯函数在所述预设图像上生成所述基准视频帧的人脸关键点信息所对应的数值集合;
基于包括所生成的数值集合的预设图像,生成所述基准视频帧所对应的热点图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910099415.1/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置





