[发明专利]选帧方法和装置、电子设备、程序和介质有效
申请号: | 201711236422.9 | 申请日: | 2017-11-29 |
公开(公告)号: | CN108229320B | 公开(公告)日: | 2020-05-22 |
发明(设计)人: | 宋广录;刘宇 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06T7/00 |
代理公司: | 北京思源智汇知识产权代理有限公司 11657 | 代理人: | 毛丽琴 |
地址: | 100084 北京市海淀区中*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 方法 装置 电子设备 程序 介质 | ||
1.一种选帧方法,其特征在于,包括:
获取视频帧序列;
通过质量网络模型,针对所述视频帧序列中的多个视频帧,获取所述多个视频帧分别对应的图像质量预测值;其中,所述质量网络模型基于所述质量网络模型针对监控图像输出的预测质量值与质量监督信息训练得到,所述质量监督信息基于所述监控图像的特征与训练用底库照片中所述监控图像对应的注册照片的特征之间的第一相似度、以及所述监控图像的特征与所述训练用底库照片中其他注册照片的特征之间的第二相似度得到;
基于所述多个视频帧分别对应的图像质量预测值,对所述视频帧序列进行选帧操作。
2.根据权利要求1所述的方法,其特征在于,所述获取视频帧序列之后,还包括:
通过人脸检测模型,检测所述多个视频帧中人脸的关键点位置,根据检测到的关键点位置对所述多个视频帧进行校准,得到校准后的多个视频帧;
所述针对所述视频帧序列中的多个视频帧,获取所述多个视频帧分别对应的图像质量预测值,包括:针对所述校准后的多个视频帧,获取所述校准后的多个视频帧分别对应的图像质量预测值。
3.根据权利要求1所述的方法,其特征在于,基于所述多个视频帧分别对应的图像质量预测值,对所述视频帧序列进行选帧操作,包括:
根据所述多个视频帧分别对应的图像质量预测值,从所述多个视频帧中选取图像质量预测值最高的或者图像质量预测值高于预设质量阈值的至少一帧图像。
4.根据权利要求3所述的方法,其特征在于,还包括:
基于选取的帧图像进行人脸识别。
5.根据权利要求1-4任一所述的方法,其特征在于,还包括:
向所述质量网络模型输入监控图像,所述监控图像为从监控视频提取的图像;
由所述质量网络模型预测所述监控图像的质量,并输出所述监控图像的预测质量值;
基于所述监控图像的预测质量值与质量监督信息对所述质量网络模型进行训练,直至满足预设训练完成条件;其中,所述质量监督信息基于所述监控图像的特征与训练用底库照片的特征之间的相似度获得,所述训练用底库照片包括与至少一帧监控图像对应的注册照片。
6.根据权利要求5所述的方法,其特征在于,还包括:
从监控视频中提取至少一帧底库中存在对应同一用户人脸的注册照片的图像作为所述监控图像;
从所述底库中选取所述监控图像对应的注册照片,形成所述训练用底库照片。
7.根据权利要求5所述的方法,其特征在于,所述质量监督信息的获取方法,包括:
分别以每帧监控图像作为当前监控图像,获取当前监控图像的特征与所述训练用底库照片中该当前监控图像对应的注册照片的特征之间的第一相似度、以及当前监控图像与所述训练用底库照片中其他注册照片的特征之间的第二相似度;
根据所述第一相似度与所述第二相似度获取所述当前监控图像的质量监督信息;所述质量监督信息包括各帧监控图像的质量监督信息。
8.根据权利要求7所述的方法,其特征在于,根据所述第一相似度与所述第二相似度获取所述当前监控图像的质量监督信息,包括:
计算所述第一相似度与对比相似度之间的比值,作为所述当前监控图像的质量监督信息;
所述对比相似度包括以下任一:所述第二相似度中的最大值,所述第二相似度的平均值,所述第二相似度的最小值,所述第二相似度的均方差值。
9.根据权利要求5所述的方法,其特征在于,基于所述监控图像的预测质量值与质量监督信息对所述质量网络模型进行训练,包括:
获取所述监控图像的预测质量值与质量监督信息之间的差异,根据所述差异对所述质量网络模型的网络参数进行调整。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711236422.9/1.html,转载请声明来源钻瓜专利网。