[发明专利]选帧方法和装置、电子设备、程序和介质有效

专利信息
申请号: 201711236422.9 申请日: 2017-11-29
公开(公告)号: CN108229320B 公开(公告)日: 2020-05-22
发明(设计)人: 宋广录;刘宇 申请(专利权)人: 北京市商汤科技开发有限公司
主分类号: G06K9/00 分类号: G06K9/00;G06K9/62;G06T7/00
代理公司: 北京思源智汇知识产权代理有限公司 11657 代理人: 毛丽琴
地址: 100084 北京市海淀区中*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 方法 装置 电子设备 程序 介质
【权利要求书】:

1.一种选帧方法,其特征在于,包括:

获取视频帧序列;

通过质量网络模型,针对所述视频帧序列中的多个视频帧,获取所述多个视频帧分别对应的图像质量预测值;其中,所述质量网络模型基于所述质量网络模型针对监控图像输出的预测质量值与质量监督信息训练得到,所述质量监督信息基于所述监控图像的特征与训练用底库照片中所述监控图像对应的注册照片的特征之间的第一相似度、以及所述监控图像的特征与所述训练用底库照片中其他注册照片的特征之间的第二相似度得到;

基于所述多个视频帧分别对应的图像质量预测值,对所述视频帧序列进行选帧操作。

2.根据权利要求1所述的方法,其特征在于,所述获取视频帧序列之后,还包括:

通过人脸检测模型,检测所述多个视频帧中人脸的关键点位置,根据检测到的关键点位置对所述多个视频帧进行校准,得到校准后的多个视频帧;

所述针对所述视频帧序列中的多个视频帧,获取所述多个视频帧分别对应的图像质量预测值,包括:针对所述校准后的多个视频帧,获取所述校准后的多个视频帧分别对应的图像质量预测值。

3.根据权利要求1所述的方法,其特征在于,基于所述多个视频帧分别对应的图像质量预测值,对所述视频帧序列进行选帧操作,包括:

根据所述多个视频帧分别对应的图像质量预测值,从所述多个视频帧中选取图像质量预测值最高的或者图像质量预测值高于预设质量阈值的至少一帧图像。

4.根据权利要求3所述的方法,其特征在于,还包括:

基于选取的帧图像进行人脸识别。

5.根据权利要求1-4任一所述的方法,其特征在于,还包括:

向所述质量网络模型输入监控图像,所述监控图像为从监控视频提取的图像;

由所述质量网络模型预测所述监控图像的质量,并输出所述监控图像的预测质量值;

基于所述监控图像的预测质量值与质量监督信息对所述质量网络模型进行训练,直至满足预设训练完成条件;其中,所述质量监督信息基于所述监控图像的特征与训练用底库照片的特征之间的相似度获得,所述训练用底库照片包括与至少一帧监控图像对应的注册照片。

6.根据权利要求5所述的方法,其特征在于,还包括:

从监控视频中提取至少一帧底库中存在对应同一用户人脸的注册照片的图像作为所述监控图像;

从所述底库中选取所述监控图像对应的注册照片,形成所述训练用底库照片。

7.根据权利要求5所述的方法,其特征在于,所述质量监督信息的获取方法,包括:

分别以每帧监控图像作为当前监控图像,获取当前监控图像的特征与所述训练用底库照片中该当前监控图像对应的注册照片的特征之间的第一相似度、以及当前监控图像与所述训练用底库照片中其他注册照片的特征之间的第二相似度;

根据所述第一相似度与所述第二相似度获取所述当前监控图像的质量监督信息;所述质量监督信息包括各帧监控图像的质量监督信息。

8.根据权利要求7所述的方法,其特征在于,根据所述第一相似度与所述第二相似度获取所述当前监控图像的质量监督信息,包括:

计算所述第一相似度与对比相似度之间的比值,作为所述当前监控图像的质量监督信息;

所述对比相似度包括以下任一:所述第二相似度中的最大值,所述第二相似度的平均值,所述第二相似度的最小值,所述第二相似度的均方差值。

9.根据权利要求5所述的方法,其特征在于,基于所述监控图像的预测质量值与质量监督信息对所述质量网络模型进行训练,包括:

获取所述监控图像的预测质量值与质量监督信息之间的差异,根据所述差异对所述质量网络模型的网络参数进行调整。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201711236422.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top