[发明专利]选帧方法和装置、电子设备、程序和介质

说明书

本发明实施例公开了一种选帧方法和装置、电子设备、程序和介质，其中，方法包括：获取视频帧序列；通过质量网络模型，针对所述视频帧序列中的多个视频帧，获取所述多个视频帧分别对应的图像质量预测值；基于所述多个视频帧分别对应的图像质量预测值，对所述视频帧序列进行选帧操作。本发明实施例可以选取信息有效性较好的视频帧，以提升视频帧识别的性能、效率和精度。

技术领域

本发明涉及计算机视觉技术，尤其是一种选帧方法和装置、电子设备、程序和介质。

背景技术

人脸识别是计算机视觉以及智能视频监控领域的核心技术。人脸识别模型的性能对于安防监控的安全性具有很大的影响。利用视频序列中多帧图像丰富的特征信息，可以有效的提升人脸识别模型的鲁棒性。

发明内容

本发明实施例提供一种用于从视频序列中选帧的技术方案。

根据本发明实施例的一个方面，提供的一种选帧方法，包括：

获取视频帧序列；

通过质量网络模型，针对所述视频帧序列中的多个视频帧，获取所述多个视频帧分别对应的图像质量预测值；

基于所述多个视频帧分别对应的图像质量预测值，对所述视频帧序列进行选帧操作。

可选地，在本发明上述各方法实施例中，所述获取视频帧序列之后，还包括：

通过人脸检测模型，检测所述多个视频帧中人脸的关键点位置，根据检测到的关键点位置对所述多个视频帧进行校准，得到校准后的多个视频帧；

所述针对所述视频帧序列中的多个视频帧，获取所述多个视频帧分别对应的图像质量预测值，包括：针对所述校准后的多个视频帧，获取所述校准后的多个视频帧分别对应的图像质量预测值。

可选地，在本发明上述各方法实施例中，基于所述多个视频帧分别对应的图像质量预测值，对所述视频帧序列进行选帧操作，包括：

根据所述多个视频帧分别对应的图像质量预测值，从所述多个视频帧中选取图像质量预测值最高的或者图像质量预测值高于预设质量阈值的至少一帧图像。

可选地，在本发明上述各方法实施例中，还包括：

基于选取的帧图像进行人脸识别。

可选地，在本发明上述各方法实施例中，还包括：

向所述质量网络模型输入监控图像，所述监控图像为从监控视频提取的图像；

由所述质量网络模型预测所述监控图像的质量，并输出所述监控图像的预测质量值；

基于所述监控图像的预测质量值与质量监督信息对所述质量网络模型进行训练，直至满足预设训练完成条件；其中，所述质量监督信息基于所述监控图像的特征与训练用底库照片的特征之间的相似度获得，所述训练用底库照片包括与至少一帧监控图像对应的注册照片。

可选地，在本发明上述各方法实施例中，还包括：

从监控视频中提取至少一帧底库中存在对应同一用户人脸的注册照片的图像作为所述监控图像；

从所述底库中选取所述监控图像对应的注册照片，形成所述训练用底库照片。

可选地，在本发明上述各方法实施例中，所述质量监督信息的获取方法，包括：

分别以每帧监控图像作为当前监控图像，获取当前监控图像的特征与所述训练用底库照片中该当前监控图像对应的注册照片的特征之间的第一相似度、以及当前监控图像与所述训练用底库照片中其他注册照片的特征之间的第二相似度；

根据所述第一相似度与所述第二相似度获取所述当前监控图像的质量监督信息；所述质量监督信息包括各帧监控图像的质量监督信息。