[发明专利]视觉目标图像分辨率增强的方法、系统、装置及存储介质

说明书

本发明公开了一种视觉目标图像分辨率增强的方法、系统、装置及存储介质，该方法包括：采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，人脸图像超分辨率模型的训练方法，包括：采集训练样本，训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；根据训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。本发明通过训练好的人脸图像超分辨率模型实现人脸属性先验指导低分辨率人脸图像增强并恢复人脸图像的高频信息，以使输出的高分辨率人脸图像包含更多的人脸面部结构细节，提高人脸图像的清晰度。

技术领域

本发明属于图像处理技术领域，尤其涉及一种视觉目标图像分辨率增强的方法、系统、装置及存储介质。

背景技术

近些年来，随着人们对图像和视频质量要求的不断提高，如何提升图像和视频质量成为了日益重要的问题。图像超分辨率旨在对低分辨率图像进行修复，使图像包含更多的细节信息，以提高图像的清晰度。这项技术有着重要的实用意义，例如在安全监控领域，监控视频采集设备由于成本限制，获取到的是缺乏有效信息的视频帧，而安全监控极大依赖于信息明确的高分辨率图像。采用图像超分辨率技术，能够增加视频帧的细节。这些信息的补充能够为打击犯罪提供有效证据。目前，将图像超分辨率作为前期预处理技术，能够有效地提升安全领域中的目标检测、人脸识别及异常预警等任务的精度。

以前图像超分辨率使用的的方法是基于插值或者基于重建的方法。基于插值方式的图像超分辨率是超分辨率领域中最先应用的算法，这类算法基于固定的多项式计算模式，由已有的像素值推算出插值位置的像素值，例如双线性插值、双立方插值和Lanczos缩放。基于重建的方法采用严格的先验知识作为约束，在约束空间内找到合适的重建函数，从而重建出具有细节信息的高分辨率图像。这些算法通常会陷入图像过于平滑的问题，不能很好地恢复图像的纹理细节。

近年来，随着深度学习以及卷积神经网络的发展，图像超分辨率技术取得了巨大的突破，对人脸图像超分辨率的研究也受到越来越多研究人员的关注。然而，在一些结合人脸属性的工作只是在浅层特征上串联人脸属性信息，而人脸图像是高度结构化且具有对称性的特殊图像，深层的特征更能表示人脸图像的结构信息。目前，现有模型均通过沙漏网络、残差网络或者是自动编码器等结构进行模型的构建，这些结构不足以支撑深层的模型搭建，均局限于简单的特征提取网络结构。

发明内容

本发明提供了一种视觉目标图像分辨率增强的方法、系统、装置及存储介质，可以进一步结合属性信息与深层面部结构特征，构建更深层次的网络，使其能够基于特定的人脸属性先验获取清晰度高的人脸图像，以解决或者至少部分解决上述技术问题。

为达此目的，本发明采用以下技术方案：

第一方面，提供了一种视觉目标图像分辨率增强的方法，包括：

采用预先训练好的人脸图像超分辨率模型对待处理的低分辨率人脸图像以及其对应的人脸属性进行处理，输出高分辨率人脸图像；其中，所述人脸图像超分辨率模型的训练方法，包括：

采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本；

根据所述训练样本，基于预设损失函数和高分辨率人脸图像样本建立人脸图像超分辨率模型。

可选地，所述采集训练样本，所述训练样本含高分辨率人脸图像样本、低分辨率人脸图像样本以及其对应的预设数量人脸属性样本，包括：

采集高分辨率人脸图像样本，采用人脸图像数据集CelebA得到高分辨率人脸图像样本并备份；

采用图像缩放算法对所述高分辨率人脸图像样本进行下采样，生成低分辨率人脸图像样本；