[发明专利]一种通用图像复原与评价方法、系统、设备及存储介质在审
申请号: | 202211729529.8 | 申请日: | 2022-12-30 |
公开(公告)号: | CN116205804A | 公开(公告)日: | 2023-06-02 |
发明(设计)人: | 孔祥涛;顾津锦;刘翼豪;张文龙;陈翔宇;乔宇;董超 | 申请(专利权)人: | 上海人工智能创新中心 |
主分类号: | G06T5/00 | 分类号: | G06T5/00;G06T7/50 |
代理公司: | 北京市诚辉律师事务所 11430 | 代理人: | 吴敏;成丹 |
地址: | 200000 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 通用 图像 复原 评价 方法 系统 设备 存储 介质 | ||
本申请实施例涉及图像处理技术领域,特别涉及一种通用图像复原与评价方法、系统、设备及存储介质,该方法包括:首先,输入图片;然后,基于图片,对全局信息进行估计,并添加退化任务,生成训练数据;退化任务包括超分辨率、模糊,噪声、压缩、振铃、传统图像恢复算法伪影、缺损、雨、雾霾、雪中的一种或多种的组合;接下来,基于训练数据,生成训练模型;基于训练模型,对图片进行恢复;最后,对恢复后的图像进行评价。本申请实施例提供的通用图像复原与评价方法,不仅可以处理好多个不同场景的特定任务的恢复,同时还能够处理这些特定任务之间的混合。
技术领域
本申请实施例涉及图像处理技术领域,特别涉及一种通用图像复原与评价方法、系统、设备及存储介质。
背景技术
图像复原技术,是处理低质量的图像使其复原为高质量图像的技术。由于低质量图像类型繁多,比如带有噪声、模糊、甚至是拍摄时带有天气干扰或有缺损,图像复原技术又常常被划分为多个子任务,比如图像去噪、图像去模糊、图像去雨去雾、图像补全等。
传统方法常常从高分辨率图像中随机选取一些块组成一个过完备的词典,接着对于每一个测试块,通过线性规划的方法求得该测试块在这个过完备的词典下的稀疏表示,最后以这组系数加权重构出高分辨率的图像,其效果比目前基于深度学习的方法要差很多。在基于深度学习的图像复原方法中,常将深度学习与传统稀疏编码之间的关系作为依据,使用多个卷积层或者自注意力层组成模型,拟合低质量图像与高质量图像之间的映射关系,得到高质量图像。这种方法被称为基于深度学习的图像复原技术。
现有图像复原技术多针对于某种或几种特定任务(比如去模糊、去噪、去雾等),这些任务专用的模型或者多任务模型只能处理好已知类型的固定几种低质量图像,当不同任务相互混合时(比如图像同时含有雨和噪声)目前的图像复原技术就会失效,即使使用多个任务专用模型一步一步恢复,效果也不好。
发明内容
本申请实施例提供一种通用图像复原与评价方法、系统、设备及存储介质,不仅聚焦于多个不同场景的特定任务的恢复,还同时考虑这些特定任务之间的混合。
为解决上述技术问题,第一方面,本申请实施例提供一种通用图像复原与评价方法,包括以下步骤:首先,输入图片;然后,基于所述图片,对全局信息进行估计,并添加退化任务,生成训练数据;所述退化任务包括超分辨率、模糊,噪声、压缩、振铃、传统图像恢复算法伪影、缺损、雨、雾霾、雪中的一种或多种的组合;接下来,基于所述训练数据,生成训练模型;基于所述训练模型,对所述图片进行恢复;最后,对恢复后的图像进行评价。
在一些示例性实施例中,基于图片,对全局信息进行估计,包括:在图片上生成低质量图像,对图像深度信息进行估计。
在一些示例性实施例中,在对图像深度信息进行估计之后,在训练过程中切块并添加退化任务。
在一些示例性实施例中,通过混合公式生成训练数据;混合公式如下所示:
其中,y是高质量图像;x是对应的低质量图像;D1、D2……Dk是退化任务。
在一些示例性实施例中,对恢复后的图像进行评价,包括:生成大量混合任务;在大量混合任务中,选取代表性任务;采用代表性任务的退化训练基线模型;使用基线模型进行带有参考线的评价。
在一些示例性实施例中,使用基线模型进行带有参考线的评价,包括:根据基线模型,计算合格率或优秀率;合格率为训练模型的评价指标,或优秀率为所述训练模型的评价指标。
在一些示例性实施例中,合格率如下式所示:
其中,AR为合格率;其中,AR为合格率;TTest为全部测试集的数量;为通用模型在第t个数据集上的表现;为第t个数据集上的合格表现。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海人工智能创新中心,未经上海人工智能创新中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211729529.8/2.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序