[发明专利]反射图像生成模型及反射去除模型的训练方法在审
申请号: | 202110309311.6 | 申请日: | 2021-03-23 |
公开(公告)号: | CN112802076A | 公开(公告)日: | 2021-05-14 |
发明(设计)人: | 汪磊;李瑮;毛晓蛟 | 申请(专利权)人: | 苏州科达科技股份有限公司 |
主分类号: | G06T7/514 | 分类号: | G06T7/514;G06T5/00;G06N3/04;G06N3/08 |
代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 张琳琳 |
地址: | 215011 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 反射 图像 生成 模型 去除 训练 方法 | ||
本发明涉及图像处理技术领域,具体涉及反射图像生成模型及反射去除模型的训练方法,所述反射图像生成模型的训练方法包括获取任意的无反射样本图像与反射样本图像;将反射样本图像输入反射去除模型中得到预测无反射图像,并利用反射样本图像与预测无反射图像,得到预测反射层图像特征;将预测反射层图像特征与无反射样本图像输入反射图像生成模型中,得到预测反射图像;基于预测无反射图像与预测反射图像进行损失函数的计算,对反射去除模型以及反射图像生成模型进行训练,以得到目标反射图像生成模型。利用非配对的无反射样本图像与反射样本图像进行模型训练,且加入真实数据进行建模,使得反射图像生成模型具有优秀的泛化能力。
技术领域
本发明涉及图像处理技术领域,具体涉及反射图像生成模型及反射去除模型的训练方法。
背景技术
在通过镜面拍摄图像或视频时,图像往往会包含镜面反射的物体,严重影响呈现图像的质量。随着深度学习方法在图像处理方向的广泛应用,可以通过神经网络的方式对反射图像进行反射的去除,从而得到无反射图像。
在神经网络的训练过程中,需要成对的样本图像,即,反射图像与对应的无反射图像。而在真实场景中,成对的样本图像获取较为困难,一般采用各种线性或非线性的方式将无反射图像和反射层的图像进行融合,从而形成具有反射的图像。例如,一幅具有反射的图像可以表示为:
RI=α×TL+(1-α)×RL;
上式中,RI表示具有反射现象的图像(即,反射图像),TL表示无反射图像,RL表示反射层的图像,α表示融合系数。即,一幅有反射的图像可以表示为反射图像和背景图像通过特定的系数融合而成。
基于此,一般是采集到无反射图像之后,采用上述公式将无反射图像与反射层的图像进行融合,得到与无反射图像对应的反射图像。然而,这些简单的系数融合往往不能充分的表示真实场景复杂的成像模式,导致样本图像难以代表复杂真实的场景。
发明内容
有鉴于此,本发明实施例提供了一种反射图像生成模型及反射去除模型的训练方法,以解决通过系数融合得到的样本图像难以代表复杂真实的场景的问题。
根据第一方面,本发明实施例提供了一种反射图像生成模型的训练方法,包括:
获取任意的无反射样本图像与反射样本图像;
将所述反射样本图像输入反射去除模型中得到预测无反射图像,并利用所述反射样本图像与所述预测无反射图像,得到预测反射层图像特征;
将所述预测反射层图像特征与所述无反射样本图像输入反射图像生成模型中,得到预测反射图像;
将所述预测无反射图像以及所述预测反射图像分别输入第一鉴别器以及第二鉴别器,分别得到第一鉴别结果以及第二鉴别结果,以确定第一鉴别损失;
基于所述第一鉴别损失,对所述反射去除模型以及所述反射图像生成模型进行训练,以得到目标反射图像生成模型。
本发明实施提供的反射图像生成模型的训练方法,利用非配对的无反射样本图像与反射样本图像进行模型训练,且在训练过程中实现反射与无反射的互相转换,用于模拟真实反射场景下的图像。在训练过程中使用真实反射图像并使用对抗训练的技术进行监督,通过加入真实数据对算法最终应用的场景信息进行建模,使得该发射图像生成模型具有优秀的泛化能力,从而使得所得到的目标反射图像生成模型能够生成更真实、更大量的反射图像。
结合第一方面,在第一方面第一实施方式中,所述基于所述第一鉴别损失,对所述反射去除模型以及所述反射图像生成模型进行训练,以得到所述反射图像生成模型对应的目标反射图像生成模型,包括:
分别对所述预测无反射图像以及所述预测反射图像进行图像重建,得到重建反射图像与重建无反射图像;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州科达科技股份有限公司,未经苏州科达科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110309311.6/2.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序