[发明专利]图像优化方法及相关模型的训练方法和相关装置、设备有效
申请号: | 202110341708.3 | 申请日: | 2021-03-30 |
公开(公告)号: | CN113052774B | 公开(公告)日: | 2022-10-21 |
发明(设计)人: | 徐璐;任思捷;周牧 | 申请(专利权)人: | 上海商汤智能科技有限公司 |
主分类号: | G06T5/00 | 分类号: | G06T5/00 |
代理公司: | 深圳市威世博知识产权代理事务所(普通合伙) 44280 | 代理人: | 何倚雯 |
地址: | 200233 上海市徐*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像 优化 方法 相关 模型 训练 装置 设备 | ||
1.一种图像优化模型的训练方法,其特征在于,包括:
获取第一样本图像和第二样本图像;
其中,所述第一样本图像和所述第二样本图像包含相同对象,且所述第二样本图像的图像质量优于所述第一样本图像的图像质量;
基于图像优化模型优化所述第一样本图像,得到样本优化图像;
获取所述第二样本图像中包含第二样本像素点的局部区域的结构特征信息,并基于所述第二样本像素点、所述结构特征信息以及所述样本优化图像中的第三样本像素点,得到所述第一样本图像中的第一样本像素点的第一损失值,其中,所述第二样本像素点和第三样本像素点均对应于所述第一样本像素点,所述结构特征信息包括强度和相关度,所述强度表示存在像素值突变的可能性,所述相关度表示存在边缘方向相关的可能性,且所述强度越大,所述局部区域中存在明显结构的可能性越大,所述相关度越大,所述局部区域中存在边带结构的可能性越大,所述明显结构包括细粒度结构、边带结构中至少一者,所述第一损失值由若干种预设结构的加权因子分别对所述若干种预设结构的子损失值加权处理得到;以及
基于所述第一样本图像中所述第一样本像素点的第一损失值,调整所述图像优化模型的网络参数。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第二样本像素点、所述结构特征信息以及所述样本优化图像中的第三样本像素点,得到所述第一样本图像中的第一样本像素点的第一损失值,包括:
基于所述结构特征信息,获取若干种预设结构的加权因子;
分别利用所述若干种预设结构的损失函数处理所述第二样本像素点和所述第三样本像素点,得到所述若干种预设结构的子损失值;以及
利用所述若干种预设结构的加权因子分别对所述若干种预设结构的子损失值进行加权处理,得到所述第一损失值。
3.根据权利要求2所述的方法,其特征在于,所述若干种预设结构包括边带结构、细粒度结构和平坦结构中的至少一个;其中,所述边带结构和所述细粒度结构中存在像素值突变,所述边带结构存在边缘方向相关,且所述相关度与所述边带结构的加权因子为正相关关系,所述强度与所述细粒度结构的加权因子为正相关关系。
4.根据权利要求3所述的方法,其特征在于,所述基于所述结构特征信息,获取若干种预设结构的加权因子,包括:
基于第一调节系数,得到所述平坦结构的加权因子;
和/或,基于所述强度,得到所述细粒度结构的加权因子;
和/或,基于所述相关度和第二调节系数之积,得到所述边带结构的加权因子。
5.根据权利要求3所述的方法,其特征在于,所述分别利用所述若干种预设结构的损失函数处理所述第二样本像素点和所述第三样本像素点,得到所述若干种预设结构的子损失值,包括:
基于通过第一损失函数得到的所述第二样本像素点和所述第三样本像素点之间的第一差异,确定所述平坦结构的第一子损失值;其中,所述第一差异与所述第一子损失值为正相关关系;
和/或,基于通过第二损失函数得到的所述第二样本像素点和所述第三样本像素点之间的第二差异,确定所述边带结构的第二子损失值;其中,所述第二差异与所述第二子损失值为正相关关系;
和/或,基于通过第三损失函数得到的所述第二样本图像中包含所述第二样本像素点的局部区域和所述样本优化图像中包含所述第三样本像素点的局部区域之间的相似度,确定所述细粒度结构的第三子损失值;其中,所述相似度与所述第三子损失值为负相关关系。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述基于所述第一样本图像中所述第一样本像素点的第一损失值,调整所述图像优化模型的网络参数,包括:
在存在所述预设结构的加权因子低于预设阈值的情况下,将低于所述预设阈值的加权因子所属的所述预设结构作为目标结构;
利用所述目标结构的损失函数处理所述第三样本像素点与所述第二样本像素点,得到所述第一样本像素点的第二损失值;
基于各个所述第一样本像素点的第一损失值和第二损失值,得到所述图像优化模型的总损失值;以及
利用所述总损失值,调整所述图像优化模型的网络参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海商汤智能科技有限公司,未经上海商汤智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110341708.3/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序