[发明专利]自然场景图片生成方法在审
申请号: | 201810441445.1 | 申请日: | 2018-05-10 |
公开(公告)号: | CN108665414A | 公开(公告)日: | 2018-10-16 |
发明(设计)人: | 倪冰冰;张文冬;徐奕;杨小康 | 申请(专利权)人: | 上海交通大学 |
主分类号: | G06T3/40 | 分类号: | G06T3/40 |
代理公司: | 上海恒慧知识产权代理事务所(特殊普通合伙) 31317 | 代理人: | 徐红银 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 自然场景 生成模型 图层 标签序列 视觉元素 图片生成 网络 图片 合成 叠加处理 依赖关系 对抗 景深 清晰 | ||
1.一种自然场景图片生成方法,其特征在于,包括:
根据图片中不同视觉元素或者不同图层之间的依赖关系,基于Hawkes过程建立自然场景生成模型;其中,所述自然场景生成模型包括:异步层生成网络和对抗生成网络;所述异步层生成网络用于生成标签序列;所述对抗生成网络用于根据所述标签序列生成对应的图层,并将生成的图层进行叠加处理后得到合成的自然场景图片;
通过所述自然场景生成模型生成合成的自然场景图片。
2.根据权利要求1所述的自然场景图片生成方法,其特征在于,在通过所述自然场景生成模型生成合成的自然场景图片之前,还包括:
获取自然场景图片训练集,所述自然场景图片训练集中的自然场景图片是指经过人工标注视觉元素且按照景深方向进行图片分层处理后的图片,自然场景图片训练集中的每张自然场景图片对应一个标签序列,所述标签序列是指按照景深方向排序的图层的类别信息和景深信息景深;
将所述标签序列中的图层,以及该图层对应的类别信息和景深信息作为自然场景生成模型的输入,以使所述自然场景生成模型中建立不同视觉元素、不同图层之间的依赖关系,并得到目标图层序列;
根据所述目标图层序列合成自然场景图片。
3.根据权利要求2所述的自然场景图片生成方法,其特征在于,在根据所述目标图层序列合成自然场景图片之后,还包括:
在所述自然场景生成模型的训练过程中,通过对抗生成网络中的判别器对自然场景生成模型合成的自然场景图片进行判别,若判别器判断所述合成自然场景图片不是真实图片,则对所述自然场景生成模型进行调整后继续训练;
若判别器判断所述合成自然场景图片为真实图片,则训练结束,得到训练完成的自然场景生成模型。
4.根据权利要求1所述的自然场景图片生成方法,其特征在于,所述根据图片中不同视觉元素或者不同图层之间的依赖关系,基于Hawkes过程建立自然场景生成模型,包括:
假设图片包含U类分层,ti∈[0,1]表示第i层的景深,ti=0表示在图片中距离最远的位置,ti=1表示在图片中距离最近的位置,ui表示第i层的标签,i∈1,2,…,n;n是一张图片中层的总数;则基于Hawkes过程的图层间的依赖关系函数如下:
式中:λu(t)表示强度函数,t表示景深,u表示第u类分层,其中u∈1,2,…,U,μu表示第u类的基础强度,表示第u类分层对第ui类分层的影响强度,ui表示位于ti位置处的图层类别,越大则第ui类图层在第u类图层之后出现的概率越大,g(t-ti)表示衰减因子;
通过计算某一景深位置上不同视觉元素对应的图层的强度函数λu(t)来确定所述景深位置上的图层类别;其中,强度函数λu(t)表征了在所述景深位置上不同图层出现的概率。
5.根据权利要求1所述的自然场景图片生成方法,其特征在于,通过所述自然场景生成模型生成合成的自然场景图片,包括:
通过递归神经网络得到图层之间的潜在相关性;
根据所述潜在相关性,得到所述目标图层序列中每个图层的类别和景深信息;
基于所述目标图层序列的图层的类别信息和景深信息,合成的自然场景图片。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810441445.1/1.html,转载请声明来源钻瓜专利网。