[发明专利]图像分割网络的训练方法以及图像分割方法、装置及设备在审
申请号: | 202210194343.0 | 申请日: | 2022-03-01 |
公开(公告)号: | CN114663656A | 公开(公告)日: | 2022-06-24 |
发明(设计)人: | 蔡苗苗;曹偲;尤才乾;李鹏;刘华平 | 申请(专利权)人: | 杭州网易云音乐科技有限公司 |
主分类号: | G06V10/26 | 分类号: | G06V10/26;G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 董晓盈 |
地址: | 310052 浙江省杭州市萧山区钱江世*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像 分割 网络 训练 方法 以及 装置 设备 | ||
本公开的实施方式提供了一种图像分割网络的训练方法以及图像分割方法、装置及设备,所述训练方法包括:将第一样本图像输入至第一图像分割网络,得到所述第一样本图像的特征信息,利用所述第一图像分割网络,根据所述特征信息得到目标对象的第一掩膜以及第一样本分类结果,利用所述第一图像分割网络,根据所述第一掩膜以及所述特征信息,得到第二分类结果,根据所述第一掩膜、所述第一分类结果、所述第二分类结果以及标注信息,对所述第一图像分割网络进行训练,得到第二图像分割网络,利用第一分类结果筛除不含目标对象的纯背景样本,并利用第二分类结果监督所述目标对象是否包含被误分割的背景图像,提升了图像分割网络的分割精细度和鲁棒性。
技术领域
本公开的实施方式涉及图像处理技术领域,更具体地,本公开的实施方式涉及一种图像分割网络的训练方法以及图像分割方法、装置及设备。
背景技术
本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着多媒体技术的发展,移动设备的流行,短视频、美妆、美拍等应用的逐渐兴起,人像分割技术也引起了越来越多的关注。
目前,基于卷积神经网络(CNN)进行人像分割已经成为最主要的方式。但是基于深度学习的人像分割算法通常需要相当大的算力,在实时处理的场景需求下,如何以小容量的算力实现较高精度的分割效果,是亟待研究和解决的问题。
有鉴于此,本公开实施例至少提供一种图像分割网络的训练方案以及图像分割方案。
在本公开实施方式的第一方面中,提供了一种图像分割网络的训练方法,包括:
将第一样本图像输入至第一图像分割网络,得到所述第一样本图像的特征信息,其中,所述第一样本图像具有标注信息;
利用所述第一图像分割网络,根据所述特征信息得到目标对象的第一掩膜以及第一样本分类结果,所述第一样本分类结果指示所述样本图像中是否包含所述目标对象;
利用所述第一图像分割网络,根据所述第一掩膜以及所述特征信息,得到第二分类结果,所述第二分类结果指示所述第一掩膜对应的矩形边界框中包含所述第一样本图像中目标对象的完整性是否满足设定要求;
根据所述第一掩膜、所述第一分类结果、所述第二分类结果以及标注信息,对所述第一图像分割网络进行训练,训练后得到的第一图像分割网络作为第二图像分割网络。
在本公开的一个实施例中,所述利用所述第一图像分割网络,根据所述第一掩膜以及所述特征信息,得到第二分类结果,包括:
对所述第一掩膜进行下采样操作,得到第二掩膜,其中,所述第二掩膜的分辨率与所述特征信息的分辨率相同;
将所述第二掩膜与所述特征信息进行相乘操作,得到前景特征信息;
裁剪出所述前景特征信息,并将裁剪出的前景特征信息缩放至设定尺度;
获取缩放后的前景特征信息对应的向量;
将所述向量输入至所述第一图像分割网络中的全连接层,得到第二分类结果。
在本公开的一个实施例中,所述根据所述第一掩膜、所述第一分类结果、所述第二分类结果以及标注信息,对所述第一图像分割网络进行训练,训练后得到的第一图像分割网络作为第二图像分割网络,包括:
基于损失函数对所述第一图像分割网络进行训练,所述损失函数包括:
第一损失,用于指示所述第一掩膜与根据所述标注信息确定的掩膜真实值之间的差异;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州网易云音乐科技有限公司,未经杭州网易云音乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210194343.0/2.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序