[发明专利]基于通路融合的图像识别方法、装置及存储介质在审
申请号: | 202110262494.0 | 申请日: | 2021-03-10 |
公开(公告)号: | CN115082873A | 公开(公告)日: | 2022-09-20 |
发明(设计)人: | 汪韬;张睿欣;陈星宇;李绍欣;李季檩;黄飞跃 | 申请(专利权)人: | 腾讯云计算(北京)有限责任公司 |
主分类号: | G06V20/56 | 分类号: | G06V20/56;G06V10/44;G06V10/80;G06V10/774;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 100190 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 通路 融合 图像 识别 方法 装置 存储 介质 | ||
1.一种基于通路融合的图像识别方法,其特征在于,所述方法包括:
获取待识别图像,将所述待识别图像输入图像识别模型,并通过所述图像识别模型中的共享卷积层提取所述待识别图像的图像特征;
通过所述图像识别模型中的第一批归一化层获取所述图像特征对应的第一归一化图像特征,并通过所述图像识别模型中的第二批归一化层获取所述图像特征对应的第二归一化图像特征,所述第一批归一化层以及所述第二批归一化层分别由不同噪声强度的样本图像训练得到;
通过所述图像识别模型中的通路特征融合模块获取所述图像特征对应的第一权重和第二权重,所述第一权重用于标记所述第一归一化图像特征所占的权重,所述第二权重用于标记所述第二归一化图像特征所占的权重,所述第一权重和所述第二权重之和为1;
基于所述第一归一化图像特征、所述第一权重、所述第二归一化图像特征以及所述第二权重确定所述待识别图像的融合特征,并基于所述融合特征确定所述待识别图像的图像类别。
2.根据权利要求1所述的方法,其特征在于,所述将所述待识别图像输入图像识别模型之前,所述方法还包括:
获取包括至少三种噪声强度的至少三种第一样本图像,将各第一样本图像输入所述图像识别模型,并通过所述图像识别模型中的共享卷积层提取所述各第一样本图像的样本图像特征;
根据所述各第一样本图像的样本图像特征对所述图像识别模型中的至少三个批归一化层进行训练,以得到训练后的至少三个批归一化层,其中,一种噪声强度的样本图像的样本图像特征用于训练一个批归一化层;
从所述至少三个批归一化层中确定出所述图像识别模型的第一批归一化层和第二批归一化层,其中,所述第一批归一化层由所述至少三种样本图像中噪声强度最小的样本图像训练得到,所述第二批归一化层由所述至少三种样本图像中噪声强度最大的样本图像训练得到。
3.根据权利要求2所述的方法,其特征在于,所述从所述至少三个批归一化层中确定出所述图像识别模型的第一批归一化层和第二批归一化层之后,所述方法还包括:
删除所述至少三个批归一化层中除所述第一批归一化层以及所述第二批归一化层之外的其余批归一化层,以得到所述图像识别模型的批归一化层。
4.根据权利要求2或3所述的方法,其特征在于,所述通过所述图像识别模型中的通路特征融合模块获取所述图像特征对应的第一权重和第二权重之前,所述方法还包括:
获取第二样本图像,将所述第二样本图像输入所述图像识别模型,并通过所述图像识别模型中的共享卷积层提取所述第二样本图像的样本图像特征;
通过所述图像识别模型中的第一批归一化层获取所述样本图像特征对应的第一归一化样本图像特征,并通过所述图像识别模型中的第二批归一化层获取所述样本图像特征对应的第二归一化样本图像特征;
基于所述样本图像特征、所述第一归一化样本图像特征、所述第二归一化样本图像特征以及所述第二样本图像的图像类别标签对所述通路特征融合模块进行训练,以使所述通路特征融合模块输出任一图像特征通过所述第一批归一化层输出的归一化图像特征对应的权重,以及通过所述第二批归一化层输出的归一化图像特征对应的权重。
5.根据权利要求4所述的方法,其特征在于,所述基于所述样本图像特征、所述第一归一化样本图像特征、所述第二归一化样本图像特征以及所述第二样本图像的图像类别标签对所述通路特征融合模块进行训练,包括:
通过所述图像识别模型中的通路特征融合模块获取所述样本图像特征对应的第一样本权重和第二样本权重,所述第一样本权重用于标记所述第一归一化样本图像特征所占的权重,所述第二样本权重用于标记所述第二归一化样本图像特征所占的权重,所述第一样本权重和所述第二样本权重之和为1;
基于所述第一归一化样本图像特征、所述第一样本权重、所述第二归一化样本图像特征以及所述第二样本权重确定所述第二样本图像的融合特征,并基于所述第二样本图像的融合特征确定所述第二样本图像的图像类别;
根据所述第二样本图像的图像类别和所述第二样本图像的图像类别标签计算所述图像识别模型的分类损失,基于所述分类损失调整所述通路融合特征模块的网络参数,以对所述通路特征融合模块进行训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯云计算(北京)有限责任公司,未经腾讯云计算(北京)有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110262494.0/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序