[发明专利]模型训练方法、目标识别方法、装置、设备及存储介质在审
| 申请号: | 202210255817.8 | 申请日: | 2022-03-15 |
| 公开(公告)号: | CN114663687A | 公开(公告)日: | 2022-06-24 |
| 发明(设计)人: | 郭子歆;白亚龙;张炜;梅涛;周伯文 | 申请(专利权)人: | 北京京东尚科信息技术有限公司 |
| 主分类号: | G06V10/74 | 分类号: | G06V10/74;G06K9/62;G06N3/04;G06V10/80;G06V10/774;G06V10/82 |
| 代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 单冠飞 |
| 地址: | 100086 *** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 模型 训练 方法 目标 识别 装置 设备 存储 介质 | ||
1.一种模型训练方法,其特征在于,所述方法包括以下步骤:
获取样本图像,并对所述样本图像进行分块,得到多个第一子图块;
分别对多个所述第一子图块进行特征提取,以得到多个所述第一子图块对应的子图像特征;
将各所述第一子图块对应的子图像特征输入识别模型中的自注意力记忆神经网络层,以根据各所述第一子图块的子图像特征与对应目标图像特征之间的相似度,采用注意力机制进行特征映射,得到各所述第一子图块对应的映射特征;其中,所述目标图像特征,是包含非残次目标的正样本图像划分的各第二子图块的图像特征中,与对应第一子图块的子图像特征匹配的图像特征;
将多个所述第一子图块的映射特征进行融合,以得到融合特征;
采用所述识别模型中的预测层,对所述融合特征进行目标预测,得到预测标注信息;
根据所述预测标注信息与所述样本图像包括的实际标注信息之间的差异,对所述识别模型进行训练。
2.根据权利要求1所述的方法,其特征在于,所述将各所述第一子图块对应的子图像特征输入识别模型中的自注意力记忆神经网络层,以根据各所述第一子图块的子图像特征与对应目标图像特征之间的相似度,采用注意力机制进行特征映射,得到各所述第一子图块对应的映射特征,包括:
获取所述自注意力记忆神经网络层存储的多个正例图像特征,其中,所述多个正例图像特征,是对所述正样本图像进行分块后得到的各第二子图块,进行特征提取后得到的;
从所述多个正例图像特征中,分别确定与各所述第一子图块的子图像特征匹配的目标图像特征;
根据各所述第一子图块的子图像特征与对应目标图像特征之间的相似度,对各所述第一子图块的子图像特征采用注意力机制进行特征映射,得到各所述第一子图块对应的映射特征。
3.根据权利要求2所述的方法,其特征在于,所述从所述多个正例图像特征中,分别确定与各所述第一子图块的子图像特征匹配的目标图像特征,包括:
针对每个所述第一子图块,确定对应的子图像特征与多个所述正例图像特征之间的相似度;
将最高相似度对应的正例图像特征,作为与所述第一子图块的子图像特征匹配的目标图像特征。
4.根据权利要求2所述的方法,其特征在于,所述根据各所述第一子图块的子图像特征与对应目标图像特征之间的相似度,对各所述第一子图块的子图像特征采用注意力机制进行特征映射,得到各所述第一子图块对应的映射特征,包括:
针对每个所述第一子图块,根据匹配的目标图像特征与多个所述第一子图块的子图像特征,确定所述第一子图块对应的键值特征;
根据所述第一子图块的子图像特征和对应目标图像特征之间的相似度,确定中间特征;
将所述中间特征与所述键值特征内积后进行归一化,得到注意力权值;
根据注意力权值对所述键值特征进行加权,以得到所述第一子图块对应的映射特征。
5.根据权利要求2所述的方法,其特征在于,所述获取所述自注意力记忆神经网络层存储的多个正例图像特征之后,所述方法还包括:
针对每个所述第一子图块,确定所述第一子图块的子图像特征与多个所述正例图像特征之间的相似度;
根据所述第一子图块的子图像特征与多个所述正例图像特征之间的相似度,确定所述第一子图块的子图像特征与多个所述正例图像特征之间的权重;
针对每个所述正例图像特征,根据所述正例图像特征与多个所述第一子图块的子图像特征之间的权重,对多个所述第一子图块的子图像特征进行加权,得到加权图像特征;
根据所述加权图像特征对所述正例图像特征进行更新,得到更新后的所述正例图像特征。
6.根据权利要求1-5任一项所述的方法,其中,所述采用所述识别模型中的预测层,对所述融合特征进行目标预测,得到预测标注信息,包括:
采用所述预测层中的全连接层,对所述融合特征进行目标的类别预测,以得到所述目标所属的类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司,未经北京京东尚科信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210255817.8/1.html,转载请声明来源钻瓜专利网。





