[发明专利]一种基于对比学习的地外探测图像识别方法及系统在审
申请号: | 202111010548.0 | 申请日: | 2021-08-31 |
公开(公告)号: | CN113792630A | 公开(公告)日: | 2021-12-14 |
发明(设计)人: | 刘家瑛;汪文靖;林里浪;樊泽嘉;郭宗明 | 申请(专利权)人: | 北京大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/46;G06K9/62 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 李文涛 |
地址: | 100871 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 对比 学习 探测 图像 识别 方法 系统 | ||
1.一种基于对比学习的外星地表图像识别方法,其特征在于,包括以下步骤:
搭建图像识别模型,该图像识别模型包含特征提取器、分类检测器、类间对比学习检测器和相似性学习检测器;
搜集有标签和无标签的外星地表图像训练数据集,并输入到图像识别模型进行训练,该图像识别模型通过特征提取器提取外星地表图像的图像特征,通过分类检测器对外星地表图像的图像特征进行分类,通过类间对比学习检测器和相似性学习检测器根据分类后的图像特征分别进行类间对比学习和相似性学习任务目标的预测,以使该图像识别模型自适应学习新样本类型与数据域分布;通过迭代训练优化模型参数,直到该图像识别模型的总损失函数最小为止,得到训练好的图像识别模型;
将待检测的外星地表图像输入到该训练好的图像识别模型中进行分类,该训练好的图像识别模型通过特征提取器提取外星地表图像的图像特征,通过分类检测器根据所述图像特征进行分类,输出分类预测结果。
2.如权利要求1所述的方法,其特征在于,进行类间对比学习时,首先对数据集中的样本xi进行随机数据增强操作,生成两个模态d1(xi)和d2(xi),其中d表示同一个随机数据增强操作;数据增强操作包含形状增强和像素增强,形状增强包括翻转、裁剪、缩放大小和旋转,像素增强包括高斯模糊、颜色抖动和降低饱和度。
3.如权利要求1所述的方法,其特征在于,迭代训练次数至少为25轮。
4.如权利要求1所述的方法,其特征在于,图像识别模型的总损失函数由分类交叉熵损失函数Lcls、类间对比学习损失函数Ls和相似度学习损失函数Lu组成,表达式为:L=λclsLcls+λsLs+λuLu,其中λcls、λs和λu是权重项。
5.如权利要求4所述的方法,其特征在于,λcls=1,λs=1,λu=0.2;类间对比学习损失函数Ls的训练批batch大小为24,分类交叉熵损失函数Lcls和相似度学习损失函数Lu的训练批batch大小为16。
6.如权利要求4所述的方法,其特征在于,分类交叉熵损失函数Lcls的表达式为:
其中,yc为样本的标签,正确类的值为1,错误类的值为0;pc=Hcls(B(x))为分类检测器所预测的样本属于类别c的概率,B(x)是特征提取器;M为类别总数。
7.如权利要求4所述的方法,其特征在于,类间对比学习损失函数Ls的表达式为:
其中,τ为温度系数;k为1或2,表示在经过了dk数据增强的样本xc.上提取的特征;xci和xcj分别表示类别标签为ci和cj的样本;sim(·,·)代表两个归一化向量的相似度,即sim(u,v)=uTv,其中u,v表示两个归一化向量。
8.如权利要求7所述的方法,其特征在于,τ=0.2。
9.如权利要求4所述的方法,其特征在于,相似度学习损失函数Lu的表达式为:
其中,k为1或2,B是特征提取器,Hu是相似性学习检测器,表示在经过了dk数据增强的无标签图像xu上提取出的图像特征。
10.一种基于对比学习的外星地表图像识别系统,其特征在于,包括:
数据采集模块,用于采集外星地表图像,输入到图像识别模型中进行识别;
图像识别模型,包含特征提取器、分类检测器、类间对比学习检测器和相似性学习检测器;特征提取器用于提取外星地表图像的图像特征;分类检测器用于对外星地表图像的图像特征进行分类;类间对比学习检测器和相似性学习检测器用于在训练过程中根据图像特征分别进行类间对比学习和相似性学习任务目标的预测,以使该图像识别模型自适应学习新样本类型与数据域分布;该图像识别模型经过训练后,用于对待检测的外星地表图像的图像特征进行识别和分类;
预训练模块,用于搜集有标签和无标签的外星地表图像训练数据集,并输入到所述图像识别模型进行迭代训练,通过优化模型参数,降低模型的总损失函数,获得训练后的图像识别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学,未经北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111010548.0/1.html,转载请声明来源钻瓜专利网。