[发明专利]一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法在审
申请号: | 202110331476.3 | 申请日: | 2021-03-29 |
公开(公告)号: | CN113033669A | 公开(公告)日: | 2021-06-25 |
发明(设计)人: | 张云洲;秦操;刘英达;刘闫;田瑞 | 申请(专利权)人: | 东北大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 大连理工大学专利中心 21200 | 代理人: | 刘秋彤 |
地址: | 110819 辽宁*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 学习 特征 过滤 注意力 网络 视觉 场景 识别 方法 | ||
1.一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法,其特征在于,具体步骤如下:
步骤一,对每帧输入图像进行基础网络的稠密特征提取,利用池化方式生成二通道描述符;
步骤二,利用全连接层与激活函数的结构生成新的通道权重,并与原始输入的卷积特征进行重新池化操作,生成过滤后的特征图;
步骤三,针对过滤后的特征图,建立完全图模型,通过消息生成网络输出每个节点的影响力信息,并以非线性组合的方式,实现节点特征的更新;
步骤四,通过子认证网络,促使同一地点的图像特征映射至相同的特征空间,不同地点的图像特征映射至不同的空间;并利用余弦距离计算优化特征间的相似度,实现视觉场景识别。
2.根据权利要求1所述的一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法,其特征在于,所述步骤一中,利用池化方式生成二通道描述符的具体过程如下:
先利用全局平均池化方式,对稠密特征提取后的空间信息进行压缩生成单通道描述符μnc(xnwhc),再将单通道描述符μnc(xnwhc)采用标准方差池化方式,生成另一个单通道描述符σnc(xnwhc),最终进行连接操作构成二通道描述符snc;
snc=[μnc,σnc] (3)
其中,H为空间总高度,W为空间总宽度,h为当前图像高度,w为当前图像宽度xnwhc为当前图像帧原始特征。
3.根据权利要求1所述的一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法,其特征在于,所述步骤二的具体过程为:
输入步骤一生成的二通道描述符至全连接层与激活函数的结构,生成新的通道权重,新的通道权重以如下公式进行计算:
m=σ1(W2σ2(W1S)) (4)
其中,σ1与σ2分别表示Sigmoid激活函数与ReLU激活函数;和是全连接层的参数,r是通道数缩放比例;S为snc的集合表示,C表示通道维度,表示二维矩阵空间;
然后,利用新的通道权重对原始输入的卷积特征进行重新池化操作,得到过滤后的特征图;原始输入的步骤一稠密特征提取后的卷积特征X重新池化过程:
x′C=p(mC·x) (5)
其中,X′表示过滤后的特征,X′=[x′1,x′2,...,x′C]是根据通道数量C进行表示;是以节点数量N进行表示;mC是m中的元素,且x表示X中的单层特征,p表示池化操作;
随后,过滤后的特征图通过使用三元损失函数进行约束,实现过滤特征的重新标定。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学,未经东北大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110331476.3/1.html,转载请声明来源钻瓜专利网。