[发明专利]基于随机通道自适应注意力机制的多目标跟踪方法和系统在审
申请号: | 202210501399.6 | 申请日: | 2022-05-09 |
公开(公告)号: | CN114842388A | 公开(公告)日: | 2022-08-02 |
发明(设计)人: | 赵天赐;张正昊;何灏;朱庆猛;郑昌文 | 申请(专利权)人: | 中国科学院软件研究所 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V20/52;G06V10/40;G06V10/80;G06V10/77;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 随机 通道 自适应 注意力 机制 多目标 跟踪 方法 系统 | ||
1.一种基于随机通道自适应注意力机制的多目标跟踪方法,其特征在于,包括以下步骤:
进行随机操作,即各个目标的特征在传递以及聚合时,通过门控机制实现空间自适应注意力模块的随机启动,通过设置随机的比例实现多个目标的特征通道的部分增强;
进行激励操作,即在自适应注意力模块启动之后,对传递进来的多个目标的特征图做全局平均池化处理,从而完成对特征图的压缩处理;
进行激励操作,即利用全连接层将各个目标的特征恢复到原来的维度,然后计算各个通道的权重;
进行加权操作,即通过计算出来的权重对各个目标的特征图的不同通道的重要程度做加权,以加强图像中显著性特征的作用;
在加权之后输出各个目标的中心点,预测各个目标的中心点在相邻视频帧之间的偏移,利用贪婪的关联算法实现多目标跟踪。
2.根据权利要求1所述的方法,其特征在于,所述随机操作通过随机数的设置强化模型的学习能力,使得重要的特征信息受到更多的关注;在此基础之上,所述挤压操作、所述激励操作和所述加权操作使得特征重要性显式地展现在权重上,从而加强模型的显著性特征提取能力。
3.根据权利要求1所述的方法,其特征在于,所述随机操作包括:首先,对宽为w、长为H、通道数为C1的原始输入特征x执行卷积操作,获得需要重新校准的特征图u,此时特征图u的通道数变为C2;然后初始化一个输入特征图的随机标识符,该随机标识符取值为0到1,表示仅利用视频帧的一部分通道特征完成计算,需要针对不同任务设置不同的数值;同时将特征图u输入随机门控单元,并利用随机标识符来表示空间自适应注意力模块的启动与否。
4.根据权利要求1所述的方法,其特征在于,所述挤压操作采用下式实现:
其中,H、W表示特征图的高和宽,uc表示特征图的第c个通道,uc(i,j)表示第c个通道中第i行第j列的像素,zc为挤压操作的输出,Fsq表示挤压操作函数。
5.根据权利要求1所述的方法,其特征在于,所述激励操作包括:将挤压操作得到的全局特征先经过一个全连接层以降低维度,用ReLU函数进行激活,再经过一个全连接层将维度升维到原始维度,使用Sigmoid激活函数得到视频帧特征中各个通道的权重系数。
6.根据权利要求5所述的方法,其特征在于,所述激励操作的运算公式为:
sc=Fex(zc,W)=σ(g(zc,W))=σ(W26(W1zc))
其中,W1和W2为全连接操作,zc为挤压操作的输出,δ为ReLU激活函数,σ为Sigmoid激活函数,sc为激励操作的输出,Fex表示激励操作函数,W表示整体全连接操作。
7.根据权利要求1所述的方法,其特征在于,所述加权操作的运算公式为:
其中,sc是特征图第c个通道的权重,是加权操作的输出,Fscale表示加权操作函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院软件研究所,未经中国科学院软件研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210501399.6/1.html,转载请声明来源钻瓜专利网。