[发明专利]一种基于多域协同特征表达的视觉运动目标跟踪方法

权利要求书

1.一种基于多域协同特征表达的视觉运动目标跟踪方法，其特征在于，包括以下三个模块：

(1)RGB和事件数据相似特征提取模块CFE

(1.1)CFE模块输入：

CFE模块的输入分为两个部分，一个是RGB图像，另一个是堆叠的事件图像；事件相机输出每个事件e是一个元组x，y，t，p，其中x，y是事件的像素坐标，t是事件的时间戳，p＝±1是事件的极性，是亮度变化的符号；由于事件数据的异步性而无法直接输入到现有的神经网络结构中，因此根据正极性和负极性的计数和最新时间戳对事件流进行堆叠，公式如下：

其中，δ是Kronecker增量函数，W是事件数据的时间戳间隔，N是在时间间隔W内发生的事件个数；按事件数量堆叠表示运动目标的频率和密度信息，按事件时间戳堆叠表示运动目标的方向和速度信息；

(1.2)CFE模块结构：

使用VGGNet-M网络的前三层用作CFE的主要特征提取结构，卷积核大小分别为7×7、5×5和3×3，输出通道分别为96、256和512；CFE的每一层都由卷积层、激活函数和局部响应归一化组成；整个过程表述如下：

F_CFE＝[CFE(RGB),CFE(trans_cha([CountP,TimeP]))] (3)

其中，RGB表示RGB图像，CountP和TimeP是按正负极性的计数和最新时间戳堆叠的事件图像，[·]是串联连接操作，trans_cha表示卷积层用于通道数量的转换，F_CFE是CFE的输出；

(2)RGB独特特征提取模块UER

(2.1)UER模块输入：UER模块的输入是RGB数据；

(2.2)UER模块结构：UER模块包含三个卷积层，卷积核大小分别设置为3×3、1×1和1×1；在进行卷积之后，UER模块的每一层还包括ReLU激活函数、BN和最大池化层；这个过程表述为：

F_UER＝UER(RGB) (4)

其中，F_UER是UER模块的输出；

(3)事件域的独特特征提取模块UEE

(3.1)UEE模块输入：UEE模块的输入是原始事件流；

(3.2)UEE模块结构：UEE模块使用SNNs和脉冲响应模型SRM来处理原始事件流；在SRM中，不响应函数u(t)描述了发射神经元对其自身脉冲的响应；突触核v(t)描述了突触后突触对突触后神经元体细胞膜电位的影响；基于SRM的SNNs建模如下：

ε_i+1(t)＝W_i(u×s_i)(t)+(v×s_i+1)(t) (7)

O＝GAP(W_i(u×s_i)(t)) (9)

其中，H是Heaviside阶跃函数；t表示当前时刻；τ_s和τ_r分别是突触核和不响应期核的时间常数；s_i和W_i分别是第i层的输入脉冲和突触权重；φ表示神经元阈值，当膜电位强到超过φ时，脉冲神经元就会出现脉冲响应；v和u分别表示不响应核和突触核；ε_i表示第i层膜电位的大小；δ是Kronecker增量函数；O是UEE的输出；

最后对三个模块的输出O，F_UER，F_CFE通过串联进行连接输入到三个全连接层进行融合。