[发明专利]基于多任务生成对抗网络的跨视角步态识别方法

权利要求书

1.基于多任务生成对抗网络的跨视角步态识别方法，其特征在于，具体步骤为：

(1)输入不同视角下的行人视频帧序列，构造步态模版特征：

向量x_i是视角i下的步态模版特征，n_v是所有视角的数量；

(2)对于任意不同的视角u，v，使用卷积神经网络编码对应的步态模版特征x_u至隐空间，并得到在隐空间中的隐表示为z_u；

(3)在隐空间中对隐表示z_u进行视角变换，变换至角度v，得到隐表示z_v；

(4)将隐表示z_v以及通道的独热编码作为输入，经过多任务生成对抗网络中的生成网络后输出角度v下的伪模版特征

(5)根据模版特征x_u与伪模版特征计算逐像素损失L_p；

(6)使用多任务生成对抗网络中的判别网络，根据模版特征x_u与伪模版特征计算多任务对抗损失L_a；

(7)加权逐像素损失与多任务对抗损失，根据总损失L＝L_p+αL_a训练多任务生成对抗网络；

α作为超参数用来权衡逐像素损失与多任务对抗损失，定义了最终的损失函数后，使用后向传播算法交替更新编码器、视角变换层、生成器与判别器的参数；

所述的步态模版的构建步骤为：

(1)对原始视频帧序列的每一帧进行前背景分离，提取出步态轮廓图；并将步态轮廓图平移缩放至图像中心，得到中心化的步态轮廓图序列B₁，B₂，B₃，...，B_n}；

(2)对中心化的步态轮廓图序列中每一帧，计算标准化的周期位置r_t，表示中心化的步态轮廓图的第t帧的标准化的周期位置；

(3)根据中心化的步态轮廓图序列B_t和对应的标准化的周期位置r_t，构造具有n_c个通道的周期能量图PEI模版特征；周期能量图中第k个通道的(x，y)坐标处的值按下式计算：

其中：

m代表每个通道所覆盖的时间域窗口大小，T(k)决定了每个通道覆盖的时间域的范围；

所述多任务生成对抗网络主要由编码器、视角变换层、生成器和判别器四部分组成；其中：

(a)编码器：使用卷积神经网络作为模型中的编码器，编码器的输入x_u是视角为u的PEI模版；输入的尺度大小为64×64×n_c；PEI模版的每个通道被独立的送入编码器中，之后使用时间池化并经过全连接层后提取出有效的特征隐表示z_u作为编码器的输出；

(b)视角变换层：假定步态数据随着视角的变化分布在一个高维的流形上，流形中的样本朝着特定的方向移动以保持身份信息的条件下实现视角的变化；给定隐空间的隐表示z_u，视角变换可以描述为：

其中，h_i表示由视角i-1到视角i的变换向量，z_v是视角v下的隐表示；

(c)生成器：通过把隐表示z_v作为输入，生成在视角v下的步态模版；生成器由五个反卷积层组成，并使用ReLU作为激励函数；随机选择PEI模版的一个通道进行重构，以此来保证隐表示能够保存所有通道的信息；定义生成器的输入为[z_v，c]，c为通道的独热编码表示；

(d)判别器：判别器的架构除了不采用时间池化操作以及输出层的维度和编码器不同外，其余结构和编码器相同；定义判别器的输出维度为n_v+n_c+n_d，其中n_v是视角的数量，n_c是PEI通道的数量，n_d是训练集中不同身份的数量；判别器的输出对应n_v+n_c+n_d个子判别器，子判别器之间共享除了最后一层以外的参数；并且，每个判别器负责不同的判别任务来判断是否生成的样本属于特定的分布。