[发明专利]一种基于星形生成对抗网络的步态图像合成方法

权利要求书

1.一种基于星形生成对抗网络的步态图像合成方法，其特征在于，所述的步态图像合成方法包括以下步骤：

S1、使用卷积层、BN层、Relu层和池化层构建基于编码-解码结构的图像生成器，用于生成不同类型的步态图像；

S2、使用卷积层、BN层、Relu层和池化层构建图像判别器，用于对合成的假步态图像与真实步态图像进行判别，并对合成的假步态图像进行视角分类；

S3、基于生成器输出的假步态图像设计损失函数其中表示对抗损失函数、表示域分类损失函数，表示重构损失函数，三类损失函数的计算方法如下：

假设真实步态样本为X，生成器生成的步态假样本为Y，则对抗损失函数的表达式为：

其中logD(X)表示将真实步态样本X输入判别器D后得到的输出值的对数值，表示logD(X)在真实步态样本X的整体分布上的均值，G(X,v_t)表示生成器合成的在目标域为v_t时的步态假样本，D(G(X,v_t))表示将假样本G(X,v_t)输入判别器D后得到的输出值，当X取不同的步态样本时，会生成在目标域v_t下的不同的假步态图像G(X,v_t)，表示当X取不同的步态样本、v_t为不同的目标域时得到的所有log(1-D(G(X,v_t)))的均值；

域分类损失函数的表达式为：

其中D_view(v_t|X)表示将真实步态样本X输入域判别器D_view时，域判别器D_view将X分类为目标域v_t的概率，表示当X取不同的步态样本、v_t取不同的目标域时得到的所有概率对数值logD_view(v_t|X)的均值，D_view(v_t|G(X,v_t))表示将假步态图像G(X,v_t)输入域判别器D_view时，D_view将G(X,v_t)分类为目标域v_t的概率，表示当X取不同的步态样本、v_t取不同的目标域时得到的所有概率对数值-logD_view(v_t|G(X,v_t))的均值；

重构损失函数的表达式为：

其中G(X,v_t)表示将真实步态样本X输入生成器G后，G合成的在目标域为v_t时的步态假样本，G(G(X,v_t),v)表示将假样本G(X,v_t)输入生成器G后，G合成的在源域v上的步态假样本，即重构样本，其中源域v表示真实步态样本X所对应的域，||X-G(G(X,v_t),v)||₁表示真实步态样本与重构样本之间差值的L1范数，表示当X取不同的步态样本、目标域v_t和源域v取不同的值时得到的所有L1范数||X-G(G(X,v_t),v)||₁的均值；

S4、获取不同域下的步态样本作为训练数据，依次将每一个域内的步态样本和待生成步态样本的目标域标签作为输入，将目标域内的步态样本作为输出，通过Adam优化算法对星形生成对抗网络进行训练，目标域的标签用由0、1组成的向量表示，假设目标域总数为O，则第α个目标域的标签用向量表示；

S5、将真实步态样本X和目标域标签t_label输入经步骤S4训练后的星形生成对抗网络，训练后的星形生成对抗网络的生成器G生成该目标域内的步态假样本，通过使t_label取不同值，即可得到不同域内的步态假样本；

S6、使用N个、神经元数目为n_e的全连接层依次连接构造分布对齐网络，用于对真实步态样本和步态假样本进行分布对齐，其中N∈{3,4,6}，n_e∈{256,512,1024}；

S7、基于同一个目标的真实步态样本与合成步态假样本的预计最大平均差设计损失函数，假设真实步态样本的集合为表示第l个真实样本，表示第l个真实样本对应的身份标签，n表示真实步态样本数量，合成步态假样本的集合为表示第s个合成步态假样本，表示第s个合成步态假样本对应的身份标签，m表示假步态样本数量，两个集合的标签集合满足则分布对齐的表达式为：

其中η∈[0，1]表示用于平衡边缘分布P和条件分布Q的自适应因子，c∈{1,...,C}表示目标的身份标签，P_r表示真实步态样本的边缘分布，P_f表示合成步态假样本的边缘分布，Q_r表示真实步态样本的条件分布，Q_f表示合成步态假样本的条件分布，D_F(P_r,P_f)表示边缘分布对齐表达式，表示目标c的条件分布对齐表达式，将真实步态样本与合成步态假样本之间的分布差异通过预测最大平均差表示，则分布对齐表达式写为：

其中表示希尔伯特空间，F(·)表示分布对齐网络，x_r表示由真实步态样本拼接形成的矩阵，表示对将x_r输入分布对齐网络F(·)后得到的输出值求均值，x_f表示由假步态样本拼接形成的矩阵，表示对将x_f输入分布对齐网络F(·)后得到的输出值求均值，表示由目标c的真实步态样本拼接形成的矩阵，表示对将输入分布对齐网络F(·)后得到的输出值求均值，表示由目标c的假步态样本拼接形成的矩阵，表示对将输入分布对齐网络F(·)后得到的输出值求均值；根据表示定理，将分布对齐表达式写为：

其中tr(·)表示求矩阵的迹，F∈R^(n+m)×d表示由每个样本拼接而成的矩阵，在该矩阵中，每一行表示一个样本x，d表示一个样本的维度，而矩阵则用于计算不同样本之间的分布差异，其中M₀用于计算所有真实步态样本的总体分布与所有合成步态假样本的总体分布之间的差异，M_c用于计算对应于目标c的真实步态样本的总体分布与合成步态假样本的总体分布之间的差异，η∈[0，1]表示用于平衡边缘分布P和条件分布Q的自适应因，将矩阵M₀的第i行第j列的元素定义为(M₀)_ij，矩阵M_c的第i行第j列的元素定义为(M_c)_ij，则(M₀)_ij和(M_c)_ij的计算方法如下：

其中x_i和x_j分别表示特征矩阵F中第i行和第j行的样本，n和m表示真实样本和假样本的数量，n_c和m_c表示目标c对应的真实样本和假样本的数量，分布对齐网络的训练则通过最小化损失函数的输出值来实现；依据该损失函数对步骤S6中构造的分布对齐网络进行训练，训练完成后，将同一个目标的真实样本与步态假样本输入分布对齐网络，得到完成分布对齐后的真实步态样本与步态假样本；

S8、将同一个目标的、经分布对齐后的真实步态样本与步态假样本按照不同的域进行融合，即将域k下的真实步态样本与域k下的步态假样本合并到一起，从而实现步态数据库的扩充。