[发明专利]一种基于栈式自编码器的跨视角行为识别方法

权利要求书

1.一种基于栈式自编码器的跨视角行为识别方法，其特征在于，包括如下过程：

分别对源视角下的行为数据和目标视角下的行为数据进行处理，在预处理阶段选择iDTs作为行为表征，然后利用PCA做降维处理，并通过聚类分别形成源视角下的行为数据的视觉词袋表征和目标视角下的行为数据的视觉词袋表征

分别以源视角下的行为数据的视觉词袋表征和目标视觉下的行为数据的视觉词袋表征作为顶点，通过计算分别来自和中的任意两个单词之间的相似度来构建关联度矩阵Γ，在得到视觉词袋中任意两个单词的关联之后，建立二分图G＝{S,E,W}，根据二分图＝{S,E,W}，并利用协同聚类算法得到跨视角对齐表征；

基于堆栈式自编码器的跨域特征整合，采用半监督域适应方法分别为源视角下的行为数据的样本和目标视角下的行为数据的样本各设计一路栈式混合自编码器，将得到的跨视角对齐表征作为两路编码器的共同输出；预处理环节在输入数据中引入高斯噪声干扰，通过依次对每个子编码器通过编码来学习低维特征，然后通过解码过程重构数据，得到训练完成的栈式自编码器，将训练完成的栈式自编码器的输出值作为跨视角行为表征；

用SVM分类器替换最后一个编码器的softmax层，构建出一个新的网络框架；利用栈式自编码器输出的跨视角行为表征来训练基于RBF核的多类SVM分类器，RBF核的多类SVM分类器参数由六次交叉验证确定；

测试过程将测试样本输入到已经训练好的栈式自编码网络结构中，得到跨视角行为表征，通过SVM分类器对跨视角行为表征进行分类，得到识别结果。

2.根据权利要求1所述的一种基于栈式自编码器的跨视角行为识别方法，其特征在于，所述的通过计算分别来自和中的任意两个单词之间的相似度来构建关联度矩阵Γ，包括如下过程：

式中：Dist(·)代表和之间的欧氏距离；和分别为和的m邻域特征集合；σ为所有邻域内特征对的匹配距离平均值。

3.根据权利要求1所述的一种基于栈式自编码器的跨视角行为识别方法，其特征在于，所述的根据二分图＝{S,E,W}，并利用协同聚类算法得到跨视角对齐表征，包括：

对关联度矩阵Γ进行正规化，则有：

式中：D₁(i,i)＝∑_jΓ(i,j)，D₂(j,j)＝∑_iΓ(i,j)；

对进行SVD分解，使用l＝log₂k个特征值对应的左奇异值向量U＝(u₂,u₃,...,u_l+1)和右奇异值向量V＝(v₂,v₃,...,v_l+1)构建大小为的嵌入矩阵Q：

式中：矩阵Q的每一行元素代表一个l维行向量，对应着一个视觉单词的特征向量。运用聚类思想对矩阵Q进行k类划分，得到的聚类中心即为跨视角视觉单词；从训练样本中随机选取一个视觉词袋特征对k个聚类中心c₁,c₂,...,c_k进行初始化，每个中心特征向量均为一个l维特征行向量，经过迭代处理来最小化如下代价函数：

当得到映射C＝[c₁,c₂,...,c_k]^T后，来自任一视角下的关键帧样本可以被映射到新的公共特征空间，即可得到跨视角行为表征。

4.根据权利要求1所述的一种基于栈式自编码器的跨视角行为识别方法，其特征在于，所述的采用半监督域适应方法分别为源视角下的行为数据的样本和目标视角下的行为数据的样本各设计一路栈式混合自编码器，包括：每一路栈式自编码器包含多层浅层自编码器，每一层浅层自编码器均由降噪自编码器和稀疏自编码器级联构成，每一层的浅层自编码器先在本层的结构中进行编码、解码，将解码出来的特征输入到下一层浅层自编码器，多个浅层自编码器训练结束后，再将它们合为一体，级联成一个栈式自编码器。