[发明专利]一种基于栈式自编码器的跨视角行为识别方法

说明书

本发明公开了一种基于栈式自编码器的跨视角行为识别方法，包括如下过程：分别对源视角下的行为数据和目标视角下的行为数据进行处理，分别形成源视角下的行为数据的视觉词袋表征和目标视角下的行为数据的视觉词袋表征；来自不同域下单词之间的关联度作为连接权值构建二分图，根据二分图并利用协同聚类算法得到跨视角对齐表征；基于堆栈式自编码器的跨域特征整合，采用半监督域适应方法分别为源视角下的行为数据的样本和目标视角下的行为数据的样本各设计一路栈式混合自编码器，将训练完成的栈式自编码器的输出值作为跨视角行为表征；将测试样本输入到已经训练好的栈式自编码网络结构中，通过SVM分类器对跨视角行为表征进行分类，得到识别结果。

技术领域

本发明涉及计算机视觉领域，具体是一种基于栈式自编码器的跨视角行为识别方法。

背景技术

现有的跨视角行为识别算法可以归纳为三大类：第一类利用多视角下的二维信息重构对象的三维模型，但是这类算法在重建表面结构时，很难避免由于前景分割不准确而产生的阴影、孔洞或其他负面因素，而且当从多个视点重建三维数据时，需要知道对象在三维空间中的方向信息，导致模型参数较多、建模过程繁琐。第二类是直接提取对视角变化不敏感的动作特征，这类方法在神经网络引入后能够实现较理想的识别结果，但是对于俯视角和侧视角这种差异过大的情况，前期训练网络的效率也有所下降。最后一类是近几年较为关注的方法，也是本发明所沿用的一种思想，即通过探索异构特征之间的关联来构建一个公共特征子空间，使不同视角下的特征数据都能映射到这个子空间上，从而实现不同视角下数据迁移学习的目的，这类算法可以有效削弱不同数据域中数据分布的差异，有效利用有限容量的训练样本完成更大容量样本集的测试，使得行为识别模型的泛化能力更强。但是这类方法通常默认了这个公共特征子空间是一定存在的，而当俯视角和侧视角之间的模态差异一旦过大，这种子空间是不存在的，这种假设显然不成立，以致于后续的累积误差会越来越大。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于栈式自编码器的跨视角行为识别方法，包括如下过程：

分别对源视角下的行为数据和目标视角下的行为数据进行处理，在预处理阶段选择iDTs作为行为表征，然后利用PCA做降维处理，并通过聚类分别形成源视角下的行为数据的视觉词袋表征和目标视角下的行为数据的视觉词袋表征

分别以源视角下的行为数据的视觉词袋表征和目标视觉下的行为数据的视觉词袋表征作为顶点，通过计算分别来自和中的任意两个单词之间的相似度来构建关联度矩阵Γ，在得到视觉词袋中任意两个单词的关联之后，建立二分图G＝{S,E,W}，根据二分图＝{S,E,W}，并利用协同聚类算法得到跨视角对齐表征；

基于堆栈式自编码器的跨域特征整合，采用半监督域适应方法分别为源视角下的行为数据的样本和目标视角下的行为数据的样本各设计一路栈式混合自编码器，将得到的跨视角对齐表征作为两路编码器的共同输出；预处理环节在输入数据中引入高斯噪声干扰，通过依次对每个子编码器通过编码来学习低维特征，然后通过解码过程重构数据，得到训练完成的栈式自编码器，将训练完成的栈式自编码器的输出值作为跨视角行为表征；

用SVM分类器替换最后一个编码器的softmax层，构建出一个新的网络框架；利用栈式自编码器输出的跨视角行为表征来训练基于RBF核的多类SVM分类器，RBF核的多类SVM分类器参数由六次交叉验证确定；

测试过程将测试样本输入到已经训练好的栈式自编码网络结构中，得到跨视角行为表征，通过SVM分类器对跨视角行为表征进行分类，得到识别结果。

进一步的，所述的通过计算分别来自和中的任意两个单词之间的相似度来构建关联度矩阵Γ，包括如下过程：

式中：Dist(·)代表和之间的欧氏距离；和分别为和的m邻域特征集合；σ为所有邻域内特征对的匹配距离平均值。