[发明专利]基于双链深度双流网络的小数据跨域动作识别方法

摘要

本发明公开了一种基于双链深度双流网络的小数据跨域动作识别方法，实现了基于源域数据集对其它小规模数据集的高效动作识别，同时，提出了一个适用于跨域动作识别任务上的数据集CDSAR；该方法的具体步骤如下：(1)视频预处理；(2)基于双链深度双流网络模型搭建；(3)基于双链深度双流网络的目标函数构建；(4)基于双链深度双流网络的小数据跨域动作识别方法；本发明基于已知数据集可对其它仅有少量样本的数据集进行高效的跨域动作识别，能够有效解决目标数据集数据量少以及不同数据集之间数据分布不一致的问题，且算法收敛速度快。

主权项

1.一种基于双链深度双流网络的小数据跨域动作识别方法，；其特征在于该方法具体包含以下步骤：/n第1、视频预处理/n由于目标域数据集样本数较少，而且与源域数据集数据分布不一致，所以为了提高模型的泛化能力，使得模型更好地拟合目标域数据，并且为了防止训练时出现过拟合问题，采用了目标域困难样本选择及生成样本对的方法，将选出的目标域最难识别样本与源域样本一一匹对，生成正正对和正负对作为训练数据；采用困难样本选择能够有效提高模型的泛化能力；/n在模型训练的时候为了能够实现长时间动作的识别，分别从一个样本对的前、中、后三部分各选取一帧，利用这一对三帧图像来稀疏地表示这一个样本对；/n第2、基于双链深度双流网络模型搭建/n在第1步样本对生成的基础上，设计模型结构；选择基于双链深度双流网络的原因是双链网络的输入是数据对，非常适合处理数据相似性问题、数据分布问题和迁移学习问题，能够将任何神经网络当作双链网络的基础网络；而双流网络拥有两种模态的网络，彩图图像网络和光流网络，前者获取空间信息，后者获取时间信息，两个模态信息融合得到动作的时空信息，是动作识别里热门的深度网络，双链网络可以加入到双流网络中；/n此外，相同动作类样本的区分度可能不一样，有的动作表现的明显，有的动作表现的不明显；为了增加样本特征区分性，在每条网络的浅层后加入权值分配层，得到特征的区分性权值得分，然后将权值分配给最终的视频表示，进行分类；/n最后，一个视频内容有内在的不同模态，加权分配彩图和光流两个模态的分类得分能够结合彩图网络和光流网络的特性互相平衡彼此对动作的识别效果；于是在两个模态网络的全连接层的后面加了分类加权分配层，该层首先获取彩图和光流两个网络的分类得分，根据得分大小进行得分的加权处理，然后将得分分配给对应模态的全连接层类别特征，再进行分类并进行梯度回传；/n第3、基于双链深度双流网络的目标函数构建/n网络模型要实现的功能有两个，一是在双链网络中实现源域和目标域的域适应，混淆不同域的数据分布，使模型产生域不变特征；这里使用最大均值差异(MMD)算法来减少源域和目标域的数据分布差异；/n第二个功能是动作的分类，在最大均值差异的基础上，为了使域不变特征的分类效果更好，在交叉熵损失函数作用之前，在网络中又使用了对比损失函数(contrastive loss)，作用到最大均值差异损失的输出特征上；对比损失函数的作用是拉近相同类样本的距离，同时让不同类样本之间的距离大于某个阈值，起到了同类样本更聚集的效果；将经过对比损失函数作用产生的特征用交叉熵损失函数来进行分类，同时衡量源域和目标域特征的分类情况；/n上述三种损失函数均可以作用在空间流双链网络和时间流双链网络上；/n第4、基于双链深度双流网络的小数据跨域动作识别方法/n经过第2步和第3步后形成最终的基于双链深度双流网络的小数据跨域动作识别模型；模型的流程为：彩图图像网络和光流网络接收相同的样本对，两者的双链网络结构是相同的；在两种模态网络的双链网络中，将每条链的浅层特征输入到权值分配层中得到特征的区分性权重，将权重乘到全局平均池化层的输出特征上，赋予权重，此时每条链赋予权重的特征，被最大均值差异方法作用，使得特征分布尽可能相同，然后这些特征又被对比损失函数作用，使得相同类别的特征彼此聚集，最后将所有特征输入到全连接层中，得到类别特征，类别特征被作用于交叉熵损失函数，实现分类。/n