[发明专利]一种基于深度学习的细粒度行为识别方法

说明书

本发明涉及一种基于深度学习的细粒度行为识别方法，包括如下步骤：选用公开数据集，构建细粒度行为识别模型M，该模型包括基础行为识别模型TSN/TSM和行为扩展模型DFLM两部分；通过M中的基础行为识别模型对公开数据集中的视频进行特征提取，然后根据特征及相应标签构建得到三条支流结构；通过行为扩展模型DFLM执行自底向上和自顶向下两个阶段得到元素级和集合级的新特征；构建损失函数并通过损失函数对模型M进行训练，得到训练好的细粒度行为识别模型；通过将元素级和集合级的新特征输入到现有的分类器模型中，得到最终的细粒度行为识别结果。本发明方法能够对实际中行为间的差异性引起的更为复杂多变的更细粒度行为进行准确的识别。

技术领域

本发明涉及细粒度行为识别领域，特别涉及一种基于深度学习的细粒度行为识别方法。

背景技术

由于行为识别任务在安全监控、自动驾驶、自动视频标注等领域都有广泛的应用，该研究在计算机视觉领域中得到了极大的关注。迄今为止，许多行为识别的创新性工作在一些样本数量大的基准数据集(如Kinetics和ActivityNet)上都取得了显著性的进展，然而此类数据集专注于粗粒度类别的行为，如“奔跑”和“潜水”；基于该类数据集训练得到的识别模型会忽略行为主体本身，仅关注背景信息即可完成分类任务：如区分潜水与奔跑这两种行为，此类模型可以用水池和运动场这种背景信息进行判别，然而实际中的行为间的差异性更为复杂多变且更细粒度化，如竞走和跑步；两者行为差异较为细节且往往具有相似的背景信息，基于粗粒度数据集提出的方法并不适合用于此类行为识别任务。因此，对于细粒度行为识别的方法研究也必不可少。

细粒度行为识别的一大挑战在于不同行为间的差异微小且复杂，识别模型难以学习到判别性特征。基于细粒度识别任务的基准数据集提出后，相关研究工作也取得一定进展，如Rohrbach等人对行为发生部分进行空间部分标注，以更好地关注行为间判别性信息；除此技术，也有近期工作利用跨模态或多模态信息来丰富细粒度行为的表示，利用辅助模态信息区分行为间差异，然而，以上方法却忽略了粗粒度和细粒度标签之间的层次语义关系对细粒度行为分类的贡献。

实事上，不同的细粒度行为也会存在一个共同的粗粒度标签，即不同细粒度类别同属于一个共同的粗粒度类别，这种标签关系类似于父母和孩子的关系，即一种层次语义关系；而值得注意的是，同一个父类下的不同子动作往往容易被混淆成同一个动作，这是因为拥有同一粗粒度标签的不同细粒度行为的类间特有语义表征少，反而存在大量相似的共同语义信息；例如，“打开橱柜”和“打开冰箱”的动作具有一致打开过程的语义模式，而操作对象的具体语义信息却不一致；与此同时，在细粒度数据集中，不同粗粒度标签下的细粒度行为之间可以视为简单样本对，即类间差异大，而同一粗粒度标签下的不同细粒度行为是难样本对，且简单样本对的比例是大于难样本对的。因此，若只使用细粒度行为标签进行监督训练，识别模型偏向于简单样本间的特征差异，而少关注难样本间的弱判别性特征信息。

发明内容

针对现有技术存在的上述问题，本发明要解决的技术问题是：目前现有技术对视频中的细粒度行为识别不够准确。

为解决上述技术问题，本发明采用如下技术方案：

一种基于深度学习的细粒度行为识别方法，包括如下步骤：

S100：选用包含N个视频数据的公开数据集其中V_i表示第i个视频，每个视频包含该视频的事件级语义标签集合级语义标签和元素级语义标签其中，C_eve、C_set和C_ele分别表示事件级、集合级和元素级对应的类别数目；

S200：构建细粒度行为识别模型M，该细粒度行为识别模型M包括基础行为识别模型TSN/TSM和行为扩展模型DFLM：

S300：令i＝1；