[发明专利]基于动作知识库与集成学习的视频行为识别方法及系统

说明书

本发明公开了一种基于动作知识库与集成学习的视频行为识别方法及系统，使用3D深度残差网络提取输入视频的全局特征，借助动作知识库来提取基于视觉的动作状态特征和基于语言的动作状态特征；将提取出的特征依照人体部位构建对应的图结构，构建一种多头图卷积特征融合网络来对构建的图结构进行信息融合；构建五种结构类似的弱分类器，前三个分类器输入为上述三种特征，后两个分类器输入为级联之后的特征；提出了一种动态的交叉熵损失函数，来对不同的弱分类器的结果进行集成与分类。实现对视频段中包含的动作的分类，提升了分类准确率。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于动作知识库与集成学习的视频行为识别方法及系统。

背景技术

随着深度学习的发展，计算机视觉相关研究不仅仅局限于图像理解方面，更多的针对视频信息的任务涌现出来，行为识别的目的是针对成段的视频进行理解，对输入视频段中的动作信息进行分析，给出视频段中包含动作的动作类标。互联网时代的到来，人们走进了信息爆炸的时代，在众多领域，大量的视频数据出现在人们的日常生活中，例如：安防监控领域、人机交互领域以及各大视频网站、小视频应用等等，行为分析是处理这些信息的其中一个关键技术，其中涉及到多种领域的交叉，例如计算机视觉领域、模式识别、计算机科学与技术等等。

近年来，结合深度学习相关技术，来解决视频理解的相关问题成为了研究热点。深度网络对输入信息的处理，可以看做是一个特征提取的过程，所以，对于特征提取的合适的解决方案的探索是具有深远意义的。一个好的特征提取器所提取的特征应该具有以下的几个特性：一是分辨能力，对于不同的类别，所提取得特征应该具有区别能力，显著的将不同类别区分出来。二是高效性，特征提取的过程应该尽量减少对计算能力、存储能力等外部条件的依赖，这样可以便于部署。三是鲁棒性，针对不同的视频中所体现的内容都应该具有分辨能力，不同的视频往往其光照条件、焦距、分辨率等都会有很大的差别，这对提取的特征提出了非常大的挑战。对于特征提取解决方案的研究，应该满足上述几个条件，这样对于模型的落地实用具有深远意义。行为识别相比计算机视觉其他任务，在现实中有广泛的应用意义。对于行为识别的任务的研究，将极大的推动视频相关任务在生活中的各项应用。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供基于动作知识库与集成学习的视频行为识别方法及系统，为行为识别提供动作知识支持的特征，同时对最终分类的结果进行集成，使模型自主的选择使用基于知识的特征和基于3D卷积网络的特征，从而提升模型在行为识别任务上的性能。

本发明采用以下技术方案：

一种基于动作知识库与集成学习的视频行为识别方法，包括以下步骤：

S1、对输入视频帧进行人体部位框检测，得到人体部位框；

S2、根据步骤S1得到的人体部位框B，通过感兴趣区域池化操作并借助动作知识库中人体部位状态的约束条件，提取不同部位基于视觉的动作状态特征；

S3、使用步骤S2提取到的基于视觉的动作状态特征，并同时对应部位的动作状态标签，形成一个三元组短语部位，动作状态，物体，将三元组短语部位，动作状态，物体输入到自然语言处理工具Bert中，得到基于语言的动作状态特征；

S4、将原输入视频帧输入到经过预训练和微调的3D深度残差卷积网络中，通过视频段标签的约束，得到基于整个视频段的时空特征；

S5、构建人体部位图结构，图中节点为步骤S2和步骤S3中得到的六个不同部位的特征，将步骤S4中得到的基于整个视频段的时空特征作为一个节点，图结构一共有七个节点；最终得到的两种图结构分别为基于视觉的动作状态特征+基于整个视频段的时空特征构成的图结构、基于语言的动作状态特征+基于整个视频段的时空特征构成的图结构；