[发明专利]一种基于堆叠递归单元的多级残差网络的动作识别方法

说明书

本发明中提出的一种基于堆叠递归单元的多级残差网络的动作识别方法，其主要内容包括：残差网络、堆叠递归单元、数据集，其过程为，利用残差网络表示所需的残差映射，针对每个构建块的堆叠层描述另一映射，选择最后三组残差块的输出激活作为低中高级三个表示，将这些外观表示推入堆叠递归单元中以获得时间和深度上的视频表示，接着平均激活张量，使用不同方法来融合每个时间步骤的所有预测，采用平均池和最大池进行最终的动作预测，最后把网络中的不同层次的信息结合起来，并计算出最终的预测结果。本发明提出的基于堆叠递归单元的多级残差网络，减少了快速移动、光照变化、遮挡和视点变化对动作识别的影响，提高了识别的准确性和整体效率。

技术领域

本发明涉及动作识别领域，尤其是涉及了一种基于堆叠递归单元的多级残差网络的动作识别方法。

背景技术

人体动作识别作为当前计算机视觉领域的研究热点，涉及了图像处理、模式识别、人工智能等多个学科。基于视频和图像的人体动作识别技术包括人体区域检测、动作和姿态分割、基于动作识别的目标分析和行为理解等。对人体动作进行自动识别和分析将会带来一种全新的交互方式，在高级人机交互、视频监控分析、体育运动分析、基于内容的检索等方面都具有广阔的应用前景。具体地，在高级人机交互领域，计算机通过视频采集设备收集人体动作视频信息，通过动作识别技术来分析和理解人体动作所表达的内容，从而达到人与机器顺利交互的目的。在视频监控分析中，通过对公共场合的人群进行动作识别，可以在一定程度上保障公共安全。在体育运动分析中，通过对体育运动进行客观和量化的分析、统计运动数据，可以作为一种科学直观的辅助识别手段，用于创建个性化的体育训练和分析系统，如指导运动员进行科学有效的训练，也可以辅助赛事直播评论员进行评论和讲解。在基于内容的检索中，通过对视频和图像中的人体运动和动作信息进行识别，可以对不同类型的视频和图像进行标识，帮助人们在海量的视频和图像信息数据中快速找到所需内容，从而实现高效地管理和查询视频或图像数据库。然而，现有的动作识别技术主要受快速移动、光照变化、遮挡和视点变化的影响，特别是如何充分利用时域信息一直是亟待解决的问题。

本发明提出了一种基于堆叠递归单元的多级残差网络的动作识别方法，利用残差网络表示所需的残差映射，针对每个构建块的堆叠层描述另一映射，选择最后三组残差块的输出激活作为低中高级三个表示，将这些外观表示推入堆叠递归单元中以获得时间和深度上的视频表示，接着平均激活张量，使用不同方法来融合每个时间步骤的所有预测，采用平均池和最大池进行最终的动作预测，最后把网络中的不同层次的信息结合起来，并计算出最终的预测结果。本发明提出的基于堆叠递归单元的多级残差网络，减少了快速移动、光照变化、遮挡和视点变化对动作识别的影响，提高了识别的准确性和整体效率。

发明内容

针对受快速移动、光照变化、遮挡和视点变化影响的问题，本发明的目的在于提供一种基于堆叠递归单元的多级残差网络的动作识别方法，利用残差网络表示所需的残差映射，针对每个构建块的堆叠层描述另一映射，选择最后三组残差块的输出激活作为低中高级三个表示，将这些外观表示推入堆叠递归单元中以获得时间和深度上的视频表示，接着平均激活张量，使用不同方法来融合每个时间步骤的所有预测，采用平均池和最大池进行最终的动作预测，最后把网络中的不同层次的信息结合起来，并计算出最终的预测结果。

为解决上述问题，本发明提供一种基于堆叠递归单元的多级残差网络的动作识别方法，其主要内容包括：

(一)残差网络；

(二)堆叠递归单元；

(三)数据集。