[发明专利]基于骨骼信息和时空特征的参会动作识别方法

说明书

基于骨骼信息和时空特征的参会动作识别方法，属于计算机视觉领域，该方法包括以下步骤：获取视频会议监控画面中人体骨骼关节点的坐标序列；通过计算关节角度特征和关节点距离特征，得到人体动作的空间特征序列；根据空间特征对单帧图像的原子动作进行分类，进一步，确定视频中多帧图像的原子动作编号序列；通过构建不同参会动作对应的隐马尔科夫模型(hidden markovmodel,HMM)，学习原子动作的时间变化特征；经过计算未知分类的原子动作编号序列在不同参会动作对应HMM下的最大对数似然值，进行参会动作的识别。本发明可针对视频会议，准确、高效地进行人体参会动作识别。

技术领域

本发明涉及一种基于骨骼信息和时空特征的参会动作识别方法，属于计算机视觉领域。

背景技术

随着图像处理技术的发展，视频会议系统的研究也随着新技术的引入而发生重大变化。为了满足用户多样化需求，采用图像处理技术对视频会议中参会人员动作进行识别，能够及时、有效地反映参会人员的开会状态，帮助有关管理部门精准掌握视频会议开会效果，从而助力视频会议实现自动化和智能化。本发明根据获取的参会人员人体骨骼数据，对参会状态下的人体动作进行自动识别，以便管理部门更有效地对会议进行安排和调度，具有实际意义和应用价值。

使用深度学习方法进行人体动作识别时，通过构建具有学习能力的层级式神经网络来对数据进行分析，缺点是需要庞大的数据量，否则模型训练过程可能会出现过拟合的情况。专利号为CN 113255616 A、发明人为胡谋法、发明名称为“一种基于深度学习的视频行为识别方法”中提出一种视频中人体行为识别方法。其方法为：构建视频行为识别网络；以二维卷积神经网络Resnet作为视频行为识别网络的骨干网络，在骨干网络中插入帧间时域信息提取模块的卷积神经网络；二维卷积神经网络Resnet用于提取视频中目标的静态特征；帧间时域信息提取模块用于对骨干网络进行优化，使用双线性操作来提取帧间信息特征，将帧内信息和帧间信息进行融合得到高辨识度的时空特征用于行为分类。该方法采用人体行为训练样本对神经网络模型进行训练和参数优化，进一步实现视频中的人体行为识别。但是该方法所构建的神经网络模型深度较大，导致模型需要大量的训练样本。而视频会议开会中的参会动作存在种类少、数据样本少的特点，使用深度大的神经网络模型可能会出现模型训练过拟合，从而导致动作识别效果较差。

发明内容

为克服现有技术中存在的不足，本发明提出了一种基于骨骼信息和时空特征的参会动作识别方法，以解决在视频会议参会动作数据集较少的情况下，模型训练出现过拟合而导致动作识别结果较差的问题。

本发明采用的技术方案如下：

一种基于骨骼信息和时空特征的参会动作识别方法，通过处理视频会议监控画面中人体骨骼关节点坐标序列，确定人体参会动作，该方法步骤如下：

1)骨骼关节点坐标序列获取

获取视频画面中人体上半身8个骨骼关节点的坐标信息，依次为鼻子尖、脖子正中心、右肩端、右上臂正中心、右手腕中心、左肩端、左上臂正中心、左手腕中心；一段视频包含T帧图像，视频中关节点坐标序列表示为[X₀，X₁，...，X_t，...,X_T-1]，视频中第t帧图像所包含的坐标序列表示为X_t＝(x_t，0，x_t，1，...，x_t，l，...，x_t，15)，其中l＝0,1，…，15，(x_t,0,x_t,1)代表第t帧图像中第一个关节点鼻子尖的坐标，(x_t,2,x_t,3)代表第t帧图像中第二个关节点脖子正中心的坐标，以此类推,(x_t,14,x_t,15)代表第t帧图像中第八个关节点左手腕中心的坐标；

2)空间特征序列计算