[发明专利]基于骨骼信息和时空特征的参会动作识别方法

权利要求书

1.一种基于骨骼信息和时空特征的参会动作识别方法，通过处理视频会议监控画面中人体骨骼关节点坐标序列，确定人体参会动作，该方法步骤如下：

1)骨骼关节点坐标序列获取

获取视频画面中人体上半身8个骨骼关节点的坐标信息，依次为鼻子尖、脖子正中心、右肩端、右上臂正中心、右手腕中心、左肩端、左上臂正中心、左手腕中心；一段视频包含T帧图像，视频中关节点坐标序列表示为[X₀，X₁，...，X_t，...，X_T-1]，视频中第t帧图像所包含的坐标序列表示为X_t＝(x_t，0，x_t，1，...，x_t，l，...，x_t，15)，其中l＝0，1，...，15，(x_t，0，x_t，1)代表第t帧图像中第一个关节点鼻子尖的坐标，(x_t，2，x_t，3)代表第t帧图像中第二个关节点脖子正中心的坐标，以此类推，(x_t，14，x_t，15)代表第t帧图像中第八个关节点左手腕中心的坐标；

2)空间特征序列计算

a.对于第t帧图像，通过计算两个关节点之间的水平距离F_1，t，c和垂直距离F_2，t，c，提取原子动作的距离特征，其中在八个关节点l中任取两个关节点l₁和l₂，l₁≠l₂，其中l₁，l₂＝0，2，...，14为水平方向的坐标，l₁，l₂＝1，3，...，15为垂直方向的坐标，不同的2个关节点的组合方式序数定义为c，共计28种方式，则当第t帧图像中关节点l₁和l₂对应的水平方向的坐标表示为垂直方向的坐标则表示为和和l₂的水平距离F_1，t，c和垂直距离F_2，t，c的计算公式表示为：

b.对于第t帧图像，通过计算与参会动作有关的关节角度F_3，t，d，提取原子动作的角度特征，其中d＝0，1，...，4，而与参会动作有关的关节角分别为鼻子尖到左右肩端连接直线间的夹角、脖子正中心到鼻子尖连接直线和脖子正中心到左肩端连接直线的夹角、脖子正中心到鼻子尖连接直线和脖子正中心到右肩端连接直线的夹角、左手上臂和下臂之间的夹角、右手上臂和下臂之间的夹角；

c.对视频中的每帧图像按步骤a、步骤b进行距离特征和角度特征提取，得到参会动作的空间特征序列表示为其中F_t＝(F_1，t，0，...，F_1，t，27，F_2，t，0，...，F_2，t，27，F_3，t，0，...，F_3，t，4)；

3)原子动作编号序列获取

a.根据具体应用场景，设定V类原子动作，依据动作关注度高低，对原子动作进行优先级排序，获得原子动作编号集合表示为

b.在不同原子动作中，空间特征存在明显差异，通过寻找每个原子动作最具代表性的关节角度和关节点距离的范围，制定第类原子动作的判断标准：定义U_1，v，c、L_1，v，c、U_2，v，c、L_2，v，c表示第v类原子动作的第c个关节水平、垂直距离特征取值范围的上、下限，U_3，v，d、L_3，v，d表示第v类原子动作的第d个关节角度特征的取值范围的上、下限；

c.根据原子动作优先级，对第t帧图像中的人体动作进行原子动作分类；若第t帧的空间特征满足L_1，v，c＜F_1，t，c＜U_1，v，c、L_2，v，c＜F_2，t，c＜U_2，v，c和L_3，v，d＜F_3，t，d＜U_3，v，d，则第t帧图像中动作类别属于第v类原子动作，第t帧图像对应时刻的观测值为

d.对视频中的每帧图像按步骤c进行原子动作分类，得到视频的观测序列，即原子动作编号序列为O＝(o₀，o₂，...，o_T-1)；

4)不同参会动作对应的隐马尔科夫模型即HMM构建

a.根据具体应用场景，设定K类参会动作，则参会动作编号集合表示为第k类参会动作的训练数据，即原子动作编号序列为其中o_0，k，o_1，k，...，o_T-1，k为观测序列；与观测序列相应的隐藏序列为I_k＝(i_0，k，i_1，k，...，i_T-1，k)，i_t，k∈Q，Q＝(q₀，q₁，...，q_N-1)为隐藏状态集合，N为隐藏状态个数；

b.依据第k类参会动作的训练数据O_k，对相应参会动作进行HMM建模；定义第k类参会动作的HMM参数为r为迭代次数，其中状态转移矩阵表示在第t帧图像对应时刻处于状态q_n的条件下、第t+1帧图像对应时刻转移到状态q_m的概率，而观察概率矩阵表示为表示在第t帧图像对应时刻处于状态q_n的条件下，观测值为原子动作编号v的概率，初始状态概率矢量为代表第0帧图像对应时刻的状态为q_n的概率；符号[]代表矩阵，下标N×N、N×V及1×N代表矩阵的维度；

c.初始化HMM参数为定义最大迭代次数R，最大对数似然值误差δ；

d.在参数的条件下，定义α_t，k(n)代表第t帧图像对应时刻处于状态q_n、观测序列为o_0，k，o_1，k，...，o_t，k的前向概率；第0帧图像对应时刻下前向概率表示为设置t＝0，1，...，T-2，对于所有隐藏状态前向概率的计算公式如下：

而在参数为的条件下，观测序列为O_k的概率对数似然值表示为

e.在r≥1的前提下，利用第r次和第r-1次迭代获取的概率对数似然值和计算对数似然值误差δ^r，计算公式为：

符号表示在参数为的条件下，观测序列为O_k的概率，表示上一次迭代计算得到的HMM参数；

f.定义β_t，k(n)表示第t帧图像对应时刻下处于状态q_n的条件下，观测序列为o_t+1，k，o_t+2，k，...，o_T-1，k的后验概率，T-1帧图像对应时刻下，β_T-1(n)＝1，设置t＝T-2，T-3，...，0，对所有隐藏状态后向概率表示为：

g.定义概率ξ_t，k(m，n)表示观测序列为O_k，第t帧图像对应时刻下处于状态q_n，第t+1帧图像对应时刻转移到状态q_m的概率，计算公式如下：

而γ_t，k(n)代表第t帧图像对应时刻状态为q_n的概率，表示为：

h.使用重估公式计算HMM参数表示为：

i.执行步骤d至步骤h直到迭代次数r＝R-1或对数似然值误差δ^r＜δ，得到训练完成的HMM参数

5)人体参会动作识别

a.对于未知分类的原子动作编号序列O＝(o₀，o₂，...，o_T-1)，依据步骤4)中的步骤d方法，计算O在不同参会动作对应的HMM参数λ_k下的对数似然值logP{O|λ_k}；

b.通过计算最大对数似然值，进行参会动作识别，参会动作编号表示为：

其中等号右方表示logP{O|λ_k}为最大值时所对应的参数k，参会动作识别完成，识别结果即为参会动作编号对应的动作类别。