[发明专利]基于图形化交互关系建模的组群识别方法

摘要

本发明公开了一种基于图形化交互关系建模的组群识别方法，所述方法包括下述过程：识别并跟踪人体目标；构建以多粒度信息融合模型表征的人体目标底层特征基础模型；基于基础模型进行深度学习，获得底层特征深度学习模型；基于底层特征基础模型和底层特征深度学习模型构建人体目标交互关系；基于交互关系识别组群的构成，并分析其群体行为属性。应用本发明，能够解决现有组群识别方法建立交互关系考虑的因素少而导致组群识别精度低、易产生误判等的技术问题。

主权项

1.一种基于图形化交互关系建模的组群识别方法，其特征在于，所述方法包括下述过程：(1)人体目标识别跟踪过程：从视频图像中识别并跟踪人体目标；(2)人体目标底层特征基础模型获取过程：将跟踪到的人体目标连续L帧的图像序列作为输入序列，输入训练好的简单行为分类器，获得表征人体目标行为的行为属性Vaction_Label；构建人体目标跟踪属性V_tracking，t_s、t_e表示L帧视频图像序列的起始时间和截止时间，表示在起、止时间内的L帧视频图像序列中人体目标所有轨迹点横、纵坐标的均值，S表示人体目标轨迹的形状，HOG为人体目标轨迹的方向梯度直方图，HOF为人体目标轨迹的光流速度直方图，MBH_x和MBH_y分别为人体目标轨迹在x方向和y方向上的光流加速度；构建人体目标及其上下文区域的时空属性：建立人体目标的三维柱状时空邻域，将所述三维柱状时空邻域分为内、外两部分，内部为内核圆柱体，剩余的圆筒区域为人体目标的上下文区域，建立所述内核圆柱体的时空梯度统计向量，作为人体目标的时空属性Vfocal_person，建立所述圆筒区域的时空梯度统计向量，作为人体目标上下文区域的时空属性Vcontext；级联Vtracking、Vfocal_person、Vcontext和Vaction_Label，形成表征人体目标底层特征基础模型的多粒度信息融合模型：Vobject＝[Vtracking Vfocal_person Vcontext Vaction_label]；(3)人体目标底层特征模型再学习过程：定义为人体目标i在t时刻的底层特征基础模型，将作为循环神经网络RNN的输入数据，采用RNN递推学习，获得人体目标i在t时刻经深度学习后的底层特征深度学习模型x_i(t)，xi(t)＝Vobject‑i(t)＝[Vtracking‑i(t) Vfocal_person‑i(t) Vcontext‑i(t) Vaction_label‑i(t)]；(4)人体目标交互关系构建过程：获取人体目标i与人体目标j之间的内部交互信息M_ij(t)：i,j∈N，N为视频图像中所检测到的人体目标的数量，x_i(t)和x_j(t)分别为人体目标i和人体目标j在t时刻的底层特征学习数据，x_j(t)＝V_object‑j(t)＝[V_tracking‑j(t) V_{focal_person‑j}(t) V_context‑j(t) V_{action_label‑j}(t)]，r_ij‑1是x_i(t)的属性[V_tracking‑i(t) V_context‑i(t)]与x_j(t)的属性[V_tracking‑j(t) V_context‑j(t)]之间的相关系数，r_ij‑2是x_i(t)的属性[V_{focal_person‑i}(t) V_{action_label‑i}(t)]与x_j(t)的属性[V_{focal_person‑j}(t) V_{action_label‑j}(t)]之间的相关系数，且满足r₁,r₂∈[‑1,1]，C_ij、α为系数；获取其他人体目标传向人体目标i与人体目标j的信息p_ij(t)：定义人体目标i的上下文区域含有的、不包括人体目标j的人体目标数量为Ω，人体目标j的上下文区域含有的、不包括人体目标i的人体目标数量为Ψ，ρ_i为Ω个人体目标传向人体目标i的信息量，r_n是x_n(t)和x_i(t)之间的相关系数，x_n(t)＝V_object‑n(t)＝[V_tracking‑n(t) V_{focal_person‑n}(t) V_context‑n(t) V_{action_label‑n}(t)]，ρ_j为Ψ个人体目标传向人体目标j的信息量，r_m是x_m(t)和x_j(t)之间的相关系数，x_m(t)＝V_object‑m(t)＝[V_tracking‑m(t) V_{focal_person‑m}(t) V_context‑m(t) V_{action_label‑m}(t)]，K_ij、β为系数；(5)组群识别过程：构建图形化组群结构图：将视频图像中跟踪到的每个人体目标作为一个人体目标结点，将视频图像中的场景作为一个场景结点，人体目标结点与人体目标结点以及人体目标结点与场景结点的交互关系用连接边界表示，形成图形化组群结构图；对于人体目标i与人体目标j，比较Mij(t)和pij(t)的信息差△MPij(t)＝|Mij(t)‑pij(t)|，若△MPij(t)≤ρth，确定图形化组群结构图中的人体目标结点i和人体目标结点j之间不存在连接边界，否则，确定人体目标结点i和人体目标结点j之间存着连接边界ij；ρth为设定阈值；若人体目标结点与其他人体目标结点之间均不存在连接边界，则该人体目标结点与场景结点之间不存在连接边界；若人体目标结点与其他任意一个人体目标结点之间存在连接边界，则该人体目标结点与场景结点之间存在连接边界；通过连接边界连接的所有人体目标及场景识别为该场景下的一个组群。