[发明专利]基于残差-循环神经网络的人体行为识别方法

权利要求书

1.一种基于残差-循环神经网络的人体行为识别方法，其特征在于，包括如下步骤：

(1)获取多个人体骨架关键点信息：

(1a)从数据集中获取n个带类别标签的原始人体视频样本，组成人体视频样本集V＝{V₁,V₂,...,V_i,...,V_n}，V的行为类别数量为R，并以t为帧间隔对每个视频样本V_i进行帧提取，得到V对应的帧图像集P＝{P₁,P₂,...,P_i,...,P_n}，其中，V_i表示第i个人体视频样本，n≥25000，P_i表示V_i对应的帧图像集合，P_i＝{P_i1,P_i2,...,P_ij,...,P_im}，P_ij表示V_i中的第j个帧图像，m表示帧图像的总数，m≥60；

(1b)对P_ij中的人体位置进行检测，并提取检测结果中的单人图像，得到P_i对应的单人图像集合，P_i′＝{P_i1′,P_i2′,...,P_ij′,...,P_im′}，则P对应的单人图像集为P′＝{P₁′,P₂′,...,P_i′,...,P_n′}；

(1c)对P_ij′进行骨架关键点检测，得到P_i′对应的包含18个骨架关键点位置的单人分布热图集合，Q_i′＝{Q_i1′,Q_i2′,...,Q_ij′,...,Q_im′}，则P′对应的单人分布热图集为Q′＝{Q₁′,Q₂′,...,Q_i′,...,Q_n′}，其中18个骨架关键点包括鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、左眼、右眼、左耳、右耳；

(1d)将分布热图Q_ij′中高亮点坐标位置组合，得到单个视频样本V_i对应的带类别标签的骨架关键点集合L_i′＝{L_i1′,L_i2′,...,L_ij′,...,L_im′}，则带类别标签的原始人体视频样本集合V对应的带类别标签的总骨架关键点集合表示为L′＝{L₁′,L₂′,...,L_i′,...,L_n′}，其中，L_ij′表示所述单帧单人图像的骨架关键点集合，其中，表示单帧单人图像骨架关键点集合L_ij′中的第k个关键点坐标；

(2)获取训练集、验证集和测试集：

将L′中半数以上带类别标签的骨架关键点集合组成训练集，其余带类别标签的骨架关键点集合一半组成验证集，一半组成测试集；

(3)构建残差-循环神经网络C：

构建包括残差神经网络以及与其级联的循环神经网络的残差-循环神经网络模型C，其中,残差神经网络包括依次连接的卷积层、池化层、多个残差单元和多个全连接层，循环神经网络包括依次连接的长短时间记忆网络、全连接层和softmax输出层；

(4)对残差-循环神经网络C进行训练：

(4a)设迭代次数为t，设迭代每进行10次的标志为b，最大迭代次数为T，T≥60，设定识别准确率阈值为α，并令t＝0，b＝tmod10；

(4b)将从训练集中随机且不放回的选取N₁个L_i′依次输入到C中，输出L_i′对应的预测类别标签，并利用损失值计算公式，计算当前时刻残差-循环神经网络C_t的损失值E_t,其中类别标签及预测类别标签均为行数等于1，列数等于原始人体视频样本集的类别数量R的向量；

(4c)采用反向传播算法，并通过损失值E_t对残差神经网络中卷积层卷积核的参数ω_km、残差神经网络中各全连接层结点之间的连接参数θ_ij、循环神经网络中长短时间记忆网络与全连接层之间的连接参数θ_i，以及残差神经网络与循环神经网络之间的连接参数θ进行更新，得到更新后的残差-循环神经网络C_t；

(4d)判断t＜T是否成立，若是，则进行步骤(4e)，否则，执行步骤(4g)；

(4e)判断b＝0是否成立，若是执行步骤(4f),否则，令t＝t+1，执行步骤(4b)；

(4f)将验证集中所有的单个视频对应的骨架关键点集合及类别标签依次输入到C_t中，输出每个原始人体视频样本对应的预测类别标签，并利用识别准确率计算公式，计算残差-循环神经网络C_t在验证集上的识别准确率α_t′；

(4g)判断α_t′≥α是否成立，若是，得到训练好的残差-循环神经网络C′，否则，令t＝t+1，执行步骤(4b)；

(5)获取人体行为识别结果：

将测试集输入到C′中，得到识别结果。