[发明专利]基于时空特征的危险施工行为识别方法及装置

摘要

本发明公开了一种基于时空特征的危险施工行为识别方法及装置，A)采集施工人员的动作视频序列，将其分为正常动作和违规动作；B)构建端到端的识别网络；C)提取图像序列中的n帧图像，将每帧图像输入相同的ResNet识别网络，得到每帧图像对应的输出特征分别为；D)将F₁至F_n进行平均池化操作：得到图像序列的空间特征F_s；E)将F₁,F₂,……,F_n作为n个时间序列，输入到LSTM网络，得到图像序列的时间特征F_t；F)将F_s和F_t进行归一化操作后，联成时空特征F：F＝F_s+F_t，然后接入softmax分类识别得到动作视频序列的动作类型。本发明能实现24小时全天候的施工人员违规行为检测，从而实现施工现场的安全监管，提高施工效率和安全性。

主权项

1.一种基于时空特征的危险施工行为识别方法，其特征在于，包括如下步骤：/nA)采集施工人员的动作视频序列，将所述动作视频序列分为正常动作和违规动作；/nB)构建端到端的识别网络；所述识别网络的输入为图像序列；/nC)提取图像序列中的n帧图像，将每帧图像输入相同的ResNet识别网络，得到每帧图像对应的输出特征分别为F₁,F₂,……,F_n，其中，F₁为第1帧图像对应的输出特征，F₂为第2帧图像对应的输出特征，F_n为第n帧图像对应的输出特征，n为大于1的整数；/nD)将第1帧图像对应的输出特征F₁至第n帧图像对应的输出特征F_n进行平均池化操作：得到所述图像序列的空间特征F_s；/nE)将n帧图像对应的输出特征F₁,F₂,……,F_n作为n个时间序列，输入到LSTM网络，得到所述图像序列的时间特征F_t；/nF)将所述图像序列的空间特征F_s和图像序列的时间特征F_t进行归一化操作后，联成时空特征F：F＝F_s+F_t，然后接入softmax分类识别得到所述动作视频序列的动作类型。/n