[发明专利]基于人体关键点检测的行为分析方法及装置

说明书

为了解决上述技术问题中的行为分析的准确低的问题，本公开提供了一种基于人体关键点检测的行为分析方法及装置，提高行为分析的准确性。基于人体关键点检测的行为分析方法，包括：检测待识别视频中的行人；跟踪检测到的待识别视频中的行人；提取跟踪到的待识别视频中的行人的人体关键点序列；基于人体关键点序列和预设的行为分类器获得行人行为，其中，所述行为分类器为基于人体关键点序列和行人行为训练得到的分类器。装置包括检测模块、跟踪模块提取模块判断模块。本公开基于人体关键点序列和预设的行为分类器获得行人行为，相对于现有技术具有更高的效率和准确性。

技术领域

本公开涉及一种行为分析方法，尤其涉及一种基于人体关键点检测的行为分析方法及装置。

背景技术

行为分析是当前计算机视觉研究比较热门的领域之一,当前用于行为分析的方法主要包括传统特征提取并预测的方法,典型的算法包括使用光流算法提取特征,然后使用svm进行分类,另一类方法是使用深度学习训练的方法分析行为,典型的方法是:使用双流神经网络的行为分析,首先对视频序列中的每两帧计算稠密光流,得到稠密光流序列,然后对视频图像和稠密光流分别使用CNN训练,两个分支的网络分别对动作的类别进行判断,最后对两个网络的分类结果进行融合得到最终分类结果，其不足在于：传统方法对噪声,视角变化等非常敏感,使用神经网络方法则比较耗时,而且使用神经网络方法容易受外观因素的影响,如色调,图像噪声等，进而导致传统分析方法准确性较低。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种基于人体关键点检测的行为分析方法及装置，提高行为分析的准确性。

本公开的一方面，基于人体关键点检测的行为分析方法，包括：

检测待识别视频中的行人；

跟踪检测到的待识别视频中的行人；

提取跟踪到的待识别视频中的行人的人体关键点序列；

基于人体关键点序列和预设的行为分类器获得行人行为，其中，所述行为分类器为基于人体关键点序列和行人行为训练得到的分类器。

可选的，所述检测待识别视频中的行人包括根据预设的yo l ov3行人检测模型检测行人，其中，所述yo l ov3行人检测模型为基于视频帧和行人检测结果训练得到的yo lov3模型；

所述跟踪检测到的待识别视频中的行人包括根据预设的SORT模型跟踪检测到的待识别视频中的行人。

可选的，提取跟踪到的待识别视频中的行人的人体关键点序列：根据改进的ResNet50网络提取行人的人体关键点，并根据预设数量帧的连续视频帧中的同一行人的人体关键点获得行人的人体关键点序列；其中，改进的ResNet50卷积网络为将ResNet50卷积网络按如下方式改进后的网络：

裁剪ResNet50卷积网络第44层之后的网络；

在裁剪后的ResNet50卷积网络的第44层后接入一个RFB网络结构；

在RFB网络结构后,接入第一上采样层，用以进行第一次上采样操作；

拼接第一上采样层与ResNet50卷积网络的第41层网络；

拼接后，再接入第一卷积操作层，用于进行卷积操作；

在第一卷积操作层后接入第二上采样层，用于进行第二次上采样操作；

在第二上采样层后接入第二卷积操作层，用于进行卷积操作；

在第二卷积操作层后接入第三卷积操作层，用于卷积操作，输出关节点热图；

在第二卷积操作层后接入第四卷积操作层，用于卷积操作，输出人体连接的亲和域图。