[发明专利]基于关键点检测的攀爬识别方法

说明书

本发明公开了基于关键点检测的攀爬识别方法，S10，安装Detectron2开源框架；S20，配置文件参数；S30，定义人体攀爬动作类和构建主函数；S40，对采集到的图像数据进行处理；S50，判断攀爬动作。本发明对关键点之间的关系(如距离，三个点组成向量的夹角)进行计算，对视频的连续三帧图像进行判断，当每一帧图像的关键点关系都满足攀爬的条件时，系统才会做出判断，这可以有效增加识别系统的鲁棒性，可靠性更高，具有极大的实用价值。

技术领域

本发明属于深度学习技术领域，涉及一种基于关键点检测的攀爬识别方法。

背景技术

人体关键点检测是识别和定位图像中所有人的关键点，这是许多视觉应用(如行人动作识别，人机交互)的基础研究课题。人体的姿态是身体不同结构部分组成的，比如分为头部、躯干部分，手肘和腿部等，它们的形变非常多样性导致人体关键点检测非常具有挑战性。近十年来，出现了很多不同方法来解决这个问题，从最开始的基于图形结构和图模型，到后面的基于深度图使用RGB-D相机来做，都取得了一些的成果，但是很难投入实用。直到2014年，卷积神经网络被引入人体关键点检测领域，关键点检测取得了一些重大进展。

从输入图像的性质分类，可以分为基于深度图像和基于普通RGB图像的关键点检测。最近几年的人体关键点检测研究都是基于普通RGB图像，基于RGB图像的人体关键点检测也可以分为两类，传统方法和深度学习方法

传统方法主要采用图形结构来解决人体关键点检测问题，例如，树模型(TreeModels)和随机森林模型(Random Forest Models)都被证明是非常有效的关键点检测算法。还有一些算法是基于图模型，比如随机场模型(Random Field Models)和依赖图模型(Dependency Graph Models)也被很多学者研究。图形结构是Fischler等[21]在1973年提出，最初这是一个经典的面部结构检测算法。后来Felzenszwalb等人对图形结构做了一些重大改进，使得图形结构方法的应用范围更广。

由于深度学习在计算机视觉领域的火热，目前很多人体关键点检测方法都是基于深度学习方法。根据处理情况不同可以分为单人关键点检测和多人关键点检测，单人关键点检测可以处理单个人的关键点检测问题，一般需要人在图片中心位置。Toshev等人提出DeepPose算法来解决关键点检测问题，这是卷积神经网络首次被引入到人体关键点检测问题上，DeepPose提出通过级联的卷积神经网络来处理关键点检测问题。DeepPose是直接对坐标点进行回归，由于人体姿态灵活，形态多样，直接坐标回归不是很容易，训练也不易收敛。Tompson等人使用卷积神经网络和图模型来预测关键点的热力图(Heatmaps)，热力图中响应值最大的位置表示人体关键点位置，训练更容易收敛，其中卷积神经网络部分用于提取特征，图模型部分则用于构建人体关键点之间的位置关系。该方法奠定了热力图在关键点检测领域的重要位置，后来的方法几乎都是使用热力图的方式来预测关键点位置。2016年，一些学者通过构建很深的卷积神经网络来生成关键点的热力图，检测效果在各种数据集上达到领先水平。

近年来深度学习的兴起对于人体关键点检测问题的解决提供了新的思路，但是复杂的网络模型往往意味着需要较高硬件水平的支持与较长的计算时间，多数深度学习网络模型需要耗费大量的人力物力与计算成本。人体关键点的检测算法也从局限于单人关键点检测发展到多人情况下的人体关键点检测。而多人情况下的人体关键点检测往往伴随着更复杂的网络结构，意味着更高的计算成本与更长的训练时间。在这个移动终端普及化与倡导智能自动化的今天，一个良好的适用于人体关键点检测问题的网络模型应该具有较强鲁棒性、较低的计算成本、较好的识别精度、能容纳多名使用者等的特点，比如R-CNN。