[发明专利]基于关键点检测的攀爬识别方法

权利要求书

1.基于关键点检测的攀爬识别方法，其特征在于，包括以下步骤：

S10，安装Detectron2开源框架；

S20，配置文件参数；

S30，定义人体攀爬动作类和构建主函数；

S40，对采集到的图像数据进行处理；

S50，判断攀爬动作；

其中，S30定义人体攀爬动作类和构建主函数包括以下步骤：

S31，定义人体攀爬动作类，该类用于处理人的关键点以及攀爬动作的具体判定；

S32，定义人体攀爬动作类之后，定义类的方法和属性，建立计算向量角度和点距离的方法；

S33，定义写入图像的方法，该方法将计算的角度和距离实时显示在每一帧的图像中；

S34，定义处理图像的方法，将图像分为每一帧，独立进行处理；

S35，定义保存方法，该方法将计算的各个角度进行分类保存；

S36，定义角度和距离判断方法，对角度和距离的关系进行处理，分别进行上肢，下肢和距离比率的判断，并返回相应数值或数组，满足判断条件的角度或距离返回1，否则返回0；

S37，定义攀爬动作判断方法，对S36返回的数值进行加和，如果和满足条件，则返回1，表示是攀爬动作，否则返回0；

S38，定义处理视频的方法，对每一帧的图像画出关键点和人体框，运行攀爬动作判断方法，在主函数中不断返回每一帧的数值，以进行下一步判断；

主函数用于处理视频流，将每一帧的视频截屏成为图像，进行攀爬动作识别；

所述判断攀爬动作，为对视频数据进行处理，得到每一帧图像的17个关键点，计算左手臂，右手臂，左腿，右腿的角度；计算肩距、臂距并得到肩臂距离比；计算胯距，腿距，得到胯腿距离比；得到角度和距离比值的数据之后，设定臂角度阈值为30°-150°，设定腿角度阈值为45°-160°；设定肩臂距离比阈值为0.5-1，胯腿距离比阈值为0.5-1；根据上述阈值对得到的每一帧数据进行判断，如连续三帧图像均超出阈值，则符合攀爬动作条件，判定此时人体动作为攀爬动作。

2.根据权利要求1所述的方法，其特征在于，所述安装Detectron2开源框架，为配置detectron2的安装环境，通过GitHub安装detectron2开源框架。

3.根据权利要求1所述的方法，其特征在于，所述配置文件参数包括以下步骤：

S21，在python主文件引入detectron2和opencv2模块；

S22，通过detectron2提供的yaml文件和default文件获取程序的配置参数，选择合适的RCNN模型，同时下载好需要的预训练模型；

S23，定义get_parser()函数用于接受函数的input参数。

4.根据权利要求1所述的方法，其特征在于，所述对采集到的图像数据进行处理，为在应用场所布置15-20台高清摄像头，实时追踪并且持续采集图像数据，采集的图像数据即为python的输入，对输入的图像数据进行实时处理，以检测攀爬动作。

5.根据权利要求1所述的方法，其特征在于，所述判断攀爬动作，为根据定义的人体攀爬动作类，在主函数运行该类并给予其特定参数，得到类的返回值，根据连续三帧图像的返回值做出判断，若返回值均为1，则确定该动作为攀爬动作，通过opencv2处理在视频页面输出警告标志或者报警。

6.根据权利要求1所述的方法，其特征在于，所述判定为攀爬动作后，在显示界面显示warning，提醒攀爬动作正在进行。