[发明专利]一种基于机器视觉的单目实时人体跌倒检测方法及系统

权利要求书

1.一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，包括如下步骤，S1初始化阶段：该初始化阶段分为地面标定物角点识别与地面分割算法两部分；地面标定物识别用于计算地面投影变换矩阵，以获取地面三维信息；

地面分割算法中，基于单目相继获取视频图像，利用语义分割算法进行地面区域分割，将地面有关的类进行区域划分，为后续触发式跌倒判断逻辑作准备；

S22D人体姿态检测阶段：通过人体目标检测算法、人体姿态检测算法获取人体关节点坐标位置；人体目标检测算法中，训练一个人体目标检测单分类模型，该人体目标检测单分类模型仅检测人体对象，使用旋转增强的人体关键点数据集进行训练；人体姿态检测算法用于在人体目标边框内识别人体关节点位置信息；基于姿态检测提取人体骨架中13个关节点的位置坐标及置信度；

经过人体目标检测算法和人体姿态检测算法，获得的人体2D关节点信息在后续的跌倒检测算法中将被用来对人体动作进行分类，同时用于判断人体是否在地面区域以及肢体投影长度是否在阈值内跌倒检测条件；通过以下两个逻辑来判断人体处于可跌倒的地面区域：1)在目标检测后判断人体目标边框中地面区域占比大于阈值，2)在姿态检测后判断双脚与另一关节点位于地面区域；如满足两个条件则进行后续步骤；

S3基于肢体投影长度的跌倒检测方法判断：在初始化阶段通过地面标定物的角点坐标得到地面投影变换矩阵；依据人体双脚与单目相机的距离远近选定不同的肢体长度阈值与判断逻辑；

S4多帧联合跌倒判断：包含人体目标中心移动速度筛选、联合目标检测和误判闪现筛选三个逻辑；人体目标中心移动速度筛选通过计算多帧图像中人体目标中心点像素坐标的方差过滤掉正在移动的人体目标，不进行后续检测；联合目标检测基于跌倒行为不会发生在沙发、床、椅子，过滤掉在沙发、床、椅子位置的人体目标；通过满足连续20帧图像中10帧以上被判别为跌倒，再最终判定为跌倒行为，且跌倒帧数发生在后续几帧中，再最终判断为环境中发生跌倒行为；避免出现部分视频帧数被误判为跌倒行为，进行误判闪现筛选。

2.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，所述13个关节点分别为头部、左肩、右肩、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。

3.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，当人体13个关节点的像素坐标得到后，假设人体都倒在地上，则通过假设这些像素点都在地面来计算各个关节点投影到地面后的3D坐标，进而得到在此假设下人体上肢下肢关节的投影长度；跌倒发生后，人体双腿位于地面，及躯干位于以髋关节为球心的半球面内；由此得到各肢体地面投影长度，设计基于肢体长度的跌倒检测判断方法，通过判断双腿及躯干肢体地面投影长度是否在人体正常肢体长度范围内将跌倒与非跌倒行为区分开。

4.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，在进行长度检测中，坐姿状态下人体双腿关节点与地面平面接近，双腿的地面投影长度未被明显拉长，不易于跌倒行为区分；利用基于人体关节点时空位置序列进行学习的时空图卷积神经网络进行动作检测，以排除坐姿动作对长度检测方法的干扰。

5.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，单目相机成像后，将世界坐标系下的平面投影到像素坐标系下，即产生了图像的透视变换。

6.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，在地平面放置地面标定物，读取其四个角点的像素坐标并结合标定物已知的世界坐标来获得八个方程，给定4组地面坐标系及对应像素坐标系下的坐标，并获得地面投影变换矩阵的8个未知参数；由地面投影矩阵及人体关节点的像素坐标，即可得到关节点在地平面的3D坐标，实现在2D平面内获得地平面上的深度信息。