[发明专利]一种基于视频监控的全天无陪护病房患者跌倒检测方法

权利要求书

1.一种基于视频监控的全天无陪护病房患者跌倒检测方法，其特征是，该方法包括以下步骤：

步骤1，视频图像预处理：基于日间RGB摄像机或夜间热红外摄像机对预定区域进行图像采集，获得图片帧；

步骤2，标定病床边界框：使用YOLOv5s目标检测网络预先标定病床的边界框坐标；自定义病床目标检测数据集，并基于YOLOv5s进行训练，实现病床目标边界框检测，若不对病床进行移动，只需检测到病床的位置后即可停止，否则，需要重新检测；

步骤3，检测人体关键点：基于日间RGB摄像或夜间热红外摄像，利用相对应的日间或夜间人体关键点检测网络，检测图像中18个人体关键点坐标；

步骤4，提取人体跌倒特征：对检测到的18个关键点坐标进行标准化处理，计算人体部分关键点边界框的纵横比，人体部分关键边界框与病床边界框的交并比IOU；

步骤5，判断人体是否跌倒：将标准化后的18个人体关键点坐标，人体部分关键点外接矩形的纵横比，人体部分关键点外接矩形与病床边界框的交并比，作为患者日常活动的特征向量，并利用随机森林算法实现患者跌倒检测；

步骤6：将检测到跌倒的图片发送到医护人员手机端并发出警报，医护人员通过观察图片可以进一步判断是否是误报情况。

2.根据权利要求1所述的一种基于视频监控的全天无陪护病房患者跌倒检测方法，其特征在于，所述步骤3的具体流程为：

在RGB模式下，基于COCO数据集，训练OpenPose关键点网络检测人体关键点；在热红外模式下，采集夜间人体姿态图片，并进行人体关键点标注，基于自定义夜间人体姿态数据集训练夜间OpenPose人体姿态识别网络；

3.根据权利要求1所述的一种基于视频监控的全天无陪护病房患者跌倒检测方法，其特征在于，步骤4的具体流程为：

S1，利用检测到的18个人体关键点，生成人体边界框，基于人体边界框对关键点坐标进行标准化，消除了图片中不同位置和身形大小对关键点表示人体姿态的影响，标准化公式如下：

标准化后的关键点横坐标：

标准化后关键点的纵坐标：

其中X_N，Y_N是标准化后的关键点的坐标，w，h是自定义标准化后的关键点所在图片的宽和高，x，y是相对于输入图片的关键点的坐标，其中x_b，y_b是基于检测到的18个关键点生成的人体边界框的左上角坐标，w_b，h_b是人体边界框的宽和高；

S2，利用14个人体关键点即鼻子、眼睛、耳朵、脖子、肩膀、臀部、膝盖和脚踝，生成人体部分关键点边界框，消除手腕，肘部关节点对人体边界框的影响，计算人体部分关键点边界框的纵横比；

S3，定义人体部分关键点外接矩形与病床边界框的交集的面积为IS，并集的面积为US，则交并比计算式为：

交集的宽w＝w₁+w₂-(max((x₁+w₁)，(x₂+w₂))-min(w₁，w₂))

交集的高：h＝h₁+h₂-(max((y₁+h₁，(y₂+h₂))-min(h₁，h₂))

交集的面积：IS＝w×h

并集的面积：US＝w₁×h₁+w₂×h₂

交并比：IOU＝IS/US

式中(x₁，y₁)、w₁和h₁分别表示人体部分关键点边界框的中心坐标、宽和高，(x₂，y₂)、w₂和h₂分别表示病床边界框的中心坐标、宽和高，IOU表示人体部分关键点外接矩形与病床边界框的交并比。

4.根据权利要求1所述的一种基于视频监控的全天无陪护病房患者跌倒检测方法，其特征在于，步骤5的具体流程为：

S1：模拟医院病房环境，包含人体和病床目标，并进行人体跌倒模拟实验采集数据，将人体的活动状态分为跌倒和非跌到两种状态；

S2：自定人体跌倒CSV格式的数据集。其中人体的日常活动状态以38列矩阵表示，分别表示18个标准化后的骨骼关节点的坐标值，人体部分关键点边界框的纵横比，人体部分关键点边界框于病床边界框的交并比，以及表示患者状态的类别标签-1为跌倒和1为非跌到；

S3：利用随机森林算法对人体跌倒数据集进行训练，实现对病房中患者跌倒状态的检测。