[发明专利]一种基于红外和热成像的弱光实时人体跌倒检测方法

权利要求书

1.一种基于红外和热成像的弱光实时人体跌倒检测方法，其特征在于,包括以下步骤:

S1：获取数据集；

S1.1：在光线充足的条件下使用普通彩色摄像头获取人体彩色图片a₁；使用热成像摄像头获取同一时刻的人体红外热成像图片b₁；

S1.2：将图片a₁进行灰度和亮度的变换，生成黑白图片c₁，用于模拟红外补光摄像头在夜间拍摄到的图片信息；

S1.3：将步骤S1.1和步骤S1.2得到的图片a₁、b₁、c₁记为一个样本x¹，重复步骤S1.1和S1.2，得到原始数据集x¹，x²，x³……xⁿ，n为样本个数，原始数据集记为X；X中的每一个数据样本xⁱ，由a_i，b_i，c_i组成，其中i为样本编号；同时把数据集X中每一个数据样本xⁱ中的所有a_i、b_i、c_i分别记为A、B、C；即数据集A由a₁，a₂，a₃……a_n组成，B由b₁，b₂，b₃……b_n组成，C由c₁，c₂，c₃……c_n组成，其中n为样本编号；

S2：训练模型；

S2.1：把图片A输入进Openpose，其中图片A为原始数据集X中对应的所有a_i数据样本，即人体彩色图片数据；输出A′，A′表示为a′₁，a′₂，a′₃……a′_n,a′_i为带有多个人体关键点坐标的数据；

S2.2：使用步骤S2.1得到的人体关键点坐标，在对应的图片B、图片C中进行人体关键点标记，生成训练样本B′和C′，B′由b′₁，b′₂，b′₃……b′_n，C′由c′₁，c′₂，c′₃……c′_n组成；

S2.3：处理步骤S2.2得到的带有关键点坐标的图片B′和图片C′，把每个关键点位置的图片分割下来形成各个关键点的图片集合BK和图片CK，其中BK表示为bk₁，bk₁，bk₃……bk₁₈，CK表示为ck₁，ck₁，ck₃……ck₁₈。获得到18个关键点的训练数据集；

S2.4：把训练样本BK和CK中每个关键点的图片集合分别输入进预设的卷积神经网络CNN中，经卷积神经网络训练得到模型M_B和M_c；

S3：对人体关建点坐标分类，检查跌倒行为；

S3.1：使用红外补光摄像头和热成像摄像头做成的双目摄像头实时获取弱光图片信息，即热成像图片和红外补光头图片信息，分别记为b和c；

S3.2：将b和c分别输入进S2.3得到的模型M_B和M_c中，分别输出人体骨骼关键点坐标，y_b和y_c；

S3.3：将y_b和y_c进行相互补偿，生成一个人体骨骼关键点坐标y；

S3.4：将人体骨骼关键点坐标y输入进预设的Conv-LSTM网络中进行姿态分类，并基于姿态分类结果检测跌倒行为；

S3.5：若检测到人物跌倒，则装置发出报警，否则继续进行图片采集。