[发明专利]一种基于深度学习的实时跌倒检测方法

权利要求书

1.一种基于深度学习的实时跌倒检测方法，其特征在于，具体步骤如下所示：

步骤1，采集人体图像；

步骤2，进行人体骨骼关键点识别；

步骤2.1，使用神经网络卷积提取特征，预测每个关键点的热点图谱，通过多阶段的学习，每个阶段对上一个阶段的结果优化；

使用VGG-19网络进行特征提取得到特征图feature-map，由VGG-19的前10层初始化并进行微调，生成一组输入到每个分支第一阶段的特征映射F，在第一阶段，网络产生一组置信图的预测S¹＝ρ¹(F)和一组部分亲和力场其中ρ¹和是用于阶段1推断的CNN；在随后的阶段，来自前一阶段的两个分支的预测以及原始图像F被用于精确预测；特征F被连接并用于产生精确预测

公式中ρ^t和是阶段t的预测；

网络的两个分支有着两个损失函数，每个分支一个，对于损失函数加权计算；

和分别是不同阶段t的L2损失函数，f为总体的损失函数；为每个人生成个人的置信度图，由网络预测出各个置信度的集合；

在网络训练过程中，对于某一类给定的关键点j，对于某一个人k，他的置信度标志图只有一个峰值，置信度标签为每一个点到数据真实点的高斯距离；对于多个人，使用非极大值抑制剔除网络中得分低的数据；

步骤2.2，对于预测的关键点增加矢量编码，对同一个人的不同部位进行连接；给定一组检测到的身体部位，对于每一对身体部位检测关联进行置信度度量，使用PAFs特征表示法，PAFs是每个肢体的2D矢量场，对于属于特定肢体的区域中的每个像素，2D矢量编码从肢体的一部分指向另一部分的方向；

每种类型的肢体都有一个对应的PAFs区域，用于连接两个相关的身体部位；对检测置信度图进行非极大值抑制，以获得一组离散的部位候选位置；对于每个部分，会有多个候选位置，候选位置定义了一大组候选的肢体；使用PAFs上的线积分计算来评分每个候选肢体，寻找最佳解析的问题对应于已知为NP-Hard的K维匹配问题，使用匈牙利算法来获得最佳匹配；

步骤2.3，采集了人体各个动作的RGB图片，包含人体日常行为和跌倒图像，使用tensorflow框架对采集图片进行训练，随着迭代次数不断增加，损失函数值不算减小，设置迭代次数为5000次以上，使用模型对测试集进行测试；

步骤3，使用SSD-Mobilenet目标检测模型对检测的人体关键点区域进行目标检测，去掉非人体的部分；

步骤3.1首先使用Mobilenet网络对COCO数据集进行预训练，这个数据集包括80类目标，得到预训练的参数；

步骤3.2使用步骤2.3中的人体数据集，使用LabelImg工具标注人体样本，样本被标注好后，生成一一对应的xml文件，然后调用xml_to_csv.py生成csv表格，接下来使用generate_tfrecord.py文件把csv文件转化为tensorflow框架能识别的tfrecord格式；步骤3.3把步骤3.2生成的数据和步骤3.1生成的预训练模型融合特征传入SSD网络，设置迭代10000次以上，当损失达到小于1.8时停止训练；

步骤4，使用SVDD分类算法对采集到的人体骨骼关键点进行分类；

采用SVDD异常检测方法，通过网格搜索对参数进行优化；形成正样本训练的正常域，并通过正常域检测跌倒行为；

对于给定的样本集X，其包含N个样本，使用惩罚因子C和松弛变量ξ_i，当半球R的超球面中心时，让正样本完全被球体包围，相应的优化方程是：