[发明专利]基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法

说明书

基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，包括：获取人体不同行为的视频数据；利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差；对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签，并将所有子序列数据共同构成样本集；建立长短期记忆人工神经网络；将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果。

技术领域

随着社会的发展，全球的老龄人口在不断增加，使老年人的医疗健康成为社会关注的问题之一。美国疾病控制和防疫中心的调查结果表明，摔倒已经成为导致65岁以上老年人意外死亡和伤害的最大诱因。Noury等的研究显示，老年人摔倒后，如能得到及时的救助，可以有效降低80％的死亡风险和26％的住院长期治疗风险。而根据全国老年办统计数据显示，现有大量的老人远离子女独自生活。因此，迫切需要为老年人开发智能监控系统，该系统可以自动并立即检测跌倒事件并通知护理人员或家属。

为了解决该问题，已经进行了将动作识别应用于通过计算机识别人类活动的视频监视系统的研究。跌倒涉及人体的一部分接触或跌落到地面上。一些跌落的情况可能会导致简单的瘀伤，但可能导致严重的伤害，例如滑盘和骨折。与一般的跌倒事故不同，如果一个人由于心脏病发作而跌倒，则最初的反应非常重要。因此，必须准确而迅速地识别到跌倒。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其目的是建立一种能够准确及时识别出摔倒并及时进行应对处理的方法。

本发明为解决上述技术问题采取的技术方案是：

步骤一、获取人体不同行为的视频数据，该过程收集2D RGB视频数据；并从CRFD数据集中收集人类摔倒视频和人类日常生活视频；

步骤二、利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；

步骤三、在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差。

步骤四、对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签。并将所有子序列数据共同构成样本集。

步骤五、建立长短期记忆人工神经网络；

步骤六、将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；

步骤七、利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果；

所述步骤三中，归一化方法如下：

用M＝(m₁,m₂,…,m_n)∈N^n×2表示二维特征向量，包含n个元素，其中每个元素m_i∈Nⁿ,1≤i≤n代表一个人体的关键点，而元素包含两个整数和分别是在视频帧中关键点m_i的x坐标和y坐标。从特征向量M中可以提取两个特征向量如下：

简单来说，分别收集关键点的x坐标和y坐标，同时保持顺序，然后将 x坐标和y坐标向量归一化：