[发明专利]基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法

权利要求书

1.一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，包括以下步骤：

步骤一、获取人体不同行为的视频数据，该过程收集2D RGB视频数据；并从CRFD数据集中收集人类摔倒视频和人类日常生活视频；

步骤二、利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；

步骤三、在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差。

步骤四、对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签。并将所有子序列数据共同构成样本集。

步骤五、建立长短期记忆人工神经网络；

步骤六、将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；

步骤七、利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果。

2.根据权利要求1所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤三中，归一化方法如下：

用M＝(m₁,m₂,…,m_n)∈N^n×2表示二维特征向量，包含n个元素，其中每个元素m_i∈Nⁿ,1≤i≤n代表一个人体的关键点，而元素包含两个整数和分别是在视频帧中关键点m_i的x坐标和y坐标。从特征向量M中可以提取两个特征向量如下：

简单来说，分别收集关键点的x坐标和y坐标，同时保持顺序，然后将x坐标和y坐标向量归一化：

其中是M_x的平均值，σ(M_x)是M_x的标准差。而也是类似于计算出来的。最后将两个归一化的向量连接起来，形成最终的特征向量。

3.根据权利要求1或2所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤四中，使用窗口滑动方法获得子序列数据，标签包括日常生活动作，摔倒和躺下。

4.根据权利要求1或2所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤五所构建的长短期记忆人工神经网络，包括InputLayer层，masking层，BN层，lstm层Dropout层和Dense层；InputLayer层输入的是关键点的二维坐标信息；masking层是使用给定的值对输入的序列数据进行“屏蔽”，用以定位所需要的时间步；lstm层用于提取输入的变长的序列特征；BN层的设置有两个作用，一是加快训练和收敛速度，二是防止训练过拟合；Dropout层主要作用也是防止训练过拟合；Dense层是一个100个神经元的全连接层，并且通过softmax激活函数激活，输出各类别的分类得分。

5.根据权利要求1或2所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤六中，利用训练集中每个子序列数据对应的类别标签，训练长短期记忆人工神经网络模型，并在验证集上进行验证，使用准确率作为模型的评估标准，选择在验证集具有最高准确率的迭代周期，获取该迭代周期下的模型参数得到最终的长短期记忆人工神经网络模型。

6.根据权利要求1或2所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤七中，使用openpose对视频进行处理，获得视频中每一帧图像中人体骨架关节点数据，并进行归一化；采用滑动窗口方法获得子序列数据，将数据片段输入训练好的长短期记忆人工神经网络，检测出当前是否摔倒。