[发明专利]基于3D卷积长短期记忆网络的儿童运动姿态自动识别方法

权利要求书

1.基于3D卷积长短期记忆网络的儿童运动姿态自动识别方法，其特征在于：包括如下步骤：

步骤S1、使用非尖端或尖端及以上的摄像头录制三段被检查者在室内自然行走的视频，分别是在室内自然行走的视频、摄像头高度水平固定在被检查者髂棘处、摄像机设置距被检查者5m处的视频，并且三段视频的角度分别为正面、背面、侧面；

步骤S2、将采集到的图像视频使用卡尔曼滤波技术对运动目标信息进行最优估计，实现对运动目标跟踪图像的最优采集；

步骤S3、对最优运动目标跟踪图像进行预处理，得到增强图像；

步骤S4、采用python语言中的deeppose网络对获取的视频进行处理，通过处理获取人体姿态样板；

步骤S5、采用python语言中谷歌的深度学习框架keras对人体姿态样板进行预测；然后采用python语言中的深度学习框架keras对每种疾病单独搭建基于ConvLSTM的分类网络结构进行二分类预测；

步骤S6、经过分析后给出可能的病状结果报告，提示预警或矫正方法。

2.根据权利要求1所述的基于3D卷积长短期记忆网络的儿童运动姿态自动识别方法，其特征在于：所述步骤S2中基于卡尔曼滤波技术的最优运动目标跟踪图像采集包括如下步骤：

1)通过采集图像视频中的目标图像序列获得目标在图像视频当中的初始位置和信息，将这些信息赋予卡尔曼滤波器，进行初始化设置；

2)利用卡尔曼滤波对目标在下一帧图像视频当中的位置进行估计，得出估计值，为接下来一帧的检测缩小范围；

3)通过实际检测的目标值与估计值进行比较，更新滤波器的参数，为下一帧的预测做好准备，在反复的预测与更新当中，实现最优运动目标跟踪图像的采集。

3.根据权利要求2所述的基于3D卷积长短期记忆网络的儿童运动姿态自动识别方法，其特征在于：所述卡尔曼滤波器通过两部分来进行描述，分别是状态方程和观测方程，如果是离散动态系统，那么这两部分就分别是N维的动态系统和P维(P≤N)的观测系统，其中U_K是1维输入向量，W_K为M维的噪声向量，X_k(X∈Rⁿ)是N维状态向量，系统的状态通常由以下差分方程来描述：

X_k＝AX_K-1+BU_K+W_K-1

n×n矩阵A是系统的状态转移矩阵，是衡量系统状态X_k-1到X_k的转换的关键，矩阵B为n×1矩阵，其实是输入转换矩阵，W_k是白噪声，系统的观测方程如下：

Z_k＝H_hX_k+V_k

其中，H是观测矩阵，一般定位常量，V_k是均值为0的白噪声序列。

4.根据权利要求1所述的基于3D卷积长短期记忆网络的儿童运动姿态自动识别方法，其特征在于：所述步骤S3对最优运动目标跟踪图像进行预处理，包括：

假设图像上的噪声是加性的、互不相关的、且均值为零，一幅有噪声的数字图像包括原图像信号f(x,y)和噪声n(x,y)，即：g(x,y)＝f(x,y)+n(x,y)，经过局部平均处理后得到平滑图像为：

其中，S是点(x,y)领域的点集，M是点集S中点(x,y)的总数，图像经过平滑处理后，可使噪声方差减小到原来的1/M。

5.根据权利要求1所述的基于3D卷积长短期记忆网络的儿童运动姿态自动识别方法，其特征在于：所述步骤S5中3D卷积计算公式如下：

Input：(N,Cin,Din,Hin,Win)；

Output：(N,Cout,Dout,Hout,Wout)where；

其中N为batch_size，C为通道数，D为图像深度，H为图像高度，W为图像宽度，Padding为元素边框与元素内容之间的空间，kernel为卷积核，stride为图像每一维的步长；

ConvLSTM计算公式如：

it＝σ(Wxi*Xt+Whi*Ht-1+WcioCt-1+bi)；

ft＝σ(Wxf*Xt+Whf*Ht-1+WcfoCt-1+bf)；

Ct＝ftoCt-1+itotanh(Wxc*Xt+Whc*Ht-1+bc)；

ot＝σ(Wxo*Xt+Who*Ht-1+WcooCt+bo)；

Ht＝ototanh(Ct)；

因为训练采用的是搭建多个网络对每种病情单独分析的情况，则训练所利用损失；

函数为二分类损失函数：

其中m为样本数量，y为训练集真实标签，t为网络最后层Dense输出，Π(t)为sigmoi激d活函数如下公式：

其中t为网络最后一层的输出结果；

优化算法Adam公式：

gt＝▽θJ(θt-1)；

mt＝β1mt-1+(1-β1)gt；

vt＝β2vt-1+(1-β2)g2；

其中g为t时间步的梯度，m为时间步的一阶梯度动量，v为时间步的二阶梯度动量，m^和v^为对动量的梯度修正，θt表示第t次迭代时的模型参数，ε为一个极小值防止分母为0，β为动力参数，分别取0.9和0.999。