[发明专利]一种基于手部姿态视频的帕金森运动迟缓量化分析方法

权利要求书

1.一种基于手部姿态视频的帕金森运动迟缓量化分析方法，其特征在于，包括以下步骤：

A：构建用于PD临床视频手部姿态估计的手部姿态数据集；

B：构建Mask R-CNN深度神经网络模型，Mask R-CNN深度神经网络模型包含特征提取网络、区域候选网络、边界框头部网络和关键点头部网络；

特征提取网络，用于对输入的手部姿态数据集中的原始图像进行特征提取，并对不同尺度特征进行融合，将融合后的五种不同尺度的特征图送入区域候选网络；

区域候选网络，用于根据设定的初始锚框生成区域候选；然后结合区域候选和分辨率最大的前四种尺度的特征图生成两种不同分辨率的RoI特征图，并分别送入并行设置的边界框头部网络和关键点头部网络；

边界框头部网络，用于根据输入的RoI特征图进行手部目标分类和边界框回归，输出精确的手部边界框；

关键点头部网络，用于对输入的RoI特征图进行手部目标关键点检测，最终输出手部21个关键点；

C：利用手部姿态数据集中的训练集对构建的Mask R-CNN深度神经网络模型进行训练，获得手部姿态视频中受试者的手部21个关键点组成的关键点序列；

D：对步骤C中得到的关键点序列进行运动特征提取，得到对应的运动特征；

E：依据步骤D中得到的运动特征，获得表征手部姿态视频中受试者的周期性动作变化的波峰序列和波谷序列；

F：基于步骤E中得到的波峰序列和波谷序列，对五种运动迟缓参数进行量化，五种运动迟缓参数分别为慢速、低振、幅度衰减、迟疑和停顿。

2.根据权利要求1所述的基于手部姿态视频的帕金森运动迟缓量化分析方法，其特征在于，所述的步骤A包括以下具体步骤：

A1：使用视频采集装置，采集受试者执行指定动作的手部姿态视频；指定动作是指受试者按照MDS-UPDRS评定量表中要求，左右手分别执行手指敲击、手运动和手旋前-旋后运动三类手部运动迟缓检查项目；

A2：将手部姿态视频中所有的图像帧随机打乱，均匀采样N张图像帧构建手部姿态数据集；然后将手部姿态数据集按比例随机划分为训练集、验证集和测试集，最后对手部边界框和21个关键点进行人工标注。

3.根据权利要求1所述的基于手部姿态视频的帕金森运动迟缓量化分析方法，其特征在于：所述的步骤B中，特征提取网络采用ResNet-50-FPN网络，对原始图像进行特征提取并结合特征金字塔结构对不同尺度特征进行融合，生成P2、P3、P4、P5和P6五种不同尺度的特征图，送入区域候选网络。

4.根据权利要求3所述的基于手部姿态视频的帕金森运动迟缓量化分析方法，其特征在于：所述的步骤B中，区域候选网络对P2、P3、P4、P5和P6五种特征图中所有网格点设置三种宽高比例不同的初始锚框，采用RPN网络对初始锚框进行边界框回归以及二值分类，获得区域候选；然后结合区域候选和分辨率最大的P2、P3、P4、P5四种特征图进行RoIAlign操作，生成两种不同分辨率的RoI特征图，分别送入并行设置的边界框头部网络和关键点头部网络。

5.根据权利要求3所述的基于手部姿态视频的帕金森运动迟缓量化分析方法，其特征在于：所述的步骤B中，边界框头部网络从左到右分别为第一卷积层和第一全连接层，边界框头部网络依据区域候选网络输出的RoI特征图，生成边界框回归偏移量和手部分类softmax分数；然后根据边界框回归偏移量和分类softmax分数生成精确的手部边界框。