[发明专利]一种基于手部姿态视频的帕金森运动迟缓量化分析方法

说明书

本发明公开了一种基于手部姿态视频的帕金森运动迟缓量化分析方法，包括以下步骤：A：构建手部姿态数据集；B：构建包含特征提取网络、区域候选网络、边界框头部网络和关键点头部网络的Mask R‑CNN深度神经网络模型；C：对Mask R‑CNN深度神经网络模型进行训练，获得手部21个关键点组成的关键点序列；D：对关键点序列进行运动特征提取得到对应的运动特征；E：依据运动特征获得波峰序列和波谷序列；F：基于波峰序列和波谷序列，对五种运动迟缓参数进行量化，五种运动迟缓参数分别为慢速、低振、幅度衰减、迟疑和停顿。本发明能够以手部姿态视频片段为载体，实现灵活、可解释的运动迟缓量化。

技术领域

本发明涉及一种帕金森运动迟缓量化分析方法，尤其涉及一种基于手部姿态视频的帕金森病运动迟缓量化分析方法。

背景技术

运动迟缓，即非意志性运动停止，是帕金森病(PD)患者常见的运动症状之一，也是临床筛查和诊断的一个主要依据。目前，评价运动迟缓严重程度的金标准是统一帕金森病评定量表(MDS-UPDRS)。在MDS-UPDRS运动检查第三部分中，列举了三种典型针对手部的运动迟缓项目：手指敲击、手运动和手旋前-旋后运动。这些项目要求帕金森患者尽可能以最大的幅度连续快速地执行阶段性动作，然后由评分者评估动作的速度、幅度、有无幅度的逐渐缩小以及有无迟疑和停顿，并按照0-4五种严重程度进行评分。然而，由于评估过程本质上是主观的，关键取决于评分者的培训和经验，导致不同评分者之间会存在很大程度的差异。此外，由于手部动作的大小和微妙性，人眼可能无法捕捉帕金森患者在快速运动检查下的每个细节。

现有的PD运动迟缓量化分析方法多依赖于可穿戴传感器(如加速度计、陀螺仪、磁力计等)，根据运动信号量化振幅、速度、加速度等运动特性。然而，专业传感器成本高昂、操作复杂，不便于大规模推广应用。最近，基于深度学习的姿态估计技术取得了显著进步，它能够以完全非接触的形式从PD临床视频中定位患者手部关键点。这些关键点序列包含了丰富的时空信息，并以紧凑的形式表征运动迟缓症状。然而，由于手部关节高度灵活，自咬合严重，以及公共手姿态数据集规模和灵活性受限等原因，手部姿态估计比其他身体部位更具挑战性。此外，由于手部图像分辨率往往较低，为了避免复杂背景误检，通常需要额外部署深度网络模型定位手部RoI区域，并将其单独裁剪进行非端到端的姿态估计。

针对以上问题，许多研究工作尝试使用OpenPose(开源姿态估计框架)作为一种直观的解决方案。然而，公共手姿态数据集训练的OpenPose模型无法有效应对PD临床视频的独特挑战，如临床定义的手姿态和明显自遮挡等。其次，作为自底向上的姿态估计模型，OpenPose依赖人体关键点和手工规则粗略估计PD患者的手部RoI区域，使量化过程变得繁琐。

发明内容

本发明的目的是提供一种基于手部姿态视频的帕金森运动迟缓量化分析方法，能够以手部姿态视频片段为载体，实现灵活、可解释的运动迟缓量化，以辅助帕金森疾病的早期检测、常规监测和治疗评估。

本发明采用下述技术方案：

一种基于手部姿态视频的帕金森运动迟缓量化分析方法，包括以下步骤：

A：构建用于PD临床视频手部姿态估计的手部姿态数据集；

B：构建Mask R-CNN深度神经网络模型，Mask R-CNN深度神经网络模型包含特征提取网络、区域候选网络、边界框头部网络和关键点头部网络；

特征提取网络，用于对输入的手部姿态数据集中的原始图像进行特征提取，并对不同尺度特征进行融合，将融合后的五种不同尺度的特征图送入区域候选网络；

区域候选网络，用于根据设定的初始锚框生成区域候选；然后结合区域候选和分辨率最大的前四种尺度的特征图生成两种不同分辨率的RoI特征图，并分别送入并行设置的边界框头部网络和关键点头部网络；

边界框头部网络，用于根据输入的RoI特征图进行手部目标分类和边界框回归，输出精确的手部边界框；