[发明专利]一种基于RGB-D图像的颈部肌张力障碍识别系统

权利要求书

1.一种基于RGB-D图像的颈部肌张力障碍识别系统，其特征在于：包括五个模块，分别是视频数据采集模块(1)、正面2D关键点检测模块(2)、3D关键点检测模块(3)、侧面2D关键点检测模块(4)、异常运动模式判别模块(5)；其中：

视频数据采集模块负责采集RGB-D相机的数据，其中正面RGB图像数据提供给正面2D关键点检测模块，深度图像提供给3D关键点检测模块；负责采集侧面RGB相机的数据，侧面RGB图像提供给侧面2D关键点检测模块；正面2D关键点检测模块利用正面RGB图像检测患者的正面2D关键点坐标，提供给3D关键点检测模块；3D关键点检测模块利用患者正面2D关键点坐标和患者深度图像检测患者的3D关键点，提供给异常模式判别模块；侧面2D关键点检测模块利用侧面RGB图像检测患者的侧面2D关键点坐标，提供给异常模式判别模块；异常运动模式判别模块负责计算患者头颈部的运动角度并判断是否存在异常运动模式。

2.根据权利要求1所述的应用系统，其特征在于：在正面2D关键点检测模块(2)和侧面2D关键点检测模块(4)中，使用深度学习目标检测方法，在视频图像中具体的位置，得到带边界框的图像；再使用深度学习人体关键点检测方法，将患者2D人体关键点检测出来。

3.根据权利要求1所述的应用系统，其特征在于：在正面2D关键点检测模块(2)中检测出患者的正面2D关键点坐标，其包含每个关键点x和y两个维度的数据；获取患者的正面深度视频，将深度视频分解成每一帧，并对每一帧的深度图像进行坐标系转换，使其坐标系与正面RGB图像的坐标系一致，这样深度图像的每个像素点于RGB图像的像素点一一对应；对于正面RGB图像中的每一个正面2D关键点，找到其对应深度图像中的像素点数据，该像素点表示z轴方向的数据，将其与2D关键点中的x轴和y轴方向的数据结合，得到3D关键点坐标数据；其中，所述的3D关键点包括左肩、右肩、左眼、右眼、左耳、右耳以及头、颈、鼻；该3D人体关键点。

4.根据权利要求1所述的应用系统，其特征在于：在异常运动模式判别模块(5)中，利用检测出的2D以及3D人体关键点信息对患者的颈部肌肉的异常运动模式进行评估；根据头颈部运动的功能解剖学特点，“头-颈”概念将颈部肌张力障碍分为两种类型：

(1)累及头颈复合体，相对于颈部的头部异常运动；起始或终止与颅骨或C1椎体的肌肉异常收缩，牵拉头部，可以导致头侧倾、头扭转和头屈伸；

(2)累及C2-7椎体，相对于躯干的颈部异常运动；起始并终止于C2椎体以下的肌肉收缩，牵拉颈部，可以导致颈侧倾、颈扭转和颈屈伸；

需要评估的异常运动模式有六种，分别是头侧倾和颈侧倾、头扭转和颈扭转、头屈伸和颈屈伸；其中对于头侧倾、颈侧倾以及头扭转和颈扭转使用患者正面人体关键点进行评估，而对于头屈伸和颈屈伸则使用患者侧面2D人体关键点进行评估。

5.根据权利要求4所述的应用系统，其特征在于：对于头侧倾，根据夹角θ1的大小评估头侧倾的严重等级S₁；

6.根据权利要求4所述的应用系统，其特征在于：对于头侧倾，可以根据夹角θ2的大小评估颈侧倾的严重等级S₂；

7.根据权利要求4所述的应用系统，其特征在于：对于头扭转，可以根据夹角θ3的大小评估头扭转的严重等级S₃；

8.根据权利要求4所述的应用系统，其特征在于：对于颈扭转，可根据夹角θ4的大小评估颈侧倾的严重程度S₄；

9.根据权利要求4所述的应用系统，其特征在于：对于头屈伸，可以根据夹角θ5的大小评估头屈伸的严重程度S₅；

10.根据权利要求4所述的应用系统，其特征在于：对于颈屈伸，可以根据夹角θ6的大小评估颈屈伸的严重程度S₆；

综上，对六种异常模式的严重等级评分进行累加即可得到最终的严重程度总评分S_total；

S_total＝S₁+S₂+S₃+S₄+S₅+S₆。