[发明专利]一种基于RGB-D图像的颈部肌张力障碍识别系统

说明书

一种基于RGB‑D图像的颈部肌张力障碍识别系统，包括五个模块，分别是视频数据采集模块1、正面2D关键点检测模块2、3D关键点检测模块3、侧面2D关键点检测模块4、异常式判别模块5。同步采集患者正面RGB‑D图像，融合深度数据以消除运动模单视图RGB图像评估颈部肌张力障碍异常运动模式中出现的深度歧义问题，提高评估的精确性。采集患者侧面RGB图像，使用患者的2D侧面关键点评估患者头颈部在Z轴方向的运动，提高了评估的精确性。解决从2D图像中评估3D人体关键点坐标存在深度歧义的问题，提高人体3D关键点检测精度。

技术领域

本发明属于医疗器械技术领域，具体涉及一种基于视觉的颈部肌张力障碍识别系统。

背景技术

颈部肌张力障碍是临床上最常见的局灶性肌张力障碍，是由颈部肌肉阵挛性或强直过度收缩，从而引起头颈部姿势异常和不自主运动的一种局灶性肌张力障碍，可伴随震颤。常见的治疗手法包括药物治疗、肉毒毒素注射治疗以及外科手术治疗。其中肉毒毒素局部注射治疗可以有效减轻肌肉收缩和疼痛。

在临床上一般通过患者颈部肌肉异常运动模式来选择肉毒毒素治疗的靶肌肉。一般可以将颈部肌肉张力障碍分为两种类型，一种是相对于颈部的头部异常运动，一种是相对于躯干的颈部异常运动，每种类型可以进一步细分为屈伸、侧倾、扭转类型。对于复杂的颈部肌张力障碍模式，首先应该明确具体是由哪些基本异常运动模式所组成的，再对所有可能的责任肌肉进行探查。

传统的常用于临床评估患者颈部肌肉异常运动模式的方法主要有手动测量法、传感器测量法以及头颅及脊柱X摄像多角度摄片法。使用上述传统的异常模式评估方法需要专业的测量设备并且需要训练有素的医生进行操作，并且会给患者带来不适甚至痛苦。基于计算机视觉的评估方法使用患者的图像、视频等数据评估患者的异常运动模式，这种方法只需要使用摄像设备来采集数据，例如智能手机等，无需与患者进行直接接触，在保持评估准确性的同时，方便快捷，易于在远程辅助诊断中应用。

CN113554609A是一种基于单目视觉的颈部肌张力障碍模式评估方法，其仅使用正面RGB相机采集患者的正面RGB图像，并通过2D关键点检测模块检测出患者的2D关键点，再通过3D关键点检测模块将2D关键点提升到三维空间得到3D关键点，最后通过异常模式判别模块得到评估结果。其流程图如下图所示。而对于颈部肌张力障碍异常运动模式的评估需要使用精确的3D人体关键点坐标，使用单目RGB图像的缺点在于单个2D图像中并不包含3D信息，从2D图像中估计人体的3D坐标存在深度歧义的问题，最终得到的人体3D关键点坐标误差比较大，尤其是在Z轴方向上的误差较大，导致对于头屈伸和颈屈伸两个模式的评估的误差较大。因此，此专利提出的方法对于颈部肌张力障碍异常模式识别具有一定的局限性。

发明内容

本发明方法融合RBG图像以及深度图像，解决从2D图像中评估3D人体关键点坐标存在深度歧义的问题，提高人体3D关键点检测精度；并且结合侧面RGB图像检测人体侧面2D关键点，提高在Z轴方向人体头颈部运动角度检测的精度。在保留基于计算机视觉评估方法的无接触性以及便利性等优点的同时，提高颈部肌张力障碍异常模式评估的精确度。

技术方案

一种基于RGB-D图像的颈部肌张力障碍识别系统，其特征在于：包括五个模块，分别是视频数据采集模块(1)、正面2D关键点检测模块(2)、3D关键点检测模块(3)、侧面2D关键点检测模块(4)、异常运动模式判别模块(5)；其中：视频数据采集模块负责采集RGB-D相机的数据，其中正面RGB图像数据提供给正面2D关键点检测模块，深度图像提供给3D关键点检测模块；负责采集侧面RGB相机的数据，侧面RGB图像提供给侧面2D关键点检测模块；正面2D关键点检测模块利用正面RGB图像检测患者的正面2D关键点坐标，提供给3D关键点检测模块；3D关键点检测模块利用患者正面2D关键点坐标和患者深度图像检测患者的3D关键点，提供给异常模式判别模块；侧面2D关键点检测模块利用侧面RGB图像检测患者的侧面2D关键点坐标，提供给异常模式判别模块；