[发明专利]一种基于多模态传感的肌肉形变智能检测系统及方法

说明书

本发明涉及本发明涉及肌肉形变的智能医疗领域，具体为一种基于多模态传感的肌肉形变智能检测系统及方法，系统结合了传感数据建模、计算机视觉和深度学习技术。本系统包括传感信息采集模块、数据处理模块和智能检测模块。传感信息采集模块包括柔性可穿戴应变传感器和视觉传感器，应变传感器负责获得面部肌肉以及各关节点的运动数据，视觉传感器负责获取病人的步态数据；数据处理模块负责将运动传感数据与视觉传感数据通过深度学习技术进行特征提取，结合传感数据的时间与空间信息，采用ASFF方法进行特征融合，得到多尺度的特征向量；智能检测模块通过将多尺度的特征向量作为输入，通过深度神经网络分析多尺度的特征向量进行分类，获得肌肉形变结果。

技术领域

本发明涉及传感数据处理、计算机视觉与深度学习技术，具体为一种基于多模态传感方式的肌肉形变智能检测系统及方法，属于医疗器械制作技术领域。

背景技术

近年来，帕金森病、亨廷顿病等运动障碍疾病的社会关注度有所提升，病例数量也呈逐年上升趋势。该类疾病的早期症状主要有静止性震颤、运动迟缓、肌强直和姿势步态障碍等。病人的主要表现为：静止时手、手臂或腿发生振动或颤抖；肌肉僵硬、面部表情异常；运动行走协调性、步态异常，以及姿势、平衡障碍等。上述病人的症状与肌张力的异常变化有着密不可分的关系，故发展肌肉形变的智能检测系统及方法，对运动障碍类疾病的及时干预有着重要意义。

目前，在临床和科研方面国内外的重点是对运动障碍的病情进行评估，并根据运动障碍症状的轻重来进行评分。该方法在临床应用方面面临的主要问题在于：评分由训练有素、经验丰富的神经学家进行，完整的运动评估非常耗时，且获得的结果主观性太强，评分误差较大；病人病情的跟踪调查和及时随访也给患者的医疗服务带来巨大挑战，尤其在医疗资源分配有差异、新冠肺炎疫情存在的当下，发展基于人工智能的肌肉形变自动检测技术具有重大的应用价值。

运动障碍的智能量化是实现病患运动功能智能评估的关键。目前的智能检测方法可分为运动传感和视觉传感两大类。有研究者通过病人身上的运动传感器组成传感器网络，在时域和频域提取病人的运动学特征，再进行分析。由于运动传感器的运动信号准确，这些基于传感器的方法大都可以得到良好的效果。然而，大多数金属传感器都直接接触患者的身体，且存在触感冰冷、佩戴不适等缺点，不可避免地影响患者指定的运动，进而影响识别的准确率。基于视觉传感的方法，研究者通过Kinect传感器和彩色摄像机采集的视频中获取病人的关节坐标，并从图像序列中提取人体轮廓特征，通过多元回归模型进行进一步的分析。但由于病人宽松的病号服的遮挡，不可避免地影响了视觉特征点的检测。除此之外，基于视觉传感的方案由于图像分辨率的问题，难以识别病人面部肌肉的异常。利用传统特征，设计数学函数来表征步态运动的细微差异，是个具有挑战性的艰难工作。

发明内容

针对上述技术不足，本发明的目的是提供一种基于多模态传感的肌肉形变智能检测系统及方法。该系统通过传感信息采集模块，获取多模态传感数据；通过数据处理模块将传感数据进行分析与处理得到多尺度的特征向量，再由智能检测模块将多尺度的特征向量作为输入，通过深度学习技术进行分类，获得肌肉形变结果。

相对于视觉传感方式，应变传感器通常有更高的传感精度。单一的传感方式各有各的问题，但不难发现两种传感方式的优势互补，因此，如何结合两种传感方式各自的优点，利用多模态传感信息的融合，以提高肌肉形变人的智能检测效率和识别率。

为实现上述技术目标，本发明所提出的技术方案是：一种基于多模态传感的肌肉形变智能检测系统，包括：

传感信息采集模块，用于获取多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；

数据处理模块，用于分别对数据类信息和图像类信息进行处理并进行特征融合，得到同一尺度的特征向量；

智能检测模块，用于将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。