[发明专利]一种基于多模态传感的肌肉形变智能检测系统及方法

权利要求书

1.一种基于多模态传感的肌肉形变智能检测系统，其特征在于，包括：

传感信息采集模块，用于获取多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；

数据处理模块，用于分别对数据类信息和图像类信息进行处理并进行特征融合，得到同一尺度的特征向量；

智能检测模块，用于将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。

2.根据权利要求1所述的一种基于多模态传感的肌肉形变智能检测系统，其特征在于：所述传感信息采集模块包括应变传感器与视觉传感器；

所述应变传感器，用于采集面部肌肉抽动或人体各关节形变的运动传感数据，所述运动传感数据纳入数据类信息；

所述视觉传感器，用于采集人体行走的视觉传感数据；所述视觉传感数据纳入图像类信息。

3.根据权利要求1所述的一种基于多模态传感的肌肉形变智能检测系统，其特征在于：所述应变传感器为可穿戴的应变传感器。

4.根据权利要求1或3所述的一种基于多模态传感的肌肉形变智能检测系统，其特征在于：所述应变传感器为压阻式传感器、压电式传感器、电容式传感器、或以上复合式的传感器阵列。

5.根据权利要求1或2所述的一种基于多模态传感的肌肉形变智能检测系统，其特征在于：所述运动传感数据包括压力分布、弹性分布、三维形态信息中的一种或多种。

6.一种基于多模态传感的肌肉形变智能检测方法，其特征在于，包括以下步骤：

S1.通过传感信息采集模块获得多模态传感信息；所述多模态传感信息中的运动传感数据纳入数据类信息，视觉传感数据纳入图像类信息；

S2.将数据类信息进行预处理存为一维数据向量，按照等时间间隔采样将n个一维数据向量合并成一个矩阵，通过卷积操作生成多尺度的传感数据矩阵；

对与数据类信息具有同时间戳的图像类信息进行卷积核操作，得到与传感数据矩阵相同大小的多尺度图像块；

将传感数据矩阵与多尺度图像块通过ASFF方法进行特征融合，得到同一尺度的特征向量；

S3.将同一尺度的特征向量与部分数据类信息构成多尺度的特征向量作为输入，通过深度神经网络进行分类，以表示肌肉形变状态。

7.根据权利要求6所述的一种基于多模态传感的肌肉形变智能检测方法，其特征在于，所述将数据类信息进行预处理存为一维数据向量，按照等时间间隔采样将n个一维数据向量合并成一个矩阵，包括以下步骤：

将数据类信息进行离散化、归一化操作之后，存为一维数据向量：

f＝(v₁,v₂,...,v_M)^T

式中，Vi表示第i个的传感器在某时刻获取的传感数据，M是传感器的数目；i＝1…M；

按照等时间间隔采样t生成n个一维数据向量f_t,f_2t,...,f_nt，并生成多尺度的传感数据矩阵F＝[f₁ f₂...f_n]。

8.根据权利要求6所述的一种基于多模态传感的肌肉形变智能检测方法，其特征在于，所述将传感数据矩阵与图像块通过ASFF方法进行特征融合，得到多尺度的特征向量，包括以下步骤：

通过ASFF方法，将传感数据矩阵与图像块分别通过大小为1*1、3*3、5*5的卷积核得到两组不同尺度的特征图I₁,I₂,I₃，对于每组特征图I₁,I₂,I₃，通过插值及修改步幅将各层级的特征图变为同一尺度，作为融合后的统一尺度特征向量，用于输入深度神经网络。