[发明专利]一种多维时空深度学习评估新生儿术后疼痛方法

权利要求书

1.一种多维时空深度学习评估新生儿术后疼痛方法，其特征在于，包括以下步骤：

获取新生儿术后疼痛的视频信息和音频信息；

使用FFmpeg库从所述视频信息中提取关键帧，采用YOLO检测器从视频关键帧中检测新生儿面部区域信息和身体区域信息；

采用双线性CNN从新生儿面部区域信息中提取新生儿面部特征，采用神经网络RNN将新生儿面部特征和时间信息整合成新生儿的面部疼痛值；采用运动图像和VGG-16网络从身体区域信息中提取新生儿身体特征，采用神经网络RNN将新生儿身体特征和时间信息整合成新生儿的身体疼痛值；

从音频信息中提取新生儿的梅尔频率倒谱系数MFCC，将音频信息转化成声谱图图像，采用VGG-16网络从声谱图图像中提取深层特征，根据新生儿的梅尔频率倒谱系数MFCC和深层特征分析新生儿的音频疼痛值；

根据新生儿面部疼痛值、身体疼痛值和音频疼痛值采用决策融合模型评估分析新生儿的疼痛水平。

2.根据权利要求1所述的多维时空深度学习评估新生儿术后疼痛方法，其特征在于，所述VGG-16网络包括13个均匀卷积层和3个完全连接层，每个卷积层使用一个3×3内核大小的过滤器，然后是一个池化层；网络从64深度开始，逐渐增加2倍，直到512深度。

3.根据权利要求1所述的多维时空深度学习评估新生儿术后疼痛方法，其特征在于，所述YOLO检测器包括YOLO人脸检测器和YOLO身体检测器，所述YOLO人脸检测器用于检测每一帧中的人脸区域；从每个视频片段中提取的关键帧总数固定为32帧，针对关键帧中的人脸区域被遮挡而导致人脸检测器失效的，使用固定数量的关键帧来促进训练过程；在训练之前，为了扩大数据集，对关键帧进行图像增强，使用30°旋转，±25％的亮度变化，水平翻转。

4.根据权利要求3所述的多维时空深度学习评估新生儿术后疼痛方法，其特征在于，所述双线性CNN包括两个VGG-16网络流，将两种流提取的特征进行组合，生成双线性向量，然后生成两个全连通(FC)层(64单元)和一个稠密层(1单元，线性激活)；在每个FC层之后添加Dropout层(0.5)，以防止过度拟合；使用两个VGG-16网络作为双线性CNN的流，这两个网络使用VGGFace2和ImageNet数据集进行了预训练；手术和术后数据集对整个双线性CNN模型进行微调。

5.根据权利要求3所述的多维时空深度学习评估新生儿术后疼痛方法，其特征在于，所述YOLO身体检测器用于检测新生儿的身体区域，该检测器最初是在COCO数据集上预先训练的，该数据集包含80个目标类别约330K的图像；从每个视频片段中提取的关键帧总数固定为32帧，为了扩大CNN训练的数据集，进行了旋转(30°)、亮度变化(±25％)和水平翻转的随机组合。

6.根据权利要求1所述的多维时空深度学习评估新生儿术后疼痛方法，其特征在于，所述梅尔频率倒谱系数MFCC用于从音频信号中提取有用的、有代表性的特征集/系数，同时剔除噪声和无用的特征；采用信号频谱对数的傅里叶反变换(IFT)将音频信号转换到倒频谱域；提取了20个MFCCs功能的所有帧的音频片段，计算了20个MFCCs的平均特征，得到的平均MFCCs特征向量长度为388。

7.根据权利要求1所述的多维时空深度学习评估新生儿术后疼痛方法，其特征在于，所述将音频信息转化成声谱图图像，采用VGG-16网络从声谱图图像中提取深层特征，具体包括：

所述声谱图图像显示了给定音频信号的视觉表示，它代表了频率分量随时间的变化，抑制了噪声；声谱图图像中更亮的像素代表更高的能量，在为每个音频片段生成声谱图图像之后，使用vgg16网络从这些图像中提取深层特征；

为了训练网络，将信号增强技术应用于原始音频信号，以扩大声谱图图像集；通过在3个不同级别(f/3、f/2、2f/3)改变原始频率f，并添加6个不同级别的噪声(0.001、0.003、0.005、0.01、0.03、0.05)来增强每个音频信号；应用频率和噪声的组合来产生更多的变异信号，这个过程为每个音频信号总共生成27幅(3+6+3*6)增强图像。

8.根据权利要求1所述的多维时空深度学习评估新生儿术后疼痛方法，其特征在于，从音频信息中提前声音特征，采用传统的机器学习分类器和基于深度学习的分类器；在传统分类器的情况下，使用提取的MFCCs特征来训练分类器，包括高斯朴素贝叶斯、随机森林和K-Nearest Neighbors(KNN)分类器；对于基于深度学习的分类，使用一个预先训练(ImageNet)的VGG-16 CNN网络，并使用术后疼痛数据集对该网络进行微调。