[发明专利]一种多维时空深度学习评估新生儿术后疼痛方法

说明书

本发明提供了一种多维时空深度学习评估新生儿术后疼痛方法，包括：获取新生儿术后疼痛的视频信息和音频信息；从视频信息中提取关键帧，并检测新生儿面部区域信息和身体区域信息；从新生儿面部区域信息中提取新生儿面部特征，并结合时间信息整合成新生儿的面部疼痛值；从身体区域信息中提取新生儿身体特征，并结合时间信息整合成新生儿的身体疼痛值；从音频信息中提取新生儿的梅尔频率倒谱系数MFCC和深层特征，并分析新生儿的音频疼痛值；根据新生儿面部疼痛值、身体疼痛值和音频疼痛值采用决策融合模型评估分析新生儿的疼痛水平。可以根据多个指标来评估程序性或短期疼痛，有更高的AUC和准确性；显著改善了性能，可以捕获疼痛动态的变化。

技术领域

本发明涉及医疗信息检测领域，具体涉及一种多维时空深度学习评估新生儿术后疼痛方法。

背景技术

现代医学研究表明新生儿能够感知和记忆外界的疼痛刺激，住院新生儿的疼痛经历可能会对其造成短期和长期的负面影响，如急性应激、中枢神经系统的永久损伤和情感紊乱等，所以正确评估疼痛并采取镇痛措施具有重要的临床意义。在新生儿的护理和治疗过程中，通常伴随着致痛性操作，如：足底采血、动静脉穿刺、皮下和肌肉注射等。国家和国际准则指出，照顾新生儿的单位必须采用足够的疼痛评估工具，以涵盖其环境中存在的胎龄和疼痛类型。应当定期进行疼痛评估，并进行一些疼痛检查项目。

目前，由于新生儿不能用语言表述疼痛的感受，疼痛评估成为儿科学中的一个挑战性难题。传统的评估方法取决于床边护理人员，这种方法是主观的，不一致的，缓慢的和不连续的。为了发展可靠的医学解释，已经提出了几种自动化方法来增强当前的实践。在临床实践中，由受过专门训练的医务人员采用新生儿面部、新生儿疼痛量表等评估工具进行人工评估。但这些方法是单维的，主要侧重于评估新生儿手术(急性)疼痛。由于疼痛是一种多维的情绪，通常通过多种维度来表达，因此疼痛的多维评估是必要的，尤其是在术后(急性长期)疼痛的情况下。大多数现有的疼痛评估机器学习方法集中于程序性疼痛，是单维的，没有考虑到疼痛的时间信息和动态模式。最近提出了一种多维方法来评估程序急性疼痛使用手工制作的方法，但它没有整合时间信息。

发明内容

针对现有技术存在的上述不足，本发明的目的在于：提供一种多维时空深度学习评估新生儿术后疼痛方法，该方法整合了新生儿的视觉信号和声音信号，并集成了时态信息，对新生儿术后疼痛进行多维评估。和现有技术相比，可以基于多个指标的空间分析来评估程序性或短期疼痛，有更高的AUC和准确性；同时，集成时态信息显著改善了性能，可以捕获疼痛动态的变化。这将为临床环境，现场护理测试和家庭中的全自动疼痛监测铺平道路。

一种多维时空深度学习评估新生儿术后疼痛方法，包括以下步骤：

获取新生儿术后疼痛的视频信息和音频信息；

使用FFmpeg库从所述视频信息中提取关键帧，采用YOLO检测器从视频关键帧中检测新生儿面部区域信息和身体区域信息；

采用双线性CNN从新生儿面部区域信息中提取新生儿面部特征，采用神经网络RNN将新生儿面部特征和时间信息整合成新生儿的面部疼痛值；采用运动图像和VGG-16网络从身体区域信息中提取新生儿身体特征，采用神经网络RNN将新生儿身体特征和时间信息整合成新生儿的身体疼痛值；

从音频信息中提取新生儿的梅尔频率倒谱系数MFCC，将音频信息转化成声谱图图像，采用VGG-16网络从声谱图图像中提取深层特征，根据新生儿的梅尔频率倒谱系数MFCC和深层特征分析新生儿的音频疼痛值；

根据新生儿面部疼痛值、身体疼痛值和音频疼痛值采用决策融合模型评估分析新生儿的疼痛水平。

进一步地，所述VGG-16网络包括13个均匀卷积层和3个完全连接层，每个卷积层使用一个3×3内核大小的过滤器，然后是一个池化层；网络从64深度开始，逐渐增加2倍，直到512深度。