[发明专利]一种基于深度学习与多参数融合的非接触式睡眠监测方法

说明书

本发明是一种基于深度学习与多参数融合的非接触式睡眠监测系统，属于图像处理领域和深度学习领域。该系统首先对获取到的睡眠视频图像进行分割，然后搭建生理信号提取与放大的深层卷积神经网络，通过设置网络不同的放大因子，对额头区域的心率信号和眼睛区域的眼动频率进行放大，得到放大心率信号的额头区域视频图像和放大眼动频率后的眼睛区域视频图像，再利用快速傅里叶变换提取相应频谱，找出频谱峰值对应的频率作为监测到的心率信号和眼动频率。对于三方位躯体视频图像，搭建基于深度学习的睡姿监测神经网络结构，将网络中提取的睡姿特征输入到全连接层进行六分类，分类结果对应为仰卧、俯卧、左侧直卧、左侧蜷卧、右侧直卧和右侧蜷卧六种睡姿，再通过六种睡姿中的不同睡姿的切换，统计翻身次数。最后综合上述监测到的生理信号，对睡眠质量进行综合评估。本发明具有高舒适度、多参数融合、高度自动化的特点，非接触性的实现了心率、呼吸频率、眼动频率、睡姿、翻身次数等生理参数的监测。

技术领域

本发明属于图像处理领域和深度学习领域，具体涉及视频图像处理技术和深度卷积网络相结合实现多参数融合的非接触式睡眠监测系统。

技术背景

睡眠过程中，人体的大脑、肌肉、眼睛、心脏、呼吸等的一系列机能都会发生变化，监测这些变化可以促进对人体睡眠质量的判断。睡眠障碍通常是指睡眠量或质的异常或在睡眠时发生某些临床症状，如睡眠减少或睡眠过多，睡眠呼吸障碍，快速眼动睡眠行为障碍等。医学证明，长期具有睡眠障碍的人群会诱发多种疾病，因此及时诊断与治疗睡眠障碍对人类健康有着重要意义。

多导睡眠图被称为睡眠障碍诊断和治疗的金方法，主要监测患者的脑电图、心电图、眼电图、口鼻气流通量、血氧饱和度等通道的生理信号，根据收集到的信号进行诊断。利用多导睡眠图监测时需要在被测者身上安装多种传感器，给被测者带来极大的不舒适感，此外，即使其对很多参数进行监测，医生还是会根据被测者的既往病史和监测期间的主观感受作为评估的依据之一，判读结果带有较强的主观性。随着深度学习的发展，出现了许多小型化的睡眠监测设备，如智能枕头、床垫、手环等。智能枕头、床垫通过压力传感器监测睡眠过程中的压力变化，统计被测者的翻身次数。智能手环佩戴时可监测睡眠时的心率。虽然现有的睡眠监测设备降低了监测过程中佩戴传感器的不舒适感，但其仅能对单一生理参数进行监测，导致睡眠质量的评估结果不准确，不完整。

针对上述睡眠监测中的问题，我们设计了一种基于深度学习与多参数融合的非接触式睡眠监测系统。对于心率和眼动频率，通过深层卷积神经网络从睡眠视频中提取微小生理信号并进行放大，同时抑制伪影的产生，实现有效生理信号放大，最后对放大的生理信号进行频谱分析。对于睡姿和翻身次数，利用卷积神经网络自动提取三方位摄像头获取的视频帧的睡姿特征，并对其进行六分类，其中根据不同睡姿之间的切换可以监测睡眠过程中的翻身次数。

发明内容

本发明针对多导睡眠图的接触性监测给被测者带来不舒适感和人工判读的主观性以及其他睡眠监测设备监测生理参数的单一性等问题，设计了一种基于深度学习与多参数融合的非接触式睡眠监测系统，以实现对于心率、眼动频率、睡姿、翻身次数等多项生理参数的非接触式监测。

本发明技术方案是一种基于深度学习与多参数融合的非接触式睡眠监测方法，该方法包括以下步骤：

步骤1：搭建睡眠监测平台，在测试者身体的上、左、右三个位置分别放置三个摄像头，以获取测试者睡眠过程中的视频图像；

步骤2：对步骤1中位于测试者身体上方摄像头所获视频图像进行图像分割，得到测试者额头区域视频图像和眼睛区域视频图像；

步骤3：搭建生理信号提取与放大的深层卷积神经网络，利用其提取视频中微小的生理信号并进行放大；

步骤4：将步骤2所获额头区域视频图像和眼睛区域视频图像分别输入到步骤3搭建的深层卷积神经网络中，分别提取与放大额头区域的心率信号和眼睛区域的眼动信号，输出放大心率信号后的额头区域视频图像和放大眼动频率后的眼睛区域视频图像；