[发明专利]基于Transformer的非接触式呼吸率测量方法

说明书

本发明属于机器视觉、数据识别领域，具体涉及一种基于Transformer的非接触式呼吸率测量方法、系统、装置，旨在解决现有的呼吸率测量方法获得的模型泛化能力差，进一步导致测量的呼吸率精度较差的问题。本发明方法包括：获取设定时间段内包含人脸信息的待测视频帧序列；基于待测视频帧序列，通过人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；基于人脸感兴趣区域图像序列，通过训练好的端到端Transformer模型获取设定时间段内的呼吸率序列。本发明提升了呼吸率的测量精度。

技术领域

本发明涉及机器视觉、数据识别领域，具体涉及一种基于Transformer的非接触式呼吸率测量方法、系统、设备。

背景技术

呼吸速率被定义为一个人在休息期间在一分钟内呼吸的次数。我们每分钟呼吸的次数表明我们的大脑告诉身体呼吸的频率。同时：正常呼吸速率可能因年龄而异。不同年龄儿童呼吸速率的正常范围包括：新生儿：每分钟30-60次呼吸；婴儿（1至12个月）：每分钟30-60次呼吸；幼儿（1-2岁）：每分钟24-40次呼吸；学龄前儿童（3-5岁）：每分钟22-34次呼吸；学龄儿童（6-12岁）：每分钟18-30次呼吸；青少年（13-17岁）：每分钟12-16次呼吸。一般来讲：当一个人处于休息时，进行测量呼吸速率测量。

在早期的呼吸率测量方法研究中，一般使用接触式呼吸率测量方，相较于接触式心率测量，非接触式呼吸率测量目前还没有引起足够的重视。例如，一些传统的方法通过抽取rPPG信息、呼吸率变化提取、异常样本点剔除和谱分析来得到这个人此时的呼吸率，测量效果较差，即是预测结果与真值结果方差较大。

深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉、自然语言处理等领域获得了巨大的成功，同样在呼吸率的测量方向上得到了研究和探索。而现有的基于深度学习的人脸测试呼吸率的方法尚有以下不足：首先，现有的数据集不足够大，目前的数据集都是只有少量样本，基于这个现实，采用微调性能好的预训练模型的方法是目前达到一个相对较好的精度的一个方法；其次，CNN表达能力主要来源于卷积层，卷积层表达能力有限，导致测量的精度较低，Transformer，其在NLP领域的重大成功展示了它对时序数据的强大建模能力，在Transformer的基础上构建时序预测能力可以突破以往的诸多限制，最明显的一个增益点是，Transformer for 时间序列可以基于多头注意力结构具备同时建模长期和短期时序特征的能力。再次，呼吸率与心率的不同在于，呼吸率的测量一般在一个人处于休息时进行，比较稳定，不会像心率出现短时间内迅速变化的情况。基于此，本发明提出了一种基于Transformer的非接触式呼吸率测量方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的呼吸率测量方法获得的模型泛化能力差，进一步导致测量的呼吸率精度较差的问题，本发明提出一种基于Transformer的非接触式呼吸率测量方法，包括以下步骤：

步骤S100，获取设定时间段内包含人脸信息的待测视频帧序列；

步骤S200，基于所述待测视频帧序列，通过人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；

步骤S300，基于所述人脸感兴趣区域图像序列，通过训练好的端到端Transformer模型获取设定时间段内的呼吸率序列；

其中，所述端到端Transformer模型基于顺次连接的预处理模块、一阶特征提取模块、二阶特征提取模块、三阶特征提取模块和四阶特征提取模块和全连接层构建；

所述预处理模块，用于对输入的待测视频帧序列进行切块操作；

所述一阶特征提取模块基于线性映射模块、Swin Transformer Block模块构建；所述线性映射模块，用于将切块后的待测视频帧序列映射至设定维度；

所述Swin Transformer Block模块包括第一子模块、第二子模块；