[发明专利]基于自监督的预训练和面瘫分级的建模、分级方法及系统

说明书

本发明公开了一种基于自监督的预训练和面瘫分级的建模、分级方法及系统。面瘫分级评估方法主要包括视频序列预测的上游任务和面瘫分级评估的下游任务两个阶段。为进行视频序列预测，将面瘫的诊断视频中人脸对称地划分为左侧脸和右侧脸，将这些单侧脸的视频采样为若干个视频片段并打乱。然后利用3D‑CNN模型进行视频序列预测任务的预训练。预训练后的3D‑CNN模型就具有一定能够学习面部运动时序特征的能力。然后，将预训练后的模型迁移到面瘫分级评估的下游任务钟，利用面瘫诊断视频对预训练后的3D‑CNN模型进行微调。最后，利用3D‑CNN模型提取的时序特征的差异信息进行面瘫分级评估。此外，整个模型结合了面部整体的非对称性特征和局部非对称性特征进行面瘫分级评估。

技术领域

本发明属于医疗辅助诊断、信息处理和人工智能技术领域，具体涉及一种基于自监督的预训练和面瘫分级的建模、分级方法及系统。

背景技术

面瘫是一种较为常见的面部肌肉运动障碍的疾病。由于不健康的生活方式、各种生活和精神压力，越来越多的年轻人患有面瘫疾病。面瘫的主要症状是患者面部表情肌肉丧失了正常的运动功能。患者无法正常表达出常见的面部表情。面瘫对患者的身心健康以及正常生活产生不利影响。大多数面瘫患者的临床特征是单侧性面瘫。因此，面瘫评估主要是依据面部运动的不对称性和面部肌肉运动模式。目前面瘫的诊断和分级评估基本都是由专科医生根据医学经验和相关标准进行的，诊断结果很大程度上受医生主观医学经验的影响，且效率低下。而利用计算机视觉技术的辅助诊断可以减轻医生的工作量，提高工作效率，减少诊断结果受主观因素的影响，提升准确性。

目前，基于计算机视觉技术的面瘫分级评估方法主要有：

(1)基于静态面部图像的非对称性的评价方法，该方法主要依据面部形状和纹理信息的不对称性，高度依赖于关键点检测的准确性，然而对具有多种面部状态和复杂面部运动患者面部关键点难以准确定位。此外，依据静态面部图像进行面瘫分级评估忽略了面部肌肉的运动特征，不能准确地表达面部运动的时序特征信息，难以通过多个相邻帧的级联而获得的特征向量来表达面部运动的时序特征。

(2)基于深度模型的面瘫分级评估(GoogleNet)方法，该主要是依据静态面部图像的特征信息来评估面瘫等级。但是，该方法仅关注静态面部的全局特征，却忽略了面部运动的时序特征，以及面部的非对称运动。

通过以上现有的面瘫评估方法的分析可以得出，针对行为识别，表情和微表情识别等问题，可利用经典的分类模型，如GooleNet，VGG-16，Resnet34，Resnet50和Resnet101来提取全局面部视觉特征，还可使用LSTM，CNN-LSTM，3D CNN，CNN-FER和MicroExpSTCNN等提取面部运动的时序特征。但是，这些方法难以有效提取面部肌肉运动的非对称性特征，而这一特征又是面瘫分级评估的关键性特征。

发明内容

本发明的目的在于提供一种基于自监督的预训练和面瘫分级的建模、分级方法及系统，用以解决现有技术中的小规模面瘫视频数据的有效特征难以准确提取的问题。

为了实现上述任务，本发明采用以下技术方案：

基于自监督的预训练模型建立方法，包括如下步骤：

步骤1：获取面部表情视频集，对面部表情视频集中的每个面部表情视频进行采样获得视频段，将面部表情视频集采样后得到的所有视频段作为面部数据集；

步骤2：对于面部数据集进行预处理，获得面部视频序列集，所述的面部视频序列集包括多组左侧面子视频段序列和多组右侧面子视频段序列，其中，对于面部数据集中的任意一个视频段进行预处理包括如下子步骤：

步骤2.1：将视频段依次通过Faster RCNN进行人脸检测，获得视频段的人脸数据；

步骤2.2：采用AAM算法计算人脸数据的面部中轴线，根据面部中轴线将视频段分离为左侧面视频段和右侧面视频段；