[发明专利]一种基于人工智能的眼睑运动功能评估系统

权利要求书

1.一种基于人工智能的眼睑运动功能评估系统，其特征在于，包括：

受检对象获取模块：用于从输入的受检对象的面部动作视频中获得每帧受检对象的面部特征区域，剪去每帧非所述受检对象的面部特征区域，获得只包含所述受检对象的面部视频；

眼睛及指定部位定位模块：用于定位和图像处理所述面部视频的眼睛及指定部位，该指定部位有一种或多种对应所述受检对象的关键部位；裁剪生成所述受检对象的眼睛运动视频及指定部位联动视频；所述指定部位和关键部位都包括头部、鼻部、嘴巴和眉毛；

基于卷积神经网络的TSN模型：用于处理眼睛运动视频和指定部位联动视频并输出眼睛及指定部位的动作信号；

概率输出模块：将TSN输出的动作信号作为输入，用于输出每帧画面计算机判断眼睑运动异常出现的概率信号；所述眼睑运动异常出现的概率信号包括眼睑运动异常时眼睛出现异常动作的概率信号和每个指定部位出现异常联动动作的概率信号；所述概率输出模块输出眼睑运动异常出现的概率信号的具体方法为：（1）将TSN模型输出的动作信号作为输入，训练机器学习分类器，结合若干个短片段的类别得分输出以获得短片段之间关于类别假设的共识，获得段共识函数 G，基于这个共识，预测函数 H 预测整段视频属于眼睛及指定部位的每个行为类别的概率信号；所述行为类别包括所述受检对象出现眼睑运动异常时眼睛出现异常动作的行为类别及每个指定部位出现异常联动动作的行为类别；（2）输出眼睛出现异常动作的概率信号和每个指定部位出现异常联动动作的概率信号；

评估模块：用于根据眼睛运动出现异常的概率信号、每个指定部位运动出现异常联动动作的概率信号和眼睑运动异常概率判断机制获得异常等级，判断所述受检对象的眼睑运动异常的严重程度；

所述受检对象获取模块包括：

Faster-RCNN神经网络模型，用于定位所述面部动作视频中每一帧受检对象的人脸区域，并将人脸区域逐帧输入至人脸识别模型；

人脸识别模型，包括左侧脸、正脸和右侧脸分类模型，用于识别每个人脸区域中不同方位的受检对象的面部特征；

所述眼睛及指定部位定位模块包括CPM的CNN结构、PAF的CNN结构和图像处理模块。

2.根据权利要求1所述的一种基于人工智能的眼睑运动功能评估系统，其特征在于：所述面部动作视频的时长≥5min。

3.根据权利要求1所述的一种基于人工智能的眼睑运动功能评估系统，其特征在于：所述面部动作视频为受检对象的面部位于镜头中央的视频。

4.根据权利要求1所述的一种基于人工智能的眼睑运动功能评估系统，其特征在于：所述从输入的受检对象的面部动作视频中获得每帧受检对象的面部特征区域的具体方法为：

（1）所述面部动作视频输入Faster-RCNN神经网络模型，定位所述面部动作视频中每一帧受检对象的人脸区域，并将每一帧的人脸区域输入至人脸识别模型；

（2）所述人脸识别模型识别每一帧人脸区域中不同方位的所述受检对象的面部特征；

（3）对面部动作视频的每帧进行步骤（1）和步骤（2），获得每帧受检对象的面部特征区域。

5.根据权利要求1所述的一种基于人工智能的眼睑运动功能评估系统，其特征在于：所述定位所述面部视频的指定部位的具体方法为：

（1）通过CPM的CNN结构得到所述面部视频的眼睛与指定部位的关节点的热图来判断关节点；

（2）通过PAF的CNN结构得到2D的向量几何来编码所述面部视频的指定部位的运动方向，定位出指定部位；

（3）通过图像处理模块学习包含眼睛的视频，定位出眼睛；并截取出所述面部视频中眼睑闭合瞬间的图像，分析该图像中眼睑闭合的程度，通过图片灰度处理技术将其眼睑部分与瞳孔部分进行处理。