[发明专利]管制员状态检测方法、装置及系统

说明书

本发明提供一种管制员状态检测方法、装置及系统，该方法，包括：采集管制员的初始图像，处理后获得输入图像；将所述输入图像输入人脸模型，匹配获得所述管制员的人脸特征点；将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据；根据所述人脸特征点，通过几何计算获得眨眼信息；将所述人脸特征点输入表情检测模型，获得面部表情信息；根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心等，以提高管制员状态检测的高效性、准确性，同时降低了检测设备的成本。

技术领域

本发明涉及计算机识别技术领域，尤其涉及一种管制员状态检测方法、装置及系统。

背景技术

随着航空飞行器的快速发展，飞行器也随之越来越多，为保证安全和有序的飞行，空中交通管制员需要利用通信、导航技术和监控手段对飞行器飞行活动进行监视并依据具体情况发出对应指令，分秒的疏忽会造成不可挽回的后果。因此对管制员的精神状态具有较高的要求。

目前，为保持管制员工作中饱满的精神状态，主要依靠规章制度以及工作时间的安排来实现，例如管制员工作时长一般不超过1小时，同一个席位的工作需要由两位管制员共同完成、由领班负责协调和监管管制员的工作状态等等，这种监管方法除了检测效率不高，还不利于及时发现问题。

虽然随着空管新技术新设备的不断引进，通过给管制员佩戴相应的传感器来测量其心跳、皮电等，间接检测管制员的精神状态，这些仪器设备的佩戴对管制员的心理造成很大影响。即使利用眼动仪或其他设备采集来分析管制员工作时的眼动行为等对管制员疲劳状态进行测量，但这些设备需要占用一定空间且成本较高，另因检测设备系统未开源、计算需求较大等缺点，导致对管制员状态监测精准度不佳。

发明内容

本发明提供一种管制员状态检测方法、装置及系统，以提高管制员状态检测的高效性、准确性，同时降低了检测设备的成本。

第一方面，本发明实施例提供的一种管制员状态检测方法，包括：

采集管制员的初始图像，处理后获得输入图像；

将所述输入图像输入人脸模型，匹配获得所述管制员的人脸特征点；

将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据；

根据所述人脸特征点，通过几何计算获得眨眼信息；

将所述人脸特征点输入表情检测模型，获得面部表情信息；

根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心。

在一种可能的设计中，采集管制员的初始图像，包括：

利用摄像头实时采集所述管制员的初始视频，按帧读取所述初始视频中的初始图像。

在一种可能的设计中，所述人脸模型包括：卷积专家局部约束支路、卷积专家网络响应图计算支路、点分布模型的形状参数更新支路；其中：

所述卷积专家局部约束支路用于根据人脸对应的像素区域，检测得到与单个人脸特征点位置对齐的概率响应图；

所述卷积专家网络响应图计算支路用于根据所述概率响应图，计算得到人脸特征点的三维位置坐标；

所述点分布模型的形状参数更新支路用于对所述人脸特征点的三维位置坐标进行优化，得到管制员的人脸特征点。

在一种可能的设计中，将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据，包括：

将所述人脸特征点的三维位置坐标代入所述三维头部模型的优化函数，利用最小二乘法经过多个人脸特征点的位置坐标迭代后，获得所述优化函数中头部位置最优参数，得到头部位置姿态数据。