[发明专利]一种基于不完备特征的头部姿态跟踪装置及方法

摘要

本发明公开了一种基于不完备特征的头部姿态跟踪装置及方法，基于计算机视觉的头部姿态检测系统，对实时采集的视频流进行归一化处理，然后通过CNN训练的模型进行特征确认是否有面部，如检测面部失败，则通过训练过的对抗网络模型将面部特征不完整的部分进行补全；在视频中跟踪人脸的位置，然后通过受稀疏约束的模型来标记面部特征点位置，利用PnP算法得出头部姿态的Pitch、Yaw、Roll三个角度值[θxθyθz]，再发送给随动云台，因而，本发明能够提供准确的头部位置姿态信息，实时性高且鲁棒性好。

主权项

一种基于不完备特征的头部姿态跟踪装置，其特征在于，包括：连接本地控制台和随动云台的PC机；所述本地控制台包括图像传感器和惯性传感器；图像传感器包括一组固定在操作人员面部前方，用于拍摄驾驶员面部图像的单目摄像头和红外摄像头，以及固定在操作人员头部左右两侧各一组的单目摄像头和红外摄像头；其中，单目摄像头用于装置白天工作，红外摄像头用于夜间工作；惯性传感器包括三轴陀螺仪、三轴磁力计和三轴加速度计；通过图像传感器和惯性传感器的互补特性，采集驾驶员头部姿态视频并上传至PC机；所述PC机收到本地控制台上传的视频后，进行归一化处理，然后通过CNN训练的模型进行特征，确认是否有面部，如检测面部失败，则通过训练过的对抗网络模型将面部特征不完整的部分进行补全；在视频中跟踪人脸的位置，然后通过受稀疏约束的模型来标记面部特征点位置，利用PnP算法得出头部姿态的Pitch、Yaw、Roll三个角度值[θx θy θz]，再发送给随动云台；所述随动云台包括双目视觉摄像头及其驱动电机，双目视觉摄像头用于实时采集工作环境图片，并上传至PC机，用于驾驶员观看，驱动电机根据头部姿态的Pitch、Yaw、Roll三个角度值[θx θy θz]驱动双目摄像头跟随操作人员头部动作。