[发明专利]基于移动云台的三维人脸跟踪及表情识别系统

摘要

本发明提出一种基于移动云台的三维人脸跟踪及表情识别系统，系统包括：数据采集模块、电机伺服控制系统和软件功能模块。所述数据采集模块包括两个摄像头、图像采集卡；所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块。本发明方案采用两个摄像头捕获左右图像，使用人脸检测、特征匹配实现对人脸区域的三维世界坐标准确定位，从而计算出云台舵机需要移动的角度，保证了全方位无死角的人脸跟踪和表情识别。

主权项

1.一种基于移动云台的三维人脸跟踪及表情识别系统，其特征在于，系统包括：数据采集模块、电机伺服控制系统和软件功能模块，其中：所述数据采集模块包括两个摄像头、图像采集卡；所述摄像头连接于图像采集卡，用于捕获行人视频；所述图像采集卡用于发送指令至摄像头，用于开启、关闭摄像头以及设置摄像头参数，并将捕获视频传输至软件功能模块；所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述舵机云台连接于步进电机，用于实现摄像头的旋转；所述摄像头位于舵机云台上；所述步进电机连接于运动控制卡，所述运动控制卡连接于软件功能模块，用于控制步进电机动作从而实现云台运动；所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块；所述图像预处理模块接收来自数据采集模块的视频数据，经过处理后发送至人脸检测模块；所述人脸检测模块使用注意力选择算法快速检测人脸，并将人脸区域发送至人脸跟踪模块和表情识别模块；所述表情识别模块使用分类器对人脸区域的表情特征进行分类，得到表情类别；所述人脸跟踪模块使用特征匹配方法计算左右摄像头图像的视差，计算出人脸的三维坐标，将人脸区域始终定位到左图像的中心，从而计算得到云台需要转动的角度，实现人脸区域的跟踪。