[发明专利]基于无人机的人脸跟踪系统及方法

说明书

本发明涉及计算机视觉技术和无人机技术，其公开了一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。该方法包括以下步骤：a.无人机上的相机进行图像采集；b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；c.建立虚拟相机坐标系；d.根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；f.对稳像后的图像进行实时追踪。本发明适用于人脸图像准确追踪。

技术领域

本发明涉及计算机视觉技术和无人机技术，具体涉及一种基于无人机的人脸跟踪系统及方法。

背景技术

人脸跟踪是在视频或图像序列中确定人脸的运动轨迹即大小变化的过程。现今，利用无人机进行跟拍娱乐已经成为一种潮流，无人机已经逐渐普及到人们生活中，因此，基于无人机的计算机视觉研究非常有意义。

传统技术中的人脸跟踪方法主要是基于图像的检测跟踪方法，仅仅是在视频帧中找出目标，并不对相机位置进行调整，因而相机拍摄出的目标并不能处在图像中的有利位置，使得跟踪效果和视觉效果并不是很好，因此，这样的方法不适用于大幅度运动的航拍跟踪场景中；

专利公开号为CN 105447459，名称为《一种无人机自动检测目标及跟踪方法》的专利申请方案中的人脸跟踪方法在识别人脸的基础上，根据目标跟踪框位置调整无人机位置，能够较好地进行目标跟踪，并通过使用无人机自带的防抖摄像头进行图像去抖动，使得检测精度相对较高；但是，在无人机大幅度抖动或是目标大幅度运动造成的图像不清晰的情况下，防抖摄像头仍然无法保证所拍摄的图像清晰度，从而降低了跟踪的准确性。

发明内容

本发明所要解决的技术问题是：提出一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。

本发明解决上述技术问题所采用的方案是：

基于无人机的人脸跟踪系统，包括：

图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；

目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；

目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；

目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；

人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；

虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；

IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；

电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；

人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。

作为进一步优化，所述目标框制作模块，用于制作大小不同的多个目标框。

作为进一步优化，该系统还包括：

无人机飞控模块，用于根据IMU数据获取模块获取的无人机的IMU数据调整无人机的飞行姿态，对目标人脸进行实时追踪。

此外，本发明还提供了一种基于无人机的人脸跟踪方法，其包括以下步骤：

a.无人机上的相机进行图像采集；