[发明专利]基于无人机的人脸跟踪系统及方法

权利要求书

1.基于无人机的人脸跟踪系统，其特征在于，包括：

图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；

目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；

目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；

目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；

人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；

虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；

IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；

电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；

人脸跟踪模块，用于对稳像后的目标人脸进行跟踪具体包括：

实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。

2.基于无人机的人脸跟踪方法，其特征在于，包括以下步骤：

a.无人机上的相机进行图像采集；

b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；

c.建立虚拟相机坐标系；

d.根据无人机IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；

e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；

f.对稳像后的图像进行实时追踪：

实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。

3.如权利要求2所述的基于无人机的人脸跟踪方法，其特征在于，步骤c中，所述建立虚拟相机坐标系的方法为：

以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。

4.如权利要求2所述的基于无人机的人脸跟踪方法，其特征在于，步骤d中，所述无人机的IMU数据包含：相机姿态P＝(R,T)，其中，R为相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T为相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机坐标系到虚拟相机坐标系的转换矩阵。

5.如权利要求4所述的基于无人机的人脸跟踪方法，其特征在于，步骤e具体包括：

e1.在虚拟相机坐标系中建立一张像素值为空的虚拟图像；

e2.将图像坐标系中的图像投影到虚拟图像中；

e3.计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像；

e4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域；

e5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域；

e6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中。