[发明专利]基于人眼定位的全景视频视角调整方法与装置

权利要求书

1.基于人眼定位的全景视频视角调整方法，其特征在于，所述全景视频视角调整方法包括：

获取人眼瞳孔坐标的偏移量；

根据所述人眼瞳孔坐标的偏移量，确定当前全景视频的播放视角，以根据该播放视角来播放当前全景视频。

2.根据权利要求1所述的基于人眼定位的全景视频视角调整方法，其特征在于，所述获取人眼瞳孔坐标的偏移量的步骤包括：

采集预定区域内的包含人脸的图像序列；

对获取的所述图像序列进行图像处理以获得所述图像序列中两帧图像对应的人眼瞳孔中心坐标的偏移量，来作为所述人眼瞳孔坐标的偏移量。

3.根据权利要求2所述的基于人眼定位的全景视频视角调整方法，其特征在于，所述对获取的所述图像序列进行图像处理以获得所述图像序列中两帧图像对应的人眼瞳孔中心坐标的偏移量的步骤包括：

针对所述图像序列中的每一帧图像，定位该帧图像中的人脸区域，并取该人脸区域的上三分之一部分为眼部区域图像，利用平均曲率原理获取该眼部区域图像中人眼瞳孔中心坐标；

根据所述图像序列中两帧图像对应的人眼瞳孔中心坐标的变化，来获取该两帧图像对应的人眼瞳孔中心坐标的偏移量(X1-X0，Y1-Y0)，其中，X0和Y0分别表示该两帧图像中前一帧图像对应的移动前的人眼瞳孔中心坐标的横坐标和纵坐标，X1和Y1分别表示该两帧图像中后一帧图像对应的移动后的人眼瞳孔中心坐标的横坐标和纵坐标。

4.根据权利要求3所述的基于人眼定位的全景视频视角调整方法，其特征在于，所述利用平均曲率原理获取该眼部区域图像中人眼瞳孔中心坐标的步骤包括：

对该眼部区域图像进行高斯平滑去噪，采用标准差为θ＝((n/2)-1)×0.3+0.8及选取n＝11模板大小进行处理；

对该眼部区域图像进行一阶和二阶求导，根据其一阶和二阶导数值分别计算对应的生成曲线和所有指向等照度线中心的位移向量，根据生成曲线创建加权投票数组、加权重要位移向量，以生成中心映射区域；

将高斯核和累加器进行卷积，使每个投票群形成各自单一的估计中心，最大等中心点作为该眼部区域图像中人眼瞳孔中心坐标。

5.根据权利要求1-4中任一项所述的基于人眼定位的全景视频视角调整方法，其特征在于，所述根据所述人眼瞳孔坐标的偏移量，确定当前全景视频的播放视角，以根据该播放视角来播放当前全景视频的步骤包括：

预先设置映射表，其中，该映射表的左端为人眼瞳孔坐标的变化矢量(X1-X0，Y1-Y0)，该映射表的右端是播放全景的显示设备屏幕中心坐标的变化矢量(Xd，Yd)，其中，Xd和Yd分别表示所述播放全景的显示设备屏幕中心坐标在横坐标和纵坐标上的变化量；

根据人眼瞳孔坐标的变化矢量对应的显示设备屏幕中心坐标的变化矢量(Xd，Yd)，以及显示设备像素尺寸(Ws,Hs)确定全景球形画面姿态角变化量(α,β)；其中，Ze表示显示设备视锥体坐标系下Z轴上坐标值，R表示全景球形图像的半径，fov_v是视场角在X轴上的角度分量，fov_h是视场角在Y轴上的角度分量，其中：

根据姿态角变化量调整全景视频播放视角以进行播放。

6.基于人眼定位的全景视频视角调整装置，其特征在于，所述全景视频视角调整装置包括：

偏移量获取单元，适于获取人眼瞳孔坐标的偏移量；

视角调整单元，适于根据所述人眼瞳孔坐标的偏移量，确定当前全景视频的播放视角，以根据该播放视角来播放当前全景视频。

7.根据权利要求6所述的基于人眼定位的全景视频视角调整装置，其特征在于，所述偏移量获取单元包括：

图像采集模块，适于采集预定区域内的包含人脸的图像序列；

图像处理模块，适于对获取的所述图像序列进行图像处理以获得所述图像序列中两帧图像对应的人眼瞳孔中心坐标的偏移量，来作为所述人眼瞳孔坐标的偏移量。