[发明专利]基于人眼定位的全景视频视角调整方法与装置

说明书

本发明提供了一种基于人眼定位的全景视频视角调整方法与装置。基于人眼定位的全景视频视角调整方法包括：获取人眼瞳孔坐标的偏移量；根据所述人眼瞳孔坐标的偏移量，确定当前全景视频的播放视角，以根据该播放视角来播放当前全景视频。上述全景视频视角调整装置可以用于执行上述全景视频视角调整方法。本发明的上述基于人眼定位的全景视频视角调整方法与装置，通过利用平均曲率原理获取人眼瞳孔坐标的精确变化量，获取显示设备屏幕中心坐标的精确变化量，从而调整全景视频播放视角，实现了自动调整全景视频播放时的视角，使用简单便捷。

技术领域

本发明涉及图像处理技术，尤其涉及一种基于人眼定位的全景视频视角调整方法与装置。

背景技术

在现有的全景播放中，当用户在观看全景视频时，需要手动调整观看视角，将需要观看的内容调整至显示画面中。然而，手动调整全景视频的播放视角这种操作过于繁琐，效率偏低。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，本发明提供了一种基于人眼定位的全景视频视角调整方法与装置，以至少解决现有技术中在全景视频播放过程中，需要手动调整播放视角的问题。

根据本发明的一个方面，提供了一种基于人眼定位的全景视频视角调整方法，所述全景视频视角调整方法包括：获取人眼瞳孔坐标的偏移量；根据所述人眼瞳孔坐标的偏移量，确定当前全景视频的播放视角，以根据该播放视角来播放当前全景视频。

进一步地，所述获取人眼瞳孔坐标的偏移量的步骤包括：采集预定区域内的包含人脸的图像序列；对获取的所述图像序列进行图像处理以获得所述图像序列中两帧图像对应的人眼瞳孔中心坐标的偏移量，来作为所述人眼瞳孔坐标的偏移量。

进一步地，所述对获取的所述图像序列进行图像处理以获得所述图像序列中两帧图像对应的人眼瞳孔中心坐标的偏移量的步骤包括：针对所述图像序列中的每一帧图像，定位该帧图像中的人脸区域，并取该人脸区域的上三分之一部分为眼部区域图像，利用平均曲率原理获取该眼部区域图像中人眼瞳孔中心坐标；根据所述图像序列中两帧图像对应的人眼瞳孔中心坐标的变化，来获取该两帧图像对应的人眼瞳孔中心坐标的偏移量(X1-X0，Y1-Y0)，其中，X0和Y0分别表示该两帧图像中前一帧图像对应的移动前的人眼瞳孔中心坐标的横坐标和纵坐标，X1和Y1分别表示该两帧图像中后一帧图像对应的移动后的人眼瞳孔中心坐标的横坐标和纵坐标。

进一步地，所述利用平均曲率原理获取该眼部区域图像中人眼瞳孔中心坐标的步骤包括：对该眼部区域图像进行高斯平滑去噪，采用标准差为θ＝((n/2)-1)×0.3+0.8及选取n＝11模板大小进行处理；对该眼部区域图像进行一阶和二阶求导，根据其一阶和二阶导数值分别计算对应的生成曲线和所有指向等照度线中心的位移向量，根据生成曲线创建加权投票数组、加权重要位移向量，以生成中心映射区域；将高斯核和累加器进行卷积，使每个投票群形成各自单一的估计中心，最大等中心点作为该眼部区域图像中人眼瞳孔中心坐标。