[发明专利]瞳孔位置的确定方法、装置及系统

说明书

本申请涉及人工智能技术领域，提供一种瞳孔位置的确定方案，包括：获取包括瞳孔的图像以及对应的热力图，该热力图用于表示瞳孔点在图像中的概率分布，其中瞳孔点为瞳孔的中心点。利用热力图中的像素对应的概率值、第一阈值和第二阈值，确定出瞳孔点在图像中的二维位置和瞳孔点的深度值。再根据瞳孔点在图像中的二维位置和瞳孔点的深度值确定出瞳孔点的三维位置。由于采用了基于概率分布的热力图来确定瞳孔点三维位置，预测出的瞳孔点的位置更准确，并且，在遮挡、光照、眼球大姿态等不同的场景下，预测瞳孔点的鲁棒性更佳。

技术领域

本申请涉及人工智能的技术领域，尤其涉及瞳孔位置的确定方法、装置及系统。

背景技术

瞳孔关键点定位技术在视线追踪、眼动识别、虹膜检测等领域中有着广泛的用途，同时，随着虚拟现实技术以及人机交互的逐渐热门，瞳孔定位技术受到越来越广泛的关注。在早期，二维(2dimension，2D)瞳孔关键点定位主要采用传统的图像处理算法，对图像进行二值化、腐蚀、膨胀等操作，然后利用检测算法圈出虹膜，再根据圆心进一步求解出虹膜的中心点。

近年来，随着深度学习的发展和硬件设备性能的不断提升，采用深度学习的方法进行瞳孔关键点定位越来越多，当前深度学习在人脸和人体关键点定位领域都有着很大的进展，精度也越来越高，效果变得越来越好。但是，由于瞳孔关键点定位对定位的精度有着很高的要求，当前仅采用深度学习并仅针对眼部瞳孔进行定位的技术还比较少。

例如在进行视线追踪的技术中，需要能够精确定位瞳孔点在摄像头坐标系下的三维(3dimension，3D)空间位置。具体的，在视线追踪任务中，主要需要预测人眼所看的方向，然后进一步计算出人眼所看的实际目标位置。为了达到此目的，首先需要定位出视线的起始点，而视线起始点的定位，即需要通过瞳孔关键点定位技术，如何确定出瞳孔点在摄像头坐标系下的3D空间位置，是做好视线估计的基础。

发明内容

本申请提供一种瞳孔位置的确定方案，该方案包括用于瞳孔位置的确定方法、装置、系统、计算机可读存储介质及计算机程序产品，可以实现对瞳孔三维位置的定位。

为达到上述目的，本申请第一方面提供了一种瞳孔位置的确定方法，包括：获取包括瞳孔的图像以及对应的热力图，其中，该热力图用于表示瞳孔点在图像中的概率分布，瞳孔点为瞳孔的中心点。根据热力图的第一区域，确定瞳孔点在图像中的位置，其中，热力图的第一区域中的像素对应的概率值大于第一阈值。确定图像中的第二区域，其中，第二区域在热力图中的像素对应的概率值大于第二阈值，并且第二阈值小于或等于第一阈值。由图像中的第二区域的像素的深度值确定瞳孔点的深度值。根据瞳孔点的二维位置、瞳孔点的深度值确定瞳孔点的三维位置，其中，瞳孔点的二维位置指瞳孔点在图像中的位置。

由上，可以实现3D瞳孔点的定位，为视线追踪、眼动、人机交互等技术方向提供了技术支撑，为视线技术提供了精确且稳定的起始点，为视线估计的稳定性提供了保证。例如，在车辆的智能座舱中可以根据估计的瞳孔的3D坐标点测量驾驶员的坐高，以自动调整座椅，使得座椅处于最舒适的高度。在驾驶员监控中，也可根据瞳孔三维位置判断驾驶员的分神情况。

其中，可以采用深度神经网络预测瞳孔点的热力图，通过热力图表示瞳孔点的概率分布，深度神经网络根据图像回归热力图相比直接回归瞳孔点坐标更加容易，并且对遮挡、光照、眼球大姿态等场景也更加鲁棒，在一定程度上解决瞳孔位置定位不够准确，效果不够鲁棒的问题。具体来说，在瞳孔点定位上，现有的瞳孔点定位要么是采用基于传统的图像处理算法来检测，要么是直接利用深度神经网络提取特征进行关键点坐标的直接回归，将预测瞳孔热力图应用在瞳孔坐标定位上，回归出来的是瞳孔坐标的概率分布，而不是简单的坐标位置，通过回归热力图的方法，本发明预测出的瞳孔坐标更加准确，同时也更加鲁棒。

作为第一方面的一种可能的实现方式，根据热力图的第一区域，确定瞳孔点的在图像中的位置，可以采用的方式包括：根据热力图的第一区域的中心位置，确定瞳孔点的在图像中的位置。