[发明专利]视线估计方法、装置、电子设备及存储介质

说明书

本申请实施例中提供了一种视线估计方法、装置、电子设备及存储介质，该方法包括：获取人脸图像；获取人脸图像中的眼部轮廓，并基于所述眼部轮廓从所述人脸图像中，裁剪出眼部图像；将所述眼部图像输入视线估计模型，得到视线向量，其中，所述视线估计模型为根据样本眼部图像，以及与所述样本眼部图像对应的轮廓标注信息和标注向量训练神经网络模型得到，所述轮廓标注信息包括眼部轮廓和瞳孔轮廓。通过训练神经网络模型得到视线估计模型，基于该视线估计模型对眼部图像进行视线估计，无需额外的硬件设施，成本较低，使用方便快捷，易于广泛使用。

技术领域

本申请涉及计算机视觉技术领域，具体地，涉及一种视线估计方法、装置、电子设备及存储介质。

背景技术

视线估计在司机辅助驾驶系统中的疲劳驾驶预警系统(DMS)扮演非常重要的角色。它可以检测司机的精神注意力状态，即当司机视线偏移正前方的时候，对其进行提醒、防止分神，目的是提高驾驶安全性，减少交通事故的发生，从而保障司机、乘客和车外行人的生命安全。

然而目前进行视线估计时，需要在车上额外安装硬件设施，或是司机佩戴特殊的仪器，导致进行视线估计的成本较高，难以广泛使用。

发明内容

本申请实施例中提供了一种视线估计方法、装置、电子设备及存储介质，可以有效解决视线估计的成本较高，难以广泛使用的问题。

根据本申请实施例的第一个方面，提供了一种视线估计方法，该方法包括：获取人脸图像；获取人脸图像中的眼部轮廓，并基于所述眼部轮廓从所述人脸图像中裁剪出眼部图像；将所述眼部图像输入视线估计模型，得到视线向量，所述视线估计模型为根据样本眼部图像，以及与所述样本眼部图像对应的轮廓标注信息和标注向量训练神经网络模型得到，所述轮廓标注信息包括眼部轮廓和瞳孔轮廓。

根据本申请实施例的第二个方面，提供了一种视线估计装置，该装置包括：获取模块，用于获取人脸图像；裁剪模块，用于获取人脸图像中的眼部轮廓，并基于所述眼部轮廓从所述人脸图像中，裁剪出眼部图像；估计模块，用于将所述眼部图像输入视线估计模型，得到视线向量，所述视线估计模型为根据样本眼部图像，以及与所述样本眼部图像对应的轮廓标注信息和标注向量训练神经网络模型得到，所述轮廓标注信息包括眼部轮廓和瞳孔轮廓。

根据本申请实施例的第三个方面，提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述应用于电子设备的方法。

根据本申请实施例的第四方面，本申请实施列提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

采用本申请实施例中提供的视线估计方法，获取人脸图像；获取人脸图像中的眼部轮廓，并基于所述眼部轮廓从所述人脸图像中裁剪出眼部图像；将所述眼部图像输入视线估计模型，得到视线向量，其中，所述视线估计模型为根据样本眼部图像，以及与所述样本眼部图像对应的轮廓标注信息和标注向量训练神经网络模型得到，所述轮廓标注信息包括眼部轮廓和瞳孔轮廓。通过训练神经网络模型得到视线估计模型，基于该视线估计模型对眼部图像进行视线估计，无需额外的硬件设施，成本较低，使用方便快捷，易于广泛使用。并且，使用带有轮廓标注信息和标注向量的样本眼部图像训练得到的视线估计模型，轮廓标注信息中包括的眼部轮廓以及瞳孔轮廓使得视线估计模型可以准确识别眼部图像中的眼部区域和瞳孔区域，进而提升视线估计模型在进行视线估计时的精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一个实施例提供的视线估计方法的流程图；

图2为本申请一个实施例提供的眼部图像的示意图；