[发明专利]基于离群点引导的视线估计跨场景适配方法和装置

说明书

本公开的实施例公开了基于离群点引导的视线估计跨场景适配方法和装置。该方法的一具体实施方式包括：基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；确定协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；基于目标图像、该协同学习模型组和该平均协同模型组，生成该协同学习模型组对应的离群点；利用离群点损失函数和离群点，对协同学习模型组进行优化；利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。该实施方式能够有效地稳定跨域适配过程，提高系统的可扩展性。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及基于离群点引导的视线估计跨场景适配方法和装置。

背景技术

视线信息已在各种应用中得到利用，例如人机交互，虚拟增强现实游戏，智能座舱系统，医学分析等。随着深度学习技术的发展，基于外观的视线估计任务近来引起了很多关注。为了提高视线估计的性能，很多大型视线估计数据集已经被提出。为了减少实际应用中的跨域问题，基于对抗学习的方法应运而生。这些方法的核心思想是引入一个判别器来判别区分不同域的图像数据，进而使视线估计部分提取的特征更具有通用性。此外，伪标签法等基于自训练的方法也被提出用于解决跨域适配问题。这些方法使用模型自身的预测结果反过来优化模型参数，能够帮助模型提取与任务真正相关的特征。

然而，当采用上述方式进行视线估计时，经常会存在如下技术问题：

大型视线估计数据集的环境、背景和光照等条件不同，在单个数据集(源域)上训练的视线估计模型应用于新的目标域时，通常由于模型的泛化性能受限，导致方法的性能大大降低。而基于对抗学习的方法难以保证模型提取的特征与视线估计任务真正相关。另外，伪标签法等基于自训练的方法专注于分类任务而不是回归任务，直接将该方法用于视线估计这类回归任务时很容易出现误差放大问题。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了基于离群点引导的视线估计跨场景适配方法和装置，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种基于离群点引导的视线估计跨场景适配方法，该方法包括：基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；确定上述协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；基于目标图像、上述协同学习模型组和上述平均协同模型组，生成上述协同学习模型组对应的离群点；利用离群点损失函数和上述离群点，对上述协同学习模型组进行优化；利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。

第二方面，本公开的一些实施例提供了一种基于离群点引导的视线估计跨场景适配装置，装置包括：预训练单元，被配置成基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；确定单元，被配置成确定上述协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；生成单元，被配置成基于目标图像、上述协同学习模型组和上述平均协同模型组，生成上述协同学习模型组对应的离群点；优化单元，被配置成利用离群点损失函数和上述离群点，对上述协同学习模型组进行优化；视线估计单元，被配置成利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。