[发明专利]生成用于训练非接触模型的生理逼真化身以恢复生理特性

说明书

提供了涉及生成包含生理逼真化身的视频序列的系统和方法。在示例中，针对化身的反照率被接收，与反照率相关联的次表面皮肤颜色基于与生理特性相关联的生理数据而被修改，以及化身基于反照率和经修改的次表面皮肤颜色而被渲染。然后，渲染的化身可以在视频的帧中被合成。在一些示例中，包含合成的化身的视频可被用于训练机器学习模型以检测生理特性。机器学习模型可以接收多个视频片段，其中视频片段中的一个或多个视频片段包含用生理特性生成的合成生理逼真化身。机器学习模型可以使用多个视频片段来训练。经训练的模型可以被提供给请求实体。

背景技术

收集高质量的生理数据面临诸多挑战。首先，招募和装备参与者通常是昂贵的，要求先进的技术专长，这严重限制了其潜在的数量。这对于基于成像的方法尤其正确，因为它们要求记录和存储视频内容。其次，已经被收集的训练数据集可能不包含在应用上下文中的运动、照明变化或外观的类型。因此，基于这些数据训练的模型可能是脆弱的，不能很好地概括。第三，数据可以揭示受试者的身份和/或敏感的健康信息。对于成像方法，由于大多数视频记录的数据集都包括一些或所有帧中的受试者面部，这一事实加剧了这种情况。正是关于这些和其他一般考虑，本文所公开的方面被做出。此外，尽管相对具体的问题可以被讨论，但应当理解，这些示例不应局限于解决背景技术或本公开的其他地方所标识的具体问题。

发明内容

根据本公开的示例，合成数据可用于训练生理传感系统，从而避开与招募和装备参与者、包含各种类型的运动、照明变化或外观的有限训练数据以及身份保护相关联的挑战。一旦计算机图形管道就位，合成数据的生成比录制视频更具可扩展性，因为计算相对便宜，并且可以使用云计算随意获取。此外，在有事件的统计特性的适当了解或一组示例的情况下，在视频中罕见事件或典型代表性不足的人群可以被模拟。此外，合成数据集不需要包含与任何特定个体相似的面部或生理信号。最后，参数化模拟将系统地改变某些感兴趣的变量(例如，视频内的运动速度或照明强度)，这对于训练更稳健的方法以及评估不同条件下的性能都是有用的。

根据本公开的示例，可以利用高保真生理逼真计算机模拟来增强可用于改进非接触生理测量的训练数据。

根据本公开的至少一个示例，一种用于生成包括生理逼真化身的视频序列的方法被提供。该方法可以包含接收针对化身的反照率，基于与生理特性相关联的生理数据修改与反照率相关联的次表面皮肤颜色，基于反照率和经修改的次表面皮肤颜色渲染化身，以及合成视频的帧，该视频的帧包含化身。

根据本公开的至少一个示例，一种用于使用包括生理逼真化身的视频序列训练机器学习模型的系统被提供。该系统可以包括处理器和存储指令的存储器，指令当由处理器执行时，使处理器从请求实体接收训练机器学习模型的请求以检测生理特性，接收多个视频片段，其中视频片段中的一个或多个视频片段包含用生理特性生成的合成生理逼真化身，用多个视频片段训练机器学习模型，并且向所请求实体提供训练的模型。

根据本公开的至少一个示例，一种计算机可读介质被提供。计算机可读介质包含指令，其当由处理器执行时，使处理器接收从视频片段恢复生理特性的请求，获得用训练数据训练的机器学习模型，该训练数据包含用生理特性生成的生理逼真化身，接收视频片段，使用所训练的机器学习模型从视频片段标识与生理特性相关联的度量，并基于度量向请求实体提供生理特性的评估。

一个或多个上述方面中的任一项结合一个或者多个方面的任何其他方面。如本文所述的一个或多个方面中的任一项。

此发明内容被提供是为了以简化的形式介绍概念的选择，其将在下面的详细描述中进一步被描述。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。示例的额外方面、特征和/或优点将在下面的描述中部分地被阐述，并且部分地将从描述中显而易见，或者可以通过本公开的实践来学习。

附图说明

参考下图非限制性和非穷举性示例被描述。

图1描绘了根据本公开的示例的涉及生成生理逼真化身视频的第一细节；