[发明专利]人体高度估计

说明书

本公开涉及人体高度估计。本文所公开的各种具体实施包括将人体的头部的一部分(例如，顶部)与下方地板之间的距离确定为该人体的高度估计值的设备、系统和方法。例如，示例性过程可包括确定人体在三维(3D)坐标系中的头部上的第一位置，该第一位置是基于根据该人体在物理环境中的二维(2D)图像对该头部上的特征部进行检测来确定的；确定在该3D坐标系中该第一位置下方的地板上的第二位置；以及基于确定该第一位置与该第二位置之间的距离来估计高度。

相关申请的交叉引用

本申请要求2020年3月17日提交的美国临时申请序列号62/990,589的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及移动设备领域，并且具体地涉及基于在物理环境中检测到的信息来确定人或对象的高度测量结果的系统、方法和设备。

背景技术

检测物理环境中的人体和该人体的准确高度测量结果可在生成准确重建和用于在移动设备上向用户提供高度信息方面起着重要作用。提供基于计算机的系统以基于传感器数据自动且准确地生成人体高度测量结果存在许多障碍。获取的关于物理环境的传感器数据(例如，光强度图像)可能是不完整的或不足以提供准确的测量结果。又如，图像通常缺少深度和语义信息，并且在没有此类数据的情况下生成的测量结果可能缺乏准确性。现有技术不允许使用移动设备自动、准确且有效地生成人体高度测量结果，例如，基于用户采集照片或视频或其他传感器数据。此外，现有技术可能无法在实时环境(例如，在扫描期间立即测量)中提供足够准确和有效的测量结果。

发明内容

本文所公开的各种具体实施包括将人体的头部的一部分(例如，顶部)与下方地板之间的距离确定为该人体的高度估计值的设备、系统和方法。该人体的头部的一部分(例如，顶部)是基于根据二维(2D)图像对头部上的特征部(例如，面部)进行检测来确定的。例如，这可涉及基于人体面部的位置来识别掩膜(例如，语义分割掩膜)的该部分。深度数据可用于识别掩膜中的头部边界，即使在掩膜不指示边界的情况下亦如此，例如，在另一人站在用户头部后的情况下。深度数据可用于确定地板的三维(3D)位置，即使地板的位于头部顶部下方的部分不在图像数据中亦如此。可能期望在实况相机视图中显示人体的高度。可能期望确定人体的高度并将其存储在例如与图像相关联的元数据中。然后，该信息可用于在人体成长时跟踪人体的身高(例如，跟踪并记录儿童随时间推移的成长)。

在一些具体实施中，使用分割来促进从模型中排除对象。例如，分割技术(例如，机器学习模型)可用于生成识别特定类型的对象(例如，人体、动物等)的分割掩膜。分割掩膜可使用值0或值1指示在对应RGB图像中的像素位置，以指示像素位置是对应于要包括在数据中的对象还是要从数据中排除的对象。分割技术可用于使用置信水平对物理环境内的对象进行语义标记。然后可基于图像的掩膜(例如，识别被确定为包括在数据中的对象(诸如人体)的分割掩膜)来确定测量数据。

本公开的一些具体实施涉及将人体的头部的一部分与下方地板之间的距离确定为该人体的高度估计值的示例性方法。该示例性方法涉及，在具有处理器的设备处，确定人体在3D坐标系中的头部上的第一位置(例如，顶部)，该第一位置是基于根据该人体在物理环境中的2D图像对该头部上的特征部(例如，面部)进行检测来确定的。在一些具体实施中，这可能涉及获取掩膜，该掩膜识别与一个或多个人对应的2D坐标。例如，可利用基于2D RGB和/或深度图像的语义分割掩膜。这可能涉及检测人体的头部上的特征部，以及基于该特征部将第一位置识别为掩膜内的某一位置。例如，找到面部的中心并向上移动以找到掩膜内头部的顶部。

该示例性方法还涉及确定在3D坐标系中第一位置下方的地板上的第二位置。在一些具体实施中，这可能涉及使用RGB数据和/或深度传感器数据来确定地板平面。另外地或替代地，可使用机器学习将平面分类为地板(例如，基于所检测到的高度对每个数据点进行分类)来确定地板平面。在一些具体实施中，可使用3D模型来随时间推移确定地板平面，该3D模型使用来自个实例的数据进行更新。