[发明专利]使用深度传感器计数人的方法和系统

说明书

根据本发明的实施例的传感器系统可以处理深度数据和可见光数据以用于更精确的检测。在可见光图像易受误报的情况下深度数据是有帮助的。可见光图像(或视频)可以类似地增强单独从深度数据得出的结论。检测可以是基于物体的或者用目标物体的环境限定。取决于目标物体，检测的类型可以变化以包括运动和行为。所述传感器系统的应用包括运动引导接口，其中用户可以通过姿势与一个或多个系统交互。所述的传感器系统也可以应用于计数系统、监控系统、投票系统、零售店分析等。

相关申请

本申请是2012年11月21日提交的美国申请第13/683,886号的继续申请。

以上申请的完整教导通过引用合并于本文中。

背景技术

许多应用受益于场景内的人的精确计数。这些应用中的一些可以与加热通风和空气调节(HVAC)控制系统、视频监控系统、零售系统和其他领域组合使用。例如，人的精确计数可以为零售商提供统计信息以判断他们的广告效果，并且其他应用可以使用计数来检测安全检查点处的尾随。市政当局也可以使用精确的场景人口计数来确定特定设施处的游客的数量。通过使用可见光谱和热感照相机计数人会导致不精确计数。

发明内容

当阴影呈现类似的形状和尺寸时，可见光谱照相机难以检测场景中的物体。热感照相机依赖于温度变化来确定或检测场景中的运动。当温度与移动物体的温度相同或接近时，热感照相机在检测移动物体中遇到问题。精确地计数人的深度传感器的应用被描述。深度信息可以用于导出头部尺寸，并且使用该信息，确定头部的检测窗口的性质。其他物体检测方法应用(一个或多个)多尺度(scale)检测器。通过经由相对物体尺寸计算去除多尺度检测，所述的技术通过单尺度检测明显地改善检测率，提供具有减小计算复杂性的增加精度。

本文中所述的实施例包括一种用于计数人的方法，其从深度传感器获得深度数据，从深度数据内从背景物体辨别前景物体，并且基于深度数据从前景物体中确定匹配目标物体的参考模型的前景物体。

在一个实施例中，深度传感器可以安装成提供场景的俯视图。深度传感器可以与可见光谱照相机组合使用以从辨别的前景物体进一步确定场景人口计数。根据一个实施例，传感器(深度或可见光谱)可以在帧之间跟踪从前景物体中被确定为匹配参考模型的一个或多个前景物体。实施例也可以包括在场景内持续预定时间段没有运动的情况下将场景人口计数重置为零。计数人的方法也可以包括从可见光谱照相机获得可见图像并且使用可见光谱照相机中的信息来检查计数的精度。

来自可见光谱照相机的信息可以包括运动信息、时间属性、位置和特征。在一个实施例中，传感器可以将元数据传送到数据中心。方法还可以包括使用深度传感器成像场景并且报告人的数量、统计结果或补充数据。在一个实施例中，从前景物体中确定背景物体匹配人头部的参考模型。

实施例可以包含或使用具有存储在其上的程序指令的计算机可读介质，所述程序指令可加载并且由处理器可执行，并且当由处理器执行时，导致处理器从深度传感器获得深度数据，从深度数据识别前景物体，并且应用机器学习应用程序以生成前景物体的分类确定，并且保持分类确定计数。程序指令还可以导致处理器从深度数据减去背景信息以识别前景物体，从可见光谱照相机获得图像数据，分析图像数据以产生图像分析结果，并且组合来自产生的图像分析结果的信息和深度数据信息以增加识别前景物体的精度。在一个实施例中，机器学习应用程序的实施例可以包括神经网络、支持向量机和/或聚类技术。程序指令可以用训练数据集训练机器学习应用程序并且在机器学习应用程序的优化中选择一个或多个特征以产生选择性特征向量。

一种用于计数人的系统可以包括接收深度数据的深度传感器、与深度传感器通信、存储深度数据的存储器。系统还可以包括与存储器通信、执行程序指令的处理器。程序指令可以配置成从深度数据减去背景信息以辨别前景物体，应用机器学习应用程序以生成前景物体的分类确定，并且保持分类确定计数。处理器还可以配置成从照相机接收视频数据并且在生成分类确定中使用来自照相机的视频数据增加机器学习应用程序的精度。