[发明专利]用于活动顺序验证的基于视觉的监视系统

说明书

本发明提供一种用于活动顺序验证的基于视觉的监视系统，该人监视系统包括多个摄像头和视觉处理器。该多个摄像头围绕工作空间区域布置，其中，每个摄像头被配置成捕获包括多个图像帧的视频馈送，并且该多个视频帧在各个摄像头之间是时间同步的。该视觉处理器被配置为从该多个图像帧中识别工作空间区域内的人的存在，生成工作空间区域内的人的运动轨迹，生成人在整个运动轨迹中执行的一个或多个活动的活动日志，和将该运动轨迹和活动日志与限定了多个需要动作的活动模板进行比较。如果活动模板内的一个或多个动作没有在该工作空间区域内执行，那么该处理器提供警告。

本发明是中国发明专利申请(申请号：201410183445.8，申请日：2014年4月30日，发明名称：使用半穷举搜索的多视图人检测)的分案申请。

技术领域

本发明总体涉及用于追踪人和验证动作顺序的视觉监视系统。

背景技术

在许多组装环境下使用工厂自动化。为了实现更灵活的制造过程，需要能允许机器人和人自然地且有效地协作，以执行不必重复的任务的系统。人-机器人相互作用需要新的机器认知水平，其超越了其中所有部件在已知位置开始的通常的记录/回放式的控制。以这种方式，机器人控制系统必须理解人的位置和行为，且随后必须基于人的动作调整机器人的行为。

发明内容

根据本发明的一方面，提供了一种用于监视工作空间区域的人监视系统，所述系统包括：围绕所述工作空间区域布置的多个摄像头，每个摄像头配置成捕获包括多个图像帧的视频馈送；视觉处理器，配置为：从所述多个图像帧识别工作空间区域内的人的存在；生成所述工作空间区域内的人的运动轨迹，所述运动轨迹图示在一段时间内的人的位置；生成整个运动轨迹中人执行的一个或多个活动的活动记录；将所述运动轨迹和活动记录转换成语义描述，将该语义描述与限定多个需要动作的活动模板进行比较，以产生匹配分数；和基于该匹配分数，确定所执行的活动的顺序与期望的工作任务是否相似，如果不相似，则提供警告。

可选地，所述视觉处理器被配置成通过提取检测到的人的图示的特征，并且该特征传到对应的预先训练的分类器组，以产生时间动作标记、空间动作标记、动作相似度分数、姿势估计，将该时间动作标记、空间动作标记、动作相似度分数、姿势估计放入时间-空间标记图，该时间-空间标记图形成语义描述的构成框。

可选地，所述视觉处理器被配置为利用所述时间-空间标记图将活动顺序分解为构成基元动作，并产生AND-OR图，所产生的AND-OR图与规定的活动显示比较，以产生匹配分数。

可选地，从所述多个图像帧识别工作空间区域内的人的存在包括使用支持向量机和神经网络中的至少一个。

可选地，从所述多个图像帧识别工作空间区域内的人的存在可还包括检测人的姿势，其中所述姿势包括直立、步行、伸手和蹲下中的至少一个。

可选地，所述警告指示观察到的动作不是典型的，而是异常的。

可选地，所述视觉处理器被配置为通过以下步骤识别所述工作空间区域内人的存在：其中所述视觉处理器还配置为将来自多个视图的时间同步图像帧融合至共同的坐标系中；并且其中，视觉处理器配置为通过将人的图示从所述多个视图映射到共同的坐标系以及通过确定映射的图示的相交点来识别检测到的人在共同坐标系中的位置。

可选地，存档语义描述和视频简介以用于以后的参考。

当结合附图理解时，通过以下的用于实施本发明的最佳方式的详细描述，本发明的上述特征和优点以及其他特征和优点变得显而易见。

附图说明

图1是人监测系统的示意性框图。

图2是关于工作空间区域定位的多个成像装置的示意性示图。

图3是活动监测过程的示意性框图。