[发明专利]检测装置和方法及图像处理装置和系统

说明书

本发明公开了一种检测装置和方法及图像处理装置和系统。所述检测装置包括：从图像中提取特征的单元；基于所提取的特征检测图像中的人的单元；基于所提取的特征检测在所检测到的人的周围区域中的物体的单元；以及，基于所提取的特征、所检测到的人和所检测到的物体确定图像中的人‑物交互信息。根据本发明，可提高从视频/图像中检测出人、物体和人‑物交互关系的检测速度和检测精度，从而可更好地满足向需要帮助的人提供帮助的及时性和准确性。

技术领域

本发明涉及图像处理，尤其涉及例如图像中人-物交互的检测。

背景技术

在监控场景中，为了能够向需要帮助的人及时地提供帮助，能够从图像/视频中快速及时地检测出人与物的交互关系(也即，人-物交互关系)是一项关键任务，其中人-物交互关系例如包括人手拄拐杖、人坐在轮椅上、人推着婴儿车等。例如，在人-物交互关系是人坐在轮椅上或人手拄拐杖等的情况下，该人通常是需要被帮助的人。

为了从视频/图像中检测出人-物交互关系，非专利文献“Detecting andRecognizing Human-Object Interactions”(Georgia Gkioxari Ross Girshick PiotrDoll′ar Kaiming He,Facebook AI Research,CVPR 2018)中公开了一种检测和识别人-物交互关系的示例性技术。其中，该示例性技术主要是：先通过一个神经网络从图像中提取特征以检测出图像中的所有可能的人和物体的候选区域；然后，通过另一个神经网络从检测出的候选区域中再次提取特征，并基于再次提取的特征通过该神经网络中的物体检测分支、人检测分支和人-物交互关系检测分支分别从候选区域中检测出人、物体和人-物交互关系。

如上所述，可知在从视频/图像中检测出人-物交互关系的过程中，上述的示例性技术需要通过两个独立的阶段来实现相应的检测。其中一个阶段的操作是从图像中同时地检测出所有的人的候选区域和所有的物体的候选区域，另一个阶段的操作是从所有的候选区域中检测出人、物体和人-物交互关系。由于两个阶段的操作需要进行两次的网络计算，尤其是需要进行两次的特征提取(例如，提取用于检测人和物体的候选区域的特征以及提取用于检测人、物体和人-物交互关系的特征)，从而使得整个的检测处理需要耗费更多的处理时间，也即影响从视频/图像中检测出人、物体和人-物交互关系的检测速度，进而影响向需要帮助的人提供帮助的及时性。

发明内容

鉴于上面的背景技术中的记载，本发明旨在解决上述问题中的至少一点。

根据本发明的一个方面，提供一种检测装置，所述检测装置包括：特征提取单元，从图像中提取特征；人检测单元，基于所述特征检测所述图像中的人；物体检测单元，基于所述特征检测在所检测到的人的周围区域中的物体；以及交互确定单元，基于所述特征、所检测到的人和所检测到的物体确定所述图像中的人-物交互信息(也即，人-物交互关系)。

根据本发明的另一个方面，提供一种检测方法，所述检测方法包括：特征提取步骤，从图像中提取特征；人检测步骤，基于所述特征检测所述图像中的人；物体检测步骤，基于所述特征检测在所检测到的人的周围区域的物体；以及交互确定步骤，基于所述特征、所检测到的人和所检测到的物体确定所述图像中的人-物交互信息(也即，人-物交互关系)。

其中，在本发明中，基于待检测的物体的类型来确定所检测到的人的至少一个部件；其中，所述周围区域是所确定的至少一个部件的周围的区域。其中，在本发明中，通过确定所检测到的人的人体姿态来确定所述周围区域。

根据本发明的再一方面，提供一种图像处理装置，所述图像处理装置包括：获取设备，用于获取图像或视频；存储设备，存储有指令；以及处理器，基于所获得的图像或视频执行所述指令，使得所述处理器至少实现如上所述的检测方法。