[发明专利]基于目标检测网络与知识推理的人员行为意图识别方法

说明书

本发明公开了一种基于目标检测网络与知识推理的人员行为意图识别方法，将知识图谱和知识推理技术应用到人员行为意图识别中，通过知识推理挖掘场景图像中的隐含信息，进而获取人员的行为意图，利用人体关键点检测模型对人体特征信息参量进行分析计算，获得推理人员行为意图的条件。本发明可以对老人行为意图和需求做出判断，了解老人是否做到其想做的事，进一步还可以统计老人一天所做之事，便于对老人的行动或其他方面进行针对性关照。

技术领域

本发明涉及图像识别与场景理解领域，具体涉及一种基于目标检测网络与知识推理的人员行为意图识别方法。

背景技术

随着人口老龄化问题的日益严重，独居老人的监护问题受到越来越多的社会关注。在智慧养老研究领域，对独居老人的行为意图识别是目前独居老人监护问题的重点。

目前对独居老人的行为意图识别主要实现了对老人的行为识别，如行走、摔倒和坐等行为。主要有两种方法：一是通过穿戴式传感器实时采集人体活动的行为数据，将数据回传后再进行特征提取和分类识别，该方法存在穿戴式设备造成体感舒适度低、设备易损坏等问题；二是基于深度学习和视频监控，通过摄像头实时采集视频数据进行目标检测，该方法准确率高，且被监护人员不需要佩戴任何传感器设备。这些方法都实现了对独居老人的行为识别，但不能对老人行为意图和需求做出判断，也就无法了解老人是否做到其想做的事，也无法统计老人一天所做之事，难以对老人进行行动或其他方面的针对性关照。

发明内容

针对现有技术中的上述不足，本发明提供的基于目标检测网络与知识推理的人员行为意图识别方法可以对老人的行为进行识别，便于针对性关照。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于目标检测网络与知识推理的人员行为意图识别方法，其包括以下步骤：

S1、以三元组的形式构建面向人员生活场景的知识图谱；

S2、采集视频数据并进行预处理，得到预处理后的数据；

S3、将预处理后的数据输入至目标检测模型，获取预处理后的数据中的各类实体；各类实体包括人体和物体；

S4、根据人体和物体的位置区域特征构建关系特征，根据关系特征采用高斯混合模型得出物体与人体的位置关系；其中位置关系包括“在手中”、“从属关系”和“距离小于阈值”；

S5、将物体、人体和对应的位置关系构成三元组，将三元组输入知识图谱，得到初步确定的场景；

S6、通过人体关键点检测模型获取预处理后的数据中人体关键点特征信息；

S7、基于人体关键点特征信息对初步确定的场景进行推理，输出符合人体关键点特征信息的场景，并将输出的场景作为人员行为意图。

进一步地，步骤S1的具体方法为：

以“人-物-行为”构建三元组，以三元组为核心进行本体建模，搭建面向人员的生活场景的图谱基础架构；定义面向人员生活场景的物体概念，选取物体的视觉属性概念，明确物体间的相对位置关系，通过常识、场景图像和/或常用语义对图谱基础架构进行对象信息扩展，得到面向人员生活场景的知识图谱。

进一步地，步骤S2中预处理的具体方法为：

将视频数据处理成帧图像，并对帧图像进行去噪和压缩。

进一步地，步骤S3的具体方法为：

采用Mask R-CNN模型作为目标检测模型，将预处理后的数据输入至Mask R-CNN模型中，获取Mask R-CNN模型输出的各类实体。

进一步地，步骤S4的具体方法包括以下子步骤：