[发明专利]一种问题行为检测与预警系统

说明书

本发明公开了一种问题行为检测与预警系统，包括视频监控模块、行人重识别模块、表情识别模块、行为识别模块、数据关联模块、情绪分析模块、人际关系分析模块和问题行为预警模块。通过行人重识别模块获取待检测对象身份信息与行为轨迹，通过身份信息将不同时期采取的数据加以关联；通过表情识别模块分析待检测对象的唤醒度和愉悦度；通过行为识别模块检测待检测对象的交互行为；通过行人重识别模块和行为识别模块检测待检测对象分别识别两类问题行为；根据行为轨迹、情绪和交互行为分析待检测对象的人际关系；通过问题行为预警向联系人报告有问题行为的待检测对象。本发明发展了多模态信号问题行为分析方法，有利于问题行为的早发现、早干预，可应用在幼儿园等儿童集中的场所中。

技术领域

本发明属于教育与计算机视觉交叉技术领域，更具体地，涉及一种问题行为检测与预警系统。

背景技术

3-6岁儿童绝大多数时间在幼儿园里度过，在幼儿园的学习、玩耍等各项活动中，不同的儿童会有各种各样的行为表现，这其中包含一些问题行为。问题行为，指不能遵守公认的正常儿童行为规范和道德标准，不能正常与人交往和参与学习的行为。

由于幼儿园里儿童众多，并且一些问题行为较为隐蔽，导致当班的幼教老师不能及时发现所有问题行为。因此，利用计算机视觉技术，通过对监控视频的智能分析可以发现这些问题行为，可以缓解幼教老师的工作负担。同时，问题行为预警可以及早引起家长的重视。问题行为的及时发现、干预和矫正有利于儿童的身心健康发展。此外，一些患有自闭症的特殊儿童常伴有刻板行为，尽早发现这些异常行为有利于让特殊儿童及时就医改善症状。

现有的儿童问题行为分析系统往往只关注儿童的攻击行为而忽视了儿童的刻板行为；只关注行为本身，而忽视了运动轨迹所富含的重要信息；仅单一关注个体的行为和情绪，而忽视了交互过程中的行为和情绪，以及由此产生的人际关系异常。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种问题行为检测与预警系统，发展了多模态信号儿童问题行为分析方法，有利于儿童问题行为的早发现、早干预，可应用在幼儿园等场所中。

为实现上述目的，本发明提供了一种问题行为检测与预警系统，包括：

视频监控模块，用于采集待检测对象活动的监控视频；

行人重识别模块，用于从监控视频中识别待检测对象身份并获取待检测对象活动轨迹，并从待检测对象活动轨迹中识别待检测对象第一类问题行为；

表情识别模块，用于从监控视频中识别待检测对象表情；

行为识别模块，用于从监控视频中识别待检测对象间的交互行为和第二类问题行为；

数据关联模块，用于将同一待检测对象的活动轨迹、表情和行为数据进行关联；

情绪分析模块，用于根据所述表情识别模块的输出分析待检测对象情绪；

人际关系分析模块，用于根据待检测对象活动轨迹、待检测对象间的交互行为以及待检测对象情绪来分析确定待检测对象人际关系；

问题行为预警模块，用于根据所述行人重识别模块、所述行为识别模块、所述情绪分析模块和所述人际关系分析模块的输出进行预警。

优选的，所述视频监控模块包括高清网络摄像头、计算机和交换机，所述高清网络摄像头通过网线与所述交换机电连接，所述交换机通过网线与所述计算机主机电连接，所述高清网络摄像头覆盖所有待检测对象活动场所。

优选的，所述行人重识别模块包括采用基于注意力的卷积神经网络训练的行人重识别模型，所述行人重识别模型用于识别不同视角下拍摄的同一待检测对象，所述第一类问题行为包括同一待检测对象重复相同活动轨迹的行为。

优选的，所述表情识别模块用于识别待检测对象表情的愉悦度和唤醒度。