[发明专利]多通道协同的心理生理主动感知方法及服务机器人

说明书

本申请提供一种多通道协同的心理生理主动感知方法及服务机器人，此机器人通过右眼可见光摄像头采集部件获取监测目标个体的可见光视频，通过左眼红外仪采集部件拍摄监测目标个体的红外热图视频，通过左侧接触式指夹仪器获取监测目标个体的皮电、脉搏、血氧等生理数据；机器人的口袋分析操作台用于分析挖掘上述多通道数据对应的深层特征信息及相关权重，用于确定监测目标个体的心理生理特征值。此机器人具有红外智能捕获对象功能、远程服务功能，可按照用户要求分析得到监测目标个体的心理生理特征值。上述多通道协同的心理生理主动感知服务机器人便于实时操作，采用人机交互的方式提高了心理状态监测效率，自动化、智能化程度大大提高。

技术领域

本申请涉及信息和数据处理领域，具体涉及一种多通道协同的心理生理主动感知方法及服务机器人。

背景技术

心理状态是心理活动的基本形式之一，指心理活动在一定时间内的完整特征，如注意、疲劳、紧张、轻松、忧伤、喜悦等。它兼有心理过程和个性心理特征的特点，既有暂时性，又具有稳定性。是心理过程和个性心理特征联结的中介环节，构成一切心理活动展开的背景。生理特征，例如皮电、血氧等能够在一定程度上感应个体的心理状态特征。个体的心理生理状态特征能够反应个体当前的状态，能够帮助判断个体是否会做出危害自己或威胁他人安全的行为，因此监测个体的心理生理状态特征非常必要。

现有技术中，对个体心理生理状态的分析方案中，采集的数据类型单一，不能充分获取用于分析个体进行心理生理状态分析的情绪信息，导致分析的结果准确度低。并且在对获取的数据进行处理的过程中，步骤繁琐，计算量大，效率差。同时，在对个体心理生理状态的分析方案中自动化程度不高。

发明内容

(一)解决的技术问题

针对现有技术的不足，本申请提供了一种多通道协同的心理生理主动感知方法及服务机器人，解决了现有技术中获取的进行心理生理状态分析的情绪信息类型单一、不够充分、不能实时分析的问题，进行心理生理状态分析过程中的步骤繁琐，计算量大，效率差、自动化程度低、分析的结果准确度低的缺陷。

(二)技术方案

为实现以上目的，本申请通过以下技术方案予以实现：

第一方面，本申请提供了一种多通道协同的心理生理主动感知方法，包括：

获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；

提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；

对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；

提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；

提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；

基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

在一种可能的实施方式中，还包括：

感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，执行获取目标个体的可见光图像、获取目标个体的红外热图、获取目标个体的音频信息、获取目标个体的生理信息、对采集的上述信息进行处理，确定目标个体的心理生理特征值的步骤；其中，所述服务机器人为执行上述方法的执行主体。

在一种可能的实施方式中，还包括：