[发明专利]多通道协同的心理生理主动感知方法及服务机器人

权利要求书

1.一种多通道协同的心理生理主动感知方法，其特征在于，包括：

获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；

提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；

对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；

提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；

提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；

基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

2.根据权利要求1所述的方法，还包括：

感知与服务机器人有的距离小于预定距离的物体，在有人与所述服务机器人的距离小于预定距离时，执行获取目标个体的可见光图像、获取目标个体的红外热图、获取目标个体的音频信息、获取目标个体的生理信息、对采集的上述信息进行处理，确定目标个体的心理生理特征值的步骤；其中，所述服务机器人为执行上述方法的执行主体。

3.根据权利要求1所述的方法，还包括：

通过远程通信获取目标个体的可见光图像、目标个体的红外热图、目标个体的音频信息、目标个体的生理信息；提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量；对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，并基于提取得到的第二图像特征，确定红外热图特征向量；提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，并基于情绪波动特征，生成情绪波动特征向量；提取所述生理信息中的时频特征，并基于提取得到的时频特征生成生理时序特征向量；基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。

4.根据权利要求1所述的方法，其特征在于，所述方法在提取所述可见光图像中的第一图像特征，并基于提取得到图像特征生成可见光图像特征向量之前，还包括如下步骤：

对所述可见光图像进行点运算处理、滤波处理、全局优化处理

利用灰度变换法和小波包阈值的去噪方法对红外热图像进行预处理；

对所述音频信息进行预加权重处理、低通滤波处理、分帧处理。

所述提取所述可见光图像中的第一图像特征，包括：

对可见光图像中预设的多个面部特征点、多个预设的面部运动区域进行图像特征提取，得到所述第一图像特征。

5.根据权利要求1所述的方法，其特征在于，所述对所述红外热图进行降维处理，提取降维处理得到信息的第二图像特征，包括：

基于HSV颜色模型的直接示例查法及主分量分析法对所述红外热图进行降维处理，及并提取降为处理后的信息的图像特征提取，得到所述第二图像特征。

6.根据权利要求1所述的方法，其特征在于，所述提取所述音频信息中的音频特征，确定与音频特征匹配的情绪波动特征，包括：

提取音频信息中的音频特征，并从语音语调库中查找与音频特征匹配的情绪波动特征；所述音语调库中存储有多个语音特征，以及与每种语音特征对应的情绪波动特征。

7.根据权利要求1所述的方法，其特征在于，所述基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值，包括：

利用卷积神经网络，基于可见光图像特征向量、红外热图特征向量、情绪波动特征向量和生理时序特征向量、可见光图像特征向量的权重、红外热图特征向量的权重、情绪波动特征向量的权重和生理时序特征向量的权重，确定目标个体的心理生理特征值。