[发明专利]一种面向老年陪护机器人的意图理解方法和系统

说明书

本发明提出了一种面向老年陪护机器人的意图理解方法和系统，该方法包括：实时获取老年人的手势图像和姿态信息，对手势图像和姿态信息均进行图像分割分别形成手势数据集和姿态数据集；将手势数据集输入训练好的神经网络模型进行手势识别得到手势识别概率集、将姿态数据集输入训练好的隐马尔可夫模型进行姿态识别得到姿态识别概率集；基于混淆矩阵的融合算法将手势识别概率集和姿态识别概率集进行意图融合，在不同意图分类下，采用F1分数计算两个概率集融合时不同意图下的权重占比；进而确定出最终识别意图。基于该方法，还提出了意图理解系统。本发明提高了老年陪护机器人系统的意图理解率，以及老年人对于社交陪护机器人的使用满足感。

技术领域

本发明属于老年人培训技术领域，特别涉及一种面向老年陪护机器人的意图理解方法和系统。

背景技术

当下老龄化是全球不少国家面临的问题，由于作为子女的工作忙碌，难以时刻给予父母所需要的陪护。同时本文通过对养老院的实际调研以及Sari Merilampi等人对陪护机器人的研究，发现机器人陪护越来越被老年人的认可，老年陪护机器人提供了众多的服务。但由于目前机器人陪护系统在老年人意图理解的识别率和意图理解率有待提高，尤其在老年人的运动有众多独特的特性，令老年人在使用陪护机器人时增加了老年人的交互负担，容易引发老年人一些负面情绪，因此本文提出一种有效提高机器人对于老年人行为的意图理解率的模型融合算法(SDFM)并进行人机交互动作设计应用于现实场景中。

因为在模式识别过程中深度学习模型与统计模型各有优点及缺点，统计方法的特点是判决效率高,而神经网络判决效率比较缓慢,统计方法的建立可以完全的根据理论得出，在数据量较小或训练数据难以采集时识别效果明显较适合用于体势姿态信息的训练。神经网络的结构和算法的设计必须依赖于一种设计者的超验经验,在数据量量足够大时会保证较高的识别效果，较适合于易采集信息的手势识别，但是当数据量较小或训练数据难以采集时则识别效果往往不如人意，系统的成功具有很大的偶然性。

发明内容

为了解决上述技术问题，本发明提出了一种面向老年陪护机器人的意图理解方法和系统，本发明通过意图识别结果集与权重矩阵融合的融合方案，其中将子模型识别结果的混淆矩阵中的各分类下的F1-score作为权重值形成权重矩阵，参考模糊评价理论建立模糊评价算子对两个模型识别结果进行融合，提高了老年人意图识别的准确性和灵敏性。

为实现上述目的，本发明采用以下技术方案：

一种面向老年陪护机器人的意图理解方法，包括以下步骤：

实时获取老年人的行为图像，所述行为图像包括手势图像和姿态信息，对所述手势图像和姿态信息均进行图像分割分别形成手势数据集和姿态数据集；

将所述手势数据集输入训练好的神经网络模型进行手势识别得到手势识别概率集、将所述姿态数据集输入训练好的隐马尔可夫模型进行姿态识别得到姿态识别概率集；

基于混淆矩阵的融合算法将所述手势识别概率集和姿态识别概率集进行意图融合，在不同意图分类下，采用F1分数计算手势识别概率集和姿态识别概率集融合时不同意图下的权重占比；进而确定出最终识别意图。

进一步的，在所述实时获取老年人的行为图像之前，还包括获取语音通道信息，并提取语音通道信息的关键字启动所述机器人。

进一步的，所述训练神经网络模型和训练隐马尔可夫模型的方法为：

获取若干老年人操作机器人的手势图像样本和姿态信息样本；对所述手势图像样本和姿态信息样本均采用大津算法进行分割，形成老年行为特征集；

采用老年行为特征集对神经网络模型进行训练得到可识别手势意图的神经网络模型；采用老年行为特征集对隐马尔可夫模型进行训练得到可识别姿态意图的隐马尔可夫模型。

进一步的，所述基于混淆矩阵的融合算法将所述手势识别概率集和姿态识别概率集进行意图融合的过程为：