[发明专利]一种用于物品搜索的机器人问答方法

说明书

本发明属于图像感知和语言处理技术领域，尤其涉及一种用于物品搜索的机器人问答方法。该方法首先输入图像经过残差‑特征分类网络标注物体边界框和类别标签后用于构建场景图谱，后续输入的图像序列用于更新场景图谱；输入问题经过长短时记忆网络处理后输出特征向量，特征向量经过循环卷积分类网络后得到关键词；并在场景图谱中进行广度优先搜索得到问题答案并输出。本方法突破在传统问答系统中过于依赖预给专家数据且缺乏真实环境中的物理交互过程的缺陷，实现了机器人自主操作、主动环境交互、语义分析，提升了机器人问答系统的交互性和智能性，在包括快递仓储、商场、工厂等多种场景下都有很大的应用前景。

技术领域

本发明属于图像感知和语言处理技术领域，尤其涉及一种用于物品搜索的机器人问答方法。

背景技术

近年来，随着机器人技术的不断发展，人们对于机器人尤其是服务机器人提出了更高的要求，开始逐步要求机器人能在人类自然语言指令下完成一定任务。但在实际应用场景中，如家居环境，往往存在有较多的物体，部分物体甚至隐藏在无法获取视野的位置，这使得机器人很难通过简单获取视野来完成简单任务。因此，机器人在多样化、复杂、大范围的环境下根据人类语言指令完成任务需要引入更多执行方法。

而在目前人工智能技术应用最多的问答系统中，主要手段为分析语言指令和检索预设数据库的经典问答和利用当前视野进行视觉图像分析回答问题的视觉问答，还没有明确使用机器人操作来辅助问答的方法。简单的专家问答系统只能实现语言信息的处理和反馈，而当下应用于酒店、餐厅等公共场所的服务机器人也只能通过导航、移动等手段来进一步获取信息回答问题。当面对需要处理大量多种类物体或室内陈设较为复杂的场景时，如超市、汽修店等。机器人还不能实现根据语言指令主动执行操作探索所处环境来回答问题。

具身智能是近年来人工智能领域从行为学角度出发构建的一类新的人工智能实现方法，在具身智能中，研究者们使用“认识即计算”的方法，即智能体在没有过多先验知识生成的规则下通过与环境交互来构建自身知识结构或认知模型。但受制于同真实环境交互的难度，目前的主流具身智能研究都主要局限于仿真环境，鲜有在真实机器人上应用的研究。少部分在真实环境中应用的研究也局限于移动导航等交互形式较为简单的任务形式，缺乏能执行移动或改物体形态的操作的交互形式，极大地局限了具身智能的实际应用。目前具身智能也在机器人领域中缺少实际应用。

发明内容

本发明的目的是提出一种用于物品搜索的机器人问答方法，突破在传统问答系统中太过于依赖预先给定的专家数据且缺乏真实环境中的物理交互过程的缺陷，并将其应用到实际机器人中，实现基于操作交互的问答过程。

本发明提出的用于物品搜索的机器人问答方法，首先输入图像经过残差-特征分类网络标注物体边界框和类别标签后用于构建场景图谱，后续输入的图像序列用于更新场景图谱。输入问题经过长短时记忆网络处理后输出特征向量，特征向量经过循环卷积分类网络后得到关键词并在场景图谱中进行广度优先搜索得到问题答案并输出。

本发明提出的用于物品搜索的机器人问答方法，其优点是：

1、本发明的用于物品搜索的机器人问答方法，基于现实环境，设计了双目摄像机RGB-D视野采集及处理模块和对应的6自由度机械臂操作系统，使得机器人在实际应用中针对特定场景的问答不用过度依赖预先给定的专家数据库而可以充分利用现有环境交互来学习。可以应用物体种类多样、陈设复杂且不便于预先构建数据库的环境。

2、本发明的方法中同时使用了多帧图像和对应的可以动态更新的场景图谱技术，解决了传统的视觉问答系统中不能处理有操作的动态过程的问题。因此解决了已有技术中机器人问答系统多使用视觉方法存在的诸多问题，例如视觉方法尤其是根据静态图像进行分析判断的方法大部分能获取的信息有限，也不能分析包含有动态过程的问题。

3、本发明方法中，采用具身智能的设计思想，实现了机器人自主操作、主动环境交互、语义分析，提升了机器人问答系统的交互性和智能性，在包括快递仓储、商场、工厂等多种场景下都有很大的应用前景。