[发明专利]一种机器人人机交互方法

说明书

本发明属于机器人主动视觉感知、语言交互、雷达避障以及深度学习技术领域，尤其涉及一种机器人人机交互方法。本方法拍摄环境的RGB图像与深度图，并探测障碍物信息获取激光雷达数组，对获取数据进行归一化处理，构建人机交互中的问题编码网络将问题进行编码；构建图像特征提取网络，将RGB图像与深度图像信息提取成为一个特征矩阵，将激光雷达数据、问题编码和特征矩阵进行拼接得到特征融合矩阵；采用卷积网络获取数据融合矩阵作为周边环境的数据融合矩阵；训练一个循环神经网络作为导航器，将数据融合矩阵作为输入，输出导航结果，控制机器人运动方向。本方法实现了机器人自我导航，自我探索，人机交互等功能，提升机器人的智能性。

技术领域

本发明属于机器人主动视觉感知、语言交互、雷达避障以及深度学习技术领域，尤其涉及一种机器人人机交互方法。

背景技术

现如今，自主机器人可以在没有人为干预的情况下，独立操作完成特定的任务。作为自主机器人的一个主要的属性——自主运动，主要取决于准确的运动估计和高层次的环境感知。但是，在某些情况下，人工地标是不可知的，或者机器人处于GPS缺失的环境中，这样自我运动估计或获取场景信息就遭遇很大的困难。技术上，移动机器人通过感知环境逐渐的构建一个与环境全局一致的地图，与此同时借助此地图实现自我定位。很长时间以来，机器人导航问题基本上是通过一系列距离传感器来解决的，比如光线检测和测距，红外辐射，或声纳导航和测距，这些适用于小范围静态环境中(各种距离传感器受限于他们独自的物理属性)。但是，在动态、复杂和大范围环境下，机器人的建图与导航可能面对很多挑战。

基于视觉的无地图导航问答系统由于其无需构建地图，对环境的依赖程度较低并且可以进行人机交互而被广泛研究。机器人在任意一个未知区域，通过被提问的问题而进行视觉导航，即通过对外围环境的第一人称感知实现自主无地图导航，最终到达问题所关注的区域，经过探索环境区域而进行知识问答。科技工作者更是通过开发设计了大量3D仿真环境来模拟实现机器人基于视觉的无地图导航知识问答系统，其中一个就是利用深度学习，通过大量数据以及多次试验，训练了一个端到端的网络以实现未知环境的无地图导航与问答。但是在现实环境中设计与实现基于视觉的无地图导航问答系统并不多见，尤其是将激光雷达与视觉传感器数据融合的无地图导航问答系统的研究还未见到。

相机传感器与激光雷达作为机器人与环境交互的主要两个传感器被广泛应用于各种机器人上。相机传感器是机器人感知外界环境的一个重要手段，现在被广泛用于机器人地图建立以及定位与导航。但是深度信息丢失限制了相机传感器的更广泛的应用，视觉信息的采集是通过三维到二维场景的投影变换与映射，在映射过程中深度信息会经常丢失，而且采用深度图深度信息不准确，存在很多高斯噪声。这导致了机器人在导航过程中无法获取周围环境的距离信息，从而引发碰撞，导航失败等问题。激光雷达虽然速度较慢，无法感知周边场景信息，但是它具有采集深度信息的能力，通过将激光雷达与视觉传感器数据融合的方式，不仅可以实现两者速度上的互补，场景感知能力上的互补，而且可以实现采集深度信息上的优势互补。

近几年来基于视觉感知环境中近年来由于深度学习的不断发展，深度学习技术被广泛用于视觉处理，语言交互，知识问答等领域。深度学习由于其提取特征能力强大，可拓展性强，学习能力强等优点被广泛应用，而卷积神经网络与循环神经网络作深度学习中主要的网络模型被广泛用于计算机视觉以及机器人领域，如图像特征提取，目标驱动导航，图像融合等。尽管他们在计算机视觉与导航方面取得了巨大的成就，但是在视觉与激光雷达信息融合并进行无地图导航方面并无很大的进展，利用上述信息进行导航并且知识问答方面的研究也很少。

发明内容

本发明的目的是提出一种机器人人机交互方法，打破传统在仿真环境中实现基于视觉的无地图导航知识问答系统的研究，将其应用到实际环境中，并且将相机传感器与激光雷达数据相融合，实现无地图导航与知识问答。

本发明提出的机器人人机交互方法，包括：