[发明专利]一种基于单双目摄像头结合的机械臂自主搬运系统

说明书

本发明提供一种基于单双目摄像头结合的机械臂自主搬运系统，包括：语音交互模块，用于将用户的自然语言指令解析成对应的操作编码；图像采集模块，用于采集目标体所在场景的彩色图像信息和点云信息；数据处理模块，用于将接收到的操作编码转换为操作指令，并根据获取的彩色图像信息和点云信息，对障碍物位置进行分析及对目标体位置姿态进行估计和优化，生成轨迹信息；机械臂运动规划模块，用于将操作指令转换成控制指令，并根据控制指令和轨迹信息驱动七自由度机械臂运作；七自由度机械臂，用于执行相应操作并反馈关节角信息；可视化图形界面模块，用于展现机械臂周围的局部环境及机械臂实时的运动状态。本发明能够提高机械臂抓取精度。

技术领域

本发明涉及机械臂控制技术领域，特别涉及一种基于单双目摄像头结合的机械臂自主搬运系统。

背景技术

随着科技的进步，尤其是对机器人技术至关重要的传感器技术、计算机技术、电子技术及人工智能技术的高速发展，人们已不再满足机器人在固定环境按照程序设定的功能进行重复的操作。为了使机器人能够安全有效地与人类一起操作，他们必须了解周围环境。这种意识的一个方面是知道场景中物体的3D位置和方向，通常称为6-DoF(自由度)姿态，这些知识对于执行对象的自主搬运即抓取、运输、放置非常重要，机器人只要知道工件在自己工作空间的准确位姿，便可以对该工件实施相应的操作。机械臂作为机器人的一种特殊形式，主要运用于自主搬运、焊接、组装等工作。因此研究一个物体的位姿计算方式，对机械臂的自主搬运具有重大意义。

人工智能的高速发展必定伴随着对各行各业的改造。以深度学习为代表的算法也在不断颠覆各种传统机器视觉算法，并且已经在环境感知方面有了显著的效果，虽然已经出现了仅基于深度学习的方法利用单目摄像头去估计物体的姿态，但是依旧遭受很多局限，如光照、遮挡。因此探索一种单双目结合的方法去估计目标体的位姿，可以更好的适应多变的环境、并有效提高目标体的姿态估计精度。

发明内容

本发明的目的在于提供一种基于单双目摄像头结合的机械臂自主搬运系统，利用深度信息和彩色图像信息的融合分析，来解决现有状况下机械臂搬运方案中存在的抓取不精确、障碍物遮挡等问题。

为解决上述技术问题，本发明的实施例提供如下方案：

一种基于单双目摄像头结合的机械臂自主搬运系统，包括：

语音交互模块，用于将用户的自然语言指令解析成对应的操作编码，并发送至数据处理模块；

图像采集模块，用于采集目标体所在场景的彩色图像信息和点云信息，并发送至数据处理模块；

数据处理模块，用于将接收到的操作编码转换为操作指令发送给机械臂运动规划模块，并根据获取的彩色图像信息和点云信息，对障碍物位置进行分析及对目标体位置姿态进行估计和优化，生成轨迹信息发送给机械臂运动规划模块；

机械臂运动规划模块，用于将接收到的操作指令转换成控制指令，并根据所述控制指令和所述轨迹信息驱动七自由度机械臂运作；

七自由度机械臂，用于根据所述控制指令和所述轨迹信息进行相应操作，并将关节角信息发送给所述数据处理模块；

可视化图形界面模块，用于根据所述数据处理模块中的彩色图像信息、点云信息和关节角信息展现机械臂周围的局部环境以及机械臂实时的运动状态。

优选地，所述语音交互模块包括：

语音处理单元，用于接收用户的自然语言指令，包括：用户唤醒设备语音指令、用户说出的机械臂具体操作语音指令，并转化为相应的数字信号；

语义理解单元，用于解析所述语音处理单元传来的数字信号，将用户的自然语言指令解析拆分成多个词典的组合，判断用户想要表达的操作，并对每种操作各生成一段md5码，发送给所述数据处理模块。