[发明专利]一种基于多目视觉的棒材三维数据模型重建方法及系统

说明书

本发明公开了一种基于多目视觉的棒材三维数据模型重建方法及系统，包括步骤：获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，包括基准棒材捆场景图片和校准棒材捆场景图片；基于预设图像坐标系、预设深度学习目标检测网络模型，获取基准棒材捆场景图片中的所有的单位棒材端面图像信息；基于单位棒材端面图像信息从校准棒材捆场景图片中获取对应匹配的图像信息为搜索棒材端面图像信息，根据单位棒材端面图像信息和搜索棒材端面图像信息通过多视角几何计算获取对应的待定位单根棒材的当前端面三维坐标数据。本发明的基于多目视觉的棒材三维数据模型重建方法，受到环境干扰小，能精准确定整捆棒材端面的棒材点云数据的有益效果。

技术领域

本发明涉及棒材的自动检测领域技术领域，尤其涉及一种基于多目视觉的棒材三维数据模型重建方法及系统。

背景技术

棒材焊牌机器人已经广泛应用于棒材生产打捆末端流水线上，用于替代人工焊接标牌方式。通过在标牌上记录生产的棒材型号、尺寸规格、支数、整捆重量、生产日期等重要信息，方便棒材的管理、运输、质量追溯等。

现有技术中，采用如下几种方法来获取整捆棒材的点云数据并进行最优焊牌点计算：一种方法是通过工装限制整捆棒材端面与单目相机之间的位置，配合打光，通过图像斑点寻找与形态学滤波的方法计算大概位置，完成2D图像层面上的寻找，无法解决参差不齐的整捆棒材端面的点云数据映射，容易引起机器人碰撞损坏焊接夹具；一种是采用双目线扫激光的方案，激光相对于双目垂直轴向旋转原出扫描区域的点云信息，但是存在扫描速度低，棒材端面镜面折射或高反光下产生数据空洞，还存在某些角度下无法左右目同时看到激光束的问题；一种是采用投影结构光的方法进行重建，该方法设备较为昂贵，且设备重量较重大多无法安装在小型机械手臂上，并且对设备安装位置有要求，另外由于设备在棒材生产线上高温环节下，使得投影机灯泡寿命降低；一种是采用传统双目匹配方法，采用传统多目匹配方法获取模拟整捆棒材端面，基于模拟整捆棒材端面确定端面焊点，但是传统多目匹配方法受制于多目图像一致性假设，在实际场景中极易受到光线干扰，需要添加额外遮光设备，获取的模拟整捆棒材端面的棒材点云数据噪声严重，精度无法保证，无法精确获取棒材的深度信息，无法在参差不齐的整捆棒材端面上确定端面焊点，导致在通过机器人自动焊接的过程中出现过多干涉，容易引起机器人碰撞损坏焊接夹具的技术问题。

鉴于此，有必要提出一种基于多目视觉的棒材三维数据模型重建方法及系统以解决或至少缓解上述缺陷。

发明内容

本发明的主要目的在于提供一种基于多目视觉的棒材三维数据模型重建方法及系统，旨在解决现有技术中采用传统多目匹配进行还原获取整捆棒材端面信息的方法，容易受到环境干扰、无法精准确定整捆棒材端面的棒材点云数据的技术问题。

为实现上述目的，本发明提供一种基于多目视觉的棒材三维数据模型重建方法，包括步骤：S100，获取同一时刻下目标棒材捆的多帧当前棒材捆场景图片，以其中一帧当前棒材捆场景图片为基准棒材捆场景图片，以剩余帧当前棒材捆场景图片为校准棒材捆场景图片，基准棒材捆场景图片和校准棒材捆场景图片之间具有重叠视角和当前相互标定参数；S200，基于预设图像坐标系、预设深度学习目标检测网络模型，获取基准棒材捆场景图片中的所有的单位棒材端面图像信息，单位棒材端面图像信息包括像素起点参数Xi、像素终点参数Yi、像素宽度参数Wi以及像素高度参数Hi，其中，一个单位棒材端面图像信息标定对应的一个待定位单根棒材I；S300，根据预设图像坐标系、当前相互标定参数和预设相似度检测算法，基于单位棒材端面图像信息从校准棒材捆场景图片中获取对应匹配的图像信息为搜索棒材端面图像信息，根据单位棒材端面图像信息和搜索棒材端面图像信息通过多视角几何计算获取对应的待定位单根棒材I的当前端面三维坐标数据Ixyz。

进一步地，在步骤S100中，根据预设条件设置多帧当前棒材捆场景图片的优先级，确定优先级最高的当前棒材捆场景图片为基准棒材捆场景图片；其中，预设条件包括当前棒材捆场景图片拍摄棒材数量信息、拍摄棒材清晰度信息、拍摄棒材位置信息中的一种或多种。