[发明专利]板材识别方法、装置、设备及存储介质

说明书

本发明涉及视觉识别技术领域，尤其涉及一种板材识别方法、装置、设备及存储介质。该方法包括：获取板材工件的二维图像特征；获取板材工件的三维点云特征；融合二维图像特征和三维点云特征，获得板材工件的融合特征；解析融合特征，获取板材工件的板材类型，以及解析融合特征，获取板材工件的空间位姿信息。本发明用以解决现有技术中板材工件类型和位姿的识别准确度较低的缺陷。

技术领域

本发明涉及视觉识别技术领域，尤其涉及一种板材识别方法、装置、设备及存储介质。

背景技术

工业生产尤其是汽车制造、重型装备制造业等领域中，大型板材折弯工艺在整个装备生产工艺中的占比较大，且需要人工吊装作业，存在效率低下且安全风险高的问题。目前，视觉识别的异军突起，给工业生产带了新的可选项。

现有技术中常采用基于传统点云和图像处理的方法，实现对板材工件的摆放位置和类型的识别，例如，基于canny算子进行图像的边缘检测、基于区域聚类和区域生长的点云分割方案或直接使用ICP估计位姿等。但是，现有技术中的各种方法对对光照和板材工件摆放要求过高，无法识别和定位精度误差过大的问题时有发生，板材工件类型和位姿的识别准确度较低。

发明内容

本发明提供一种板材识别方法、装置、设备及存储介质，用以解决现有技术中板材工件类型和位姿的识别准确度较低的缺陷。

本发明提供一种板材识别方法，包括：获取板材工件的二维图像特征；获取所述板材工件的三维点云特征；融合所述二维图像特征和所述三维点云特征，获得所述板材工件的融合特征；解析所述融合特征，获取所述板材工件的板材类型，以及解析所述融合特征，获取所述板材工件的空间位姿信息。

根据本发明提供的一种板材识别方法，所述获取板材工件的二维图像特征，包括：获取所述板材工件在环境空间内的二维图像；将所述二维图像输入预设的二维特征提取模型，获取所述二维特征提取模型输出的所述二维图像特征；其中，所述二维特征提取模型的模型网络架构包括深度残差网络、轻量级神经网络或视觉骨干网络。

根据本发明提供的一种板材识别方法，所述获取所述板材工件的三维点云特征，包括：获取所述板材工件在环境空间内的点云图像；将所述点云图像输入预设的三维特征提取模型，获取所述三维特征提取模型输出的所述三维点云特征；其中，所述三维特征提取模型的模型网络架构包括分层神经网络。

根据本发明提供的一种板材识别方法，所述融合所述二维图像特征和所述三维点云特征，获得所述板材工件的融合特征之后，所述解析所述融合特征，获取所述板材工件的板材类型之前，还包括：获取所述板材工件所在环境空间对应的底层特征；对所述融合特征进行上采样后，融合上采样后的所述融合特征和所述底层特征，以对所述板材工件进行分割；获取分割后的板材特征；所述解析所述融合特征，获取所述板材工件的板材类型，包括：解析分割后的板材特征，获取所述板材工件的板材类型。

根据本发明提供的一种板材识别方法，所述解析所述融合特征，获取所述板材工件的板材类型，包括：获取预先设置的至少一个模板特征，其中，每一个所述模板特征分别通过对应模板工件的二维模板特征和三维模板特征融合得到，每一个所述模板特征对应一个模板类型；分别对于每一个所述模板特征：将所述融合特征和所述模板特征输入预先设置的孪生网络模型；获取所述孪生网络模型输出的所述融合特征分别与每一个所述模板特征的相似度；将所述相似度最高的所述模板特征对应的所述模板类型，确定为所述板材工件的板材类型。

根据本发明提供的一种板材识别方法，所述孪生网络模型的损失函数采用对比损失或基于圆形决策边界的损失函数。

根据本发明提供的一种板材识别方法，所述解析所述融合特征，获取所述板材工件的空间位姿信息，包括：将所述融合特征输入预设的位姿计算模型，获取所述位姿计算模型输出的所述空间位姿信息；其中，所述位姿计算模型基于神经网络架构预先设置；所述获取所述位姿计算模型输出的所述空降位姿信息之后，还包括：基于所述空间位姿信息和所述融合特征，对所述位姿计算模型进行优化。