[发明专利]一种基于3D视觉中段成型制鞋无人流水线控制系统

说明书

本发明提供了一种基于3D视觉中段成型制鞋无人流水线控制系统，属于智能制造领域，整个流程基于3D视觉实现整条流水线的智能化操作控制，创新性设计了整个系统包含的模块，具体为工艺库建立模块、上料模块与鞋面套楦模块、鞋面精细化打磨模块、处理剂喷涂模块、烘干加热及胶水喷涂模块、压底模块、冷冻定型模块及脱楦模块；设计了各个模块智能化处理实现技术手段；还提出了针对鞋面和鞋底物料识别的改进型3D数据深度网络目标识别方法，实现了以视觉为基础的智能制鞋无人流水线系统。

技术领域

本发明属于智能制造领域，具体涉及一种基于3D视觉中段成型制鞋无人流水线控制系统。

背景技术

目前市面上有一些传统的制鞋流水线中段成型线，占地面积大，能源消耗大，并且无法实现无人生产，只能生产大批量标准鞋款的定单，机器人工作站采用示教的方法，鞋面采用治具定位，当更换生产鞋款时，需要数天的时间进行调试并示教，传统的线需要几十人到几百人。整个制鞋流水线系统需要手工进行操作，因此急需一种基于视觉为基础的工业机器人，实时控制每个工位的硬件，使用整条线完成数字化，自动化，从而完成智能无人制鞋流水线。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于3D视觉中段成型制鞋无人流水线系统。

本申请基于3D视觉中段成型制鞋无人流水线系统是通过以下技术方案以及技功能单元实现的：

制鞋生产工艺库建立模块，工艺库至少包含如下数据：鞋底数据、鞋面数据(长、宽、材质等)、面料数据(材质、弹性、颜色等)、加工工艺数据、热处理工艺数据、冷处理工艺数据、胶粘工艺数据。

通过建立制鞋生产工艺库，在后续的鞋子生产过程中实时通过中央控制管理系统及时对成型制鞋加工参数、工序流程的调整，从而实现柔性化生产和快速换产。

上料模块与鞋面套楦模块，基于运输车进行鞋底鞋面的上料，放置到对应工装，控制机械手将鞋面套楦在鞋楦上；上料过程中物料箱上方布置有3D视觉传感器，传感器会实时对物料箱中的鞋底、鞋面物料进行3D识别，当识别结果为无物料结果时，通过socket通讯向自动导引运输车AGV系统发送指定信息，当AGV接收到信息后自动对物料进行补充。

针对鞋面和鞋底物料识别，本申请通过改进型3D数据目标识别方法得到，具体包含如下过程：

对3D视觉得到三维图像数据重建得到3D点云数据；提取3D点云数据正视图、左视图、右视图、后视图的深度卷积特征；本申请中卷积特征网络由三层卷积三层池化层组成；

提取正视图3D点云深度特征,设M为3D点云单元格中的点的数目，强度和密度特征计算的是整个点云，而高度特征是计算N个切片，因此正视图深度特征俯视图被编码为(N+2)个通道的特征；依据正视图深度卷积特征中计算候选区域，候选区域网络采用RPN网络；

从点云正视图特征中计算候选区域ROI,将得到的正视图候选区域投影到正视图、左视图、右视图、后视图，分别得到投影后的深度特征，投影后的特征经过池化层进行池化操作；之后分别经过张量操作、中间层处理；最后将正视图、左视图、右视图、后视图4个分支的特征经过concatenation层进行融合处理，得到最终分类用融合特征；利用最终分类用融合特征输入至分类结果层进行目标标签分类。本申请目标标签为鞋底、鞋面和无物料。本领域技术人员清楚上述目标识别方法中识别模型需要进行模型训练，训练与识别网络相同，样本的设置等内容为现有技术本申请不做赘述。

鞋面精细化打磨模块，控制机械手将套有鞋楦的鞋面抓取并放置在鞋楦快速定位工装上，鞋楦快速定位工装气动装置将鞋楦快速固定，再由置于鞋面两侧上方的3D相机采集得到三维图像数据；目标工件区域确定打磨区域轨迹，并将打磨路径坐标信息转换为机器人坐标信息，引导机器人对鞋面进行打磨加工。