[发明专利]一种工业长方体提取方法、装置、计算机及存储介质

说明书

一种工业长方体提取方法、装置、计算机及存储介质，解决了需要一种适用于工业领域的长方体高精度提取方法的问题。方法包括：基于目标检测的长方体粗提取和基于筛选区域线段重组的长方体精提取；基于目标检测的长方体粗提取包括：将基于并行的残差卷积神经网络作为长方体目标检测的主干网络并与并行残差块融合，获取融合的多维特征；根据多维特征与反卷积模块融合，获取目标检测网络模型；长方体精提取包括：根据目标检测网络模型进行线段特征聚类，获取线段集；根据线段集进行线段连接，获取直线集；根据直线集进行边界动态筛选，获取长方体边缘；根据长方体边缘获取长方体所在的图像区域并建立坐标系，获取长方体顶点，完成工业长方体提取。

技术领域

本发明涉及于工业视觉测量领域，尤其涉及一种工业长方体提取方法。

背景技术

长方体是常用的立体结构件之一，其结构简单，加工成型方便，可承受较大的弯扭力，被大量应用于机械、航天等各个工业领域，是机械装配、零部件连接的关键结构件之一。快速精确地获取长方体的轮廓或尺寸信息对于机械故障检查、产品性能评估以及产品质量校检等有极大的推动作用。

从真实工业图像中提取长方体是一项复杂且困难的工作。噪声的存在会将长方体的边界分割成不连续的小段，并且部分噪声会掩盖边缘信息。而光照会对长方体部分区域的成像造成干扰，导致部分边缘消失。此外不同的拍摄角度容易造成长方体形状特征信息丢失，长方体成像为不同规格的相邻的多个四边形。不同圆和椭圆的形状检测，长方体的边界相对独立，没有可以直接确定长方体尺寸和位置的理论依据，在未准确定位边界之前，长方体无法确定，这给长方体的提取提出更高的要求。

近些年机器学习和图形图像技术的快速发展，基础形状的提取和检测方案被大量研究并投入使用。与长方体提取直接相关的是针对矩形提取的研究。现有的矩形提取和检测方法，从应用场景上可以分为自然场景下的矩形提取和工业背景下的矩形提取，根据矩形提取的方法则主要可以分为基于角点检测的矩形提取，基于直线检测的矩形提取和基于混合特征的矩形提取。

基于角点检测的矩形提取通常会与霍夫空间变换结合使用，其核心思想是：首先利用霍夫变换、高斯滤波、小波变换等图像预处理方法对现有图像进行降噪处理，减小噪声对图像的干扰，然后通过角点检测算法提取图像的角点或顶点，最后将提取到的点进行霍夫空间变换，根据矩形顶点在霍夫空间中表现为峰值这一特点确定矩形的顶点，进而通过顶点确定边缘，从而实现矩形的提取。Yueping He等人提出一种基于受限霍夫变换的多矩形检测方法，通过受限霍夫变换和图像像素提取可能的霍夫峰值，然后根据矩形性质生成可能的矩形，最后根据证据收集机制，预先设置矩形边界的阈值，通过对生成的矩形边界与预先设置的阈值对比，判断矩形是否存在。Cl′audio Rosito Jung提出一种基于霍夫变换窗口的矩形检测方法，通过预先设置霍夫变换滑动窗口对图像中的，每个像素进行扫描，然后通过霍夫变换提取的图像中的峰值以及矩形的特点确定矩形的顶点，进而确定矩形区域。这类方法可以较为准确的检测出简单图像中的单个矩形，而若图像中存在多个矩形等较为复杂的情况，该方法需要进一步进行角点筛选和生成的矩形筛选，然后才可进一步提取矩形，因此往往需要耗费大量时间。此外，由于矩形的顶点信息是矩形检测中的唯一支持信息，且在霍夫空间内仅表现为局部峰值，而在工业领域，矩形或者矩形块不接避免的会出现损伤，从而导致部分顶点不明显等情况，在特征丢失的情况下，基于角点检测的矩形提取往往难以发挥其优势。

近些年机器学习和图形图像技术的快速发展，基础形状的提取和检测方案被大量研究并投入使用。与长方体提取直接相关的是针对矩形提取的研究。现有的矩形提取和检测方法，从应用场景上可以分为自然场景下的矩形提取和工业背景下的矩形提取，根据矩形提取的方法则主要可以分为基于角点检测的矩形提取，基于直线检测的矩形提取和基于混合特征的矩形提取。