[发明专利]基于Kinect的典型零部件识别与定位方法

说明书

本发明涉及基于Kinect的典型零部件识别与定位方法，首先利用Kinect传感器获取的彩色与深度图像提取出两者之间的仿射变换矩阵，实现彩色图像的校正；然后利用相关系数匹配法实现校正后的彩色图像零部件识别；最后利用彩色与深度图像的对应关系对零部件进行定位。本发明不仅能对典型零部件进行识别，还能确定零部件所在的空间位置。

技术领域：

本发明涉及一种对典型零部件的识别与定位方法，尤其涉及一种基于Kinect的典型零部件识别与定位方法。

背景技术：

近年来，机器视觉以其非接触式、较宽的光谱响应范围、定位、测量和缺陷检测的优势，在军事、农作物质量检测、人脸识别、指纹识别、发票号码识别、医学图像检测得到了广泛的应用。

在自动化拆卸中，机器视觉是自动获取零部件的特征信息和特征参数的一种较为可行的技术方法。对一些高要求、高负荷的重复性和智能性的工作，比如细微缺陷检测、零部件测量，人眼很难持续、稳定的完成，机器视觉可以高效、高质量的完成检测任务。

在机器视觉中，图像采集设备大多制造工艺复杂，精确度高，价格昂贵。以Bumblebee2为例，该相机价格昂贵、体积大。但是，微软Kinect相机的出现，因其简单、价廉、方便，在三维重构、物体跟踪和姿态识别等领域被广泛应用。

目前Kinect在零部件识别方面尚未有公开发表的文献。基于以上背景，本发明深入研究了基于Kinect的零部件识别与定位方法，拓宽了Kinect的应用领域。

发明内容：

发明目的：

为了解决现有零部件识别中多采用图像识别的方法进行识别，很难直接确定零部件所在的空间位置的问题，本发明提供了一种基于Kinect的典型零部件识别与定位方法，使用Kinect设备能够提供目标的深度图像和彩色图像，在对零部件识别的过程中确定零部件所在的空间位置。

技术方案：

本发明是通过以下技术方案来实现的：

基于Kinect的典型零部件识别与定位方法，其特征在于：首先利用Kinect传感器获取的彩色与深度图像提取出两者之间的仿射变换矩阵，实现彩色图像的校正；然后利用相关系数匹配法实现校正后的彩色图像零部件识别；最后利用彩色与深度图像的对应关系对零部件进行定位。

采用Kinect传感器对零部件进行识别与定位，具体步骤为：

(1)对图像进行矫正：Kinect设备所获取的深度图像与彩色图像里物体的大小不一致，彩色图像里的人物偏小，所以利用仿射变换对彩色图像进行矫正，使彩色图像里的目标与深度图像里的目标重合；

(2)零部件的图像识别：利用Kinect提取零部件的彩色图像，对彩色图像利用仿射变换矩阵进行仿射变换，然后将彩色图像转换为灰度图像，利用相关系数法对彩色图像进行模板匹配识别；相关系数匹配方法将模板对其均值的相对值与图像对其均值的相关进行匹配，根据R(x,y)来判断相关性，其中：

式中：S_x,y意思是以(x,y)为坐上角匹配首点；m×n大小的子块；为子块图像S_x,y的灰度均值；为模板图像T的灰度均值；

(3)零部件位姿计算：通过彩色图像提取出典型零部件中心点坐标，图像经过变换，彩色图像与深度图像重合，从深度图像里提取点的深度值，然后利用Kinect SDK工具包将零部件的中心点的二维图像坐标转换为相对于Kinect的三维坐标，从而对零部件定位。

优点及效果：

整个识别过程中的设备，包括Kinect传感器和笔记本电脑，成本低。

整个识别过程都是由设备自动完成，零部件识别与定位快速、精确。