[发明专利]一种基于近红外光圆斑检测的多指尖定位方法

说明书

本发明基于计算机视觉中的双目视觉原理，提出一种基于近红外光圆斑检测的多指尖定位方法。利用包含近红外波段的彩色双目相机配合可见光截止滤光片，对附着于指尖上的红外光源进行拍摄，得到指尖的三维空间位置。通过在镜头前加装可见光截止滤光片，能够排除环境中可见光的影响，直接得到红外光源的圆斑图像，对圆斑特征点进行检测和匹配后，可利用双目视图几何原理，计算得到红外光源的空间位置，完成准确，高效的多指尖定位。

技术领域

本发明属于计算机视觉领域，涉及多指尖定位方法，尤其涉及一种基于近红外光圆斑检测的多指尖定位方法和系统。

背景技术

基于手势的操控是自然人机交互领域的重要研究方向。指尖的定位与跟踪是实现手势操控的前提和基础，精确、高效，稳健的指尖定位是正确且快速识别手势的关键。相比于单指尖定位，多指尖定位能够赋予操作者更大的操控自由度，从而实现更加多元的人机交互。因此，对多指尖定位方法的研究具有重要的应用价值。现有指尖定位方案主要分为基于可见光图像序列与基于惯性传感器的方案两种。

基于可见光图像序列的方案通常分两步实现多指尖的定位。首先，利用人手的肤色、形态等特征对图像进行分割，得到手掌所在区域；然后，根据手掌的轮廓，识别每个指尖在图像中的位置。现有人机交互系统通常采用双目相机对人手进行成像，指尖在三维空间中的位置根据三角测量原理计算得到。这一类指尖定位方案涉及复杂的特征提取和图像分割操作，需要消耗大量计算资源，并且对环境变化的适应性较差。这些缺陷严重制约了这一类方案的应用。

基于惯性传感器的方案则将多个惯性传感器附着于人的指尖，通过读取并处理惯性传感器的参数，得到传感器所在空间位置，能够以较小的计算资源消耗实现多指尖的定位。但惯性传感器实质上只能以一定的频率感知运动过程中的加速度大小，在此基础上计算所得空间位置包含较大的累计误差。因此，这一类方案不适用于对操作精度要求高的交互场合。

发明内容

本发明的目的是通过以下技术方案实现的。

本发明基于计算机视觉中的双目视觉原理，提出一种基于近红外圆斑检测的多指尖定位方法。利用包含近红外波段的彩色双目相机配合可见光截止滤光片，对附着于指尖上的红外光源进行拍摄，得到指尖的三维空间位置。通过在镜头前加装可见光截止滤光片，能够排除环境中可见光的影响，直接得到红外光源的圆斑图像，对圆斑特征点进行检测和匹配后，可利用双目视图几何原理，计算得到红外光源的空间位置，完成准确，高效的多指尖定位。

具体地，本发明采用的技术方案是：

一种基于近红外圆斑检测的多指尖定位方法，包括以下步骤：

S1.开启双目相机工作在常规模式下，标定双目系统，得到其内外参数；

S2.在镜头前加装可见光截止滤光片，得到红外光源的双目图像，并在图像中检测红外光源成像所形成的圆斑特征点图像坐标；

S3.基于所述圆斑特征点图像坐标，根据特征点的相对几何位置信息，进行双目图像中多特征点的匹配；

S4.基于所述双目系统内外参数与所述多特征点的匹配关系，计算每一对匹配特征点所对应红外光源的空间位置，完成多指尖的定位。

进一步地，所述步骤S1的具体方法包括：

记两相机拍摄所得图像为I与I′，空间中一点P在两相机成像平面的投影分别为p与p′，且P在两相机坐标系中的坐标分别为x_C与x′_C，二者间的关系可表示为

x′_C＝Rx_C+t

其中，R与t是双目系统的外参数，分别表示两相机坐标系间的旋转矩阵与平移向量。p与p′的图像坐标x＝(x,y)^T与x′＝(x′,y′)^T可表示为