[发明专利]一种基于双目视觉目标检测的家居环境下门定位方法

摘要

本发明公开了一种基于双目视觉目标检测的家居环境下门定位方法，该方法包括：通过双目视觉摄像机获取图像；截取图像并获得二值化图像；获得可能为门边框的线段序列；寻找左右图像中相匹配的线段对；采用全局最优匹配的原则获得最优匹配线段对队列；通过匹配线段对对应的实际线的距离获得疑似门线对；采用特征积分制原则获得疑似门最优解，从而对门定位。本发明技术方案采用双目视觉，通过高效算法识别门的双边框，有效实现家居环境下的门定位，具有成本低、使用方便灵活、应用场景广泛的优点。

主权项

1.一种基于双目视觉目标检测的家居环境下门定位方法，其特征在于，包括以下步骤：S101、将双目视觉摄像机包括左摄像机和右摄像机置于距离地面一定高度的支架上，水平放置，接收来自两路双目视觉摄像机的图像IL、IR；S102、以左摄像机和右摄像机各自图像主点为中心，分别截取图像I_L中坐标为的矩形区域和图像I_R中坐标为的矩形区域，其中，y_up和y_down为图像截取的上侧阈值和下侧阈值，w为图像I_L和I_R图像的宽度；可得截取后的RGB图像I_L,C，I_R,C；上述的摄像头参数是通过单目标定获得的；S103、对图像IL,C，IR,C分别灰度化，获得灰度图像IL,G和IR,G；再分别对IL,G和IR,G进行Canny算子边缘检测，获得二值化图像IL,B和IR,B；S104、采用累计概率霍夫变换算法对二值化图像I_L,B和I_R,B进行直线线段检测，并提取其中斜率为的线段，所述T_d为角度变化阈值；每条线段表示为式中是线段L_a,i与直线y^I＝y_up+1交点的x^I值；并根据预设规则对两幅图像中得到的线段进行筛选；进一步可获得左图像中的线段组L_L＝{L_L,1,L_L,2,…,L_L,nL}和右图像中的线段组L_R＝{L_R,1,L_R,2,…,L_R,nR}，所述nL为左图像中线段的数量，nR为右图像中线段的数量；S105、以左图像的线段组LL中线段LL,i为基准，计算LL,i对应于右图像中线段组LR匹配范围内所有线段的匹配度，可得到符合筛选阈值的疑似匹配线段对组{LL,i,:}＝{(LL,i,LR,i1),(LL,i,LR,i2),…,(LL,i,LR,in)}，n为匹配线段对组中匹配对的个数；S106、判断LL中所有的线段是否完成疑似匹配线段对组的获取，若否，则转向步骤S105，若是，转向步骤S107；S107、得到线段组LL中每一条线段对应线段组LR中的疑似匹配线段对组集合CMP＝{{LL,1,:},{LL,2,:},…,{LL,nL,:}}；S108、采用全局最优匹配的原则从CMP中选择L_L和L_R中最优匹配线段对队列其中ix和jx分别代表线段和线段在线段组L_L和L_R中的序号，其对应的实际竖线组为L＝{L₁,L₂,…,L_n}；S109、使用双目测距公式计算出OMPQ对应的实际竖线组L在摄像头坐标系下的坐标其中，f'、为双目视觉摄像头参数，由单目标定获得，T为两个摄像头光轴间的间距，分别为相匹配的两条线段和中心坐标的x^I值，x^C和z^C为相匹配的两条线段对应的实际竖线在摄像头坐标系下的x^C‑z^C坐标；S110、根据公式计算L中竖线L_i和竖线L_j的距离，其中i和j表示线L_i和线L_j在L的序号，并认为：当d_i,j∈[W_D,min,W_D,max]时，其中，W_D,min和W_D,max分别为家居环境门宽的最小值和最大值；线L_i和线L_j可能为门的两个外边框，记为疑似门当d_i,j∈[W_F,min,W_F,max]时，其中，W_F,min和W_F,max分别为家居环境门框宽的最小值和最大值；线L_i和线L_j可能为门框的两侧边线，记为疑似门框计算L中所有线之间的距离，可得到疑似门组和疑似门框组其中，ix和jx分别代表竖线L_ix,x和L_jx,x在竖线组L中的序号，D为疑似门标号，x代表疑似门在D_sus中的序号；ix和jx分别代表竖线L_ix,x和L_jx,x在竖线组L中的序号，F为疑似门框标号，x代表疑似门框在F_sus中的序号；S111、采用特征积分制原则从疑似门组Dsus中选择最优解，积分最大的疑似门为最优解，即实现对门的识别；在步骤S104中，所述获得左图像中的线段组LL＝{LL,1,LL,2,…,LL,nL}和右图像中的线段组LR＝{LR,1,LR,2,…,LR,nR}，其中，nL为左图像中线段的数量，nR为右图像中线段的数量，进一步包括：S201、删去像素长度小于Tlength的线段；S202、当存在中心间距小于Tdis像素长度的两条线段时，删去长度较小的线段；S203、对两图像中的线段按照xI从小到大进行排序；S204、最终获得左图像中的线段组LL＝{LL,1,LL,2,…,LL,nL}和右图像中的线段组LR＝{LR,1,LR,2,…,LR,nR}；在步骤S111中，所述特征积分制原则进一步包括：以疑似门为例，其中ix和jx为线L_ix,i和L_jx,i在L中的序号，D为疑似门标号,i为疑似门在疑似门组D_sus中的序号，初始积分为0，特征积分制计算方法包括：S501、若疑似门左侧存在门边框，即疑似门的左边线L_ix右侧存在线L_m满足(L_ix,L_m)∈F_sus，则加分S_F,L；S502、若疑似门右侧存在门边框，即疑似门的右边线L_jx左侧存在线L_n满足(L_n,L_jx)∈F_sus，则加分S_F,R；对于线L_x在双目中左右摄像头中成像为匹配线段对(L_L,ix,L_R,jx)，对于线段L_L,ix和L_R,jx左右两侧的匹配度和有三种情况：式中Tm为匹配度阈值；S503、若疑似门的边线L_ix左右两侧匹配度和满足式(1)，则加分S_M,1；若满足式(2)则加分S_M,2；若满足式(3)，则减分S_M,3；S504、若疑似门的边线L_jx左右两侧匹配度和满足式(1)，则加分S_M,1；若满足式(3)则加分S_M,2；若满足式(2)，则减分S_M,3；S505、若疑似门存在左边框(L_ix,L_m)时，若边线L_m左右两侧匹配度和满足式(1)或式(2)，则加分S_M,2；若满足式(3)，则减分S_M,3；S506、若疑似门存在右边框(L_n,L_jx)时，若边线L_n左右两侧匹配度和满足式(1)或式(3)，则加分S_M,2；若满足式(2)，则减分S_M,3；S507、若在疑似门两侧线中间存在实际线的深度发生突变，即存在L_k于L_ix和L_jx之间，并满足其中T_Z为距离突变阈值，则加分S_z,1；S508若在疑似门两侧线中间存在实际点的深度发生突变，即存在匹配角点P_m于L_ix和L_jx之间，并满足则加分S_z,1。