[发明专利]一种用于斑马线型人行横道检测的盲人辅助眼镜

权利要求书

1.一种斑马线型人行横道检测的盲人辅助眼镜，其特征在于，包括眼镜本体，嵌入式安装在其中一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个相机，以及设置在镜腿尾部的耳机；所述小型处理器中存储有包含有一个训练好的神经网络；相机、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，相机实时地采集周围场景的彩色图像，小型处理器对获取的彩色图像进行处理，识别斑马线型人行横道信息，并将结果转化为声音信号，并传给耳机，告知用户。

所述的神经网络通过以下方法训练得到：

(2.1)彩色相机采集包含斑马线型人行横道的彩色图像Color。

(2.2)将Color转为灰度图像，标记能够使得斑马线条带和背景分离的二值化阈值。

(2.3)按照步骤(2.2)的方法标记m张(m>20)Color图像，将图像下采样到9*9大小，并将下采样的图像输入到三层前馈神经的网络(从输入层到输出层的网络层数依次分别为81、24、11)中进行训练；11个输出节点表示的二值化阈值分别是30、80、110、130、140、150、160、170、180、195、215。

2.根据权利要求1所述的盲人辅助眼镜，其特征在于，检测方法包括如下步骤：

(1)采集彩色图像Color，Color面积大小为W×H＝area，W为Color的水平方向像素数，H为Color的竖直方向像素数。

(2)将Color转换为灰度图像。将灰度图像或其下采样图像输入神经网络，将神经网络的输出层中数值最大值的节点所对应的阈值t作为二值化阈值，对灰度图像或其下采样图像进行阈值分割，提取灰度图像中灰度值大于t的合格像素。

(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；

(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，并提取该最小矩形区域的长边与Color竖直边的夹角b；进一步对候选区域经过候选区域面积a，夹角b和凹凸性的筛选(若其重心在区域的边界之外，则判定为凹图形，否则判定为凸图形)，筛选出a1<a<a2、0<b<b2、且为凸图形的候选区域作为合格候选区域，其中，a1、a2分别为合格候选区域面积的下限和上限，b2为合格候选区域夹角b的上限；由合格候选区域构成候选集合C。

(5)选取C中不相同的任意两个初始合格候选区域i和j，再从C中选择除i和j以外、但与i、j相近的合格候选区域k，由i、j和一个或多个相近的合格候选区域k组成一致集合S_ij；所述相近的合格候选区域的选择标准如下：①相近的合格候选区域的k的重心与合格候选区域i、j重心的连线距离均小于t1,②相近的合格候选区域的k的最小矩形区域长边与i或j的最小矩形区域长边夹角大于t2,③i、j重心连线与相近的合格候选区域k的最小区域矩形的两条相对的边相交；其中t1为相近的合格候选区域与初始合格候选区域的距离上限，t2为相近的合格候选区域与初始候选区域的夹角上限；

(6)对一致集合S_ij中的每个合格候选区域，计算其灰度平均值作为该区域的灰度值，记为v，及其最小矩形区域的长边与Color竖直边的夹角，记为g；计算S_ij中所有候选区域的v的平均值m1、所有候选区域的g的平均值m2，剔除S_ij中偏离的合格候选区域，所述偏离的合格候选区域为|v-m1|>t3且|g-m2|>t4,其中t3是判断为偏离区域的灰度阈值，t4是判断为偏离区域的夹角阈值。

(7)在C中选取遍历所有的i和j组合，重复步骤(5)；对得到的每个一致集合S_ij，计算集合内的标准差值D，选择D值最小的一致集合S*作为斑马线检测结果；所述标准差值D＝C1*D1+C2*D2+C3*D3+C4*D4，其中C1、C2、C3和C4取值范围均为[0,1]，D1、D2、D3和D4分别为四个标准差分量；所述的四个标准差分量分别定义如下

其中，N为一致集合内的元素个数(所述元素为：剔除偏离的合格候选区域后，剩余的合格候选区域)，dr为第r个元素到直线(所述直线是：对所有元素的重心利用最小二乘法拟合而出)的距离，Lr为第r个元素的最小矩形区域的长边长度，Wr为第r个元素的最小矩形区域的短边长度，Or为第r个元素的最小矩形区域的长边与Color竖直边的夹角，其他符号的定义如下：

L'_r＝αy_r+β

W′_r＝λy_r+μ

其中，y_r是第r个元素的重心在图像坐标系y轴的坐标，α和β为用最小二乘法拟合的所有元素的最小矩形区域的长边长度与其y坐标的线性关系的系数，λ和μ为用最小二乘法拟合的所有元素的最小矩形区域的短边长度与其y坐标的线性关系的系数，o_m为所有元素的最小矩形区域的长边与Color竖直边的夹角的平均值。

(8)一致集合S*中的元素即为斑马线型人行横道的条带，所有元素的最小矩形区域的短边长度的方向的平均值即为斑马线型人行横道的方向，一致集合S*构成的区域即为斑马线型人行横道的区域。