[发明专利]一种基于图像识别的汽车非安全驾驶检测装置及检测方法

权利要求书

1.一种基于图像识别的汽车非安全驾驶检测方法，使用一种基于图像识别的汽车非安全驾驶检测装置，包括车辆状态检测系统、图像处理系统、第二判断系统以及控制系统，上述各系统均与汽车ECU相连；车辆状态检测系统包括车辆自身的速度传感器以及一个酒精探测仪，酒精探测仪设于驾驶室上方；图像处理系统包括图像输入单元与图像处理单元，图像输入单元包括两个微型CCD摄像头，两个微型CCD摄像头分别设置于车内左侧A柱中部和车内右侧A柱中部，图像处理单元为一个图形处理器；第二判断系统包括声级计、语音提示器以及按键；声级计带有频谱分析功能，声级计位于左侧A柱中部的微型CCD摄像头的下方；语音提示器位于仪表盘处；按键位于方向盘盘辐上；控制系统包括方向盘控制器、速度控制器以及报警器，报警器分为车内报警器以及车外报警器，车内报警器设于驾驶室仪表盘处，车外报警器设于车身外部的车顶处；

其特征在于，具体步骤如下：

步骤(一)建立表情库：收集驾驶员处于疲劳状态以及醉酒状态下的面部图像，将面部图像分别汇总形成疲劳状态表情库以及醉酒状态表情库，将疲劳状态表情库以及醉酒状态表情库统称为表情库，并将表情库存入汽车ECU中，将表情库中的各面部图像称为预设驾驶员面部特征图像；此外，定义本方法中的“非安全驾驶状态”为疲劳驾驶和酒驾；

步骤(二)车辆状态检测系统对汽车状态进行检测，满足条件1其中之一时，触发图像处理系统，满足条件2时，直接触发控制系统；

步骤(三)图像处理系统对驾驶员过去时间段T内的面部图像进行采集、预处理以及相似度分析，当驾驶员面部特征图像与预设驾驶员面部特征图像相似度满足条件3时,触发控制系统，当驾驶员面部特征图像与预设驾驶员面部特征图像相似度满足条件4时,触发第二判断系统；

步骤(四)第二判断系统采集驾驶室内的相关物理信息，并将采集到的驾驶室内数据与预设值进行综合判断，进一步判断此时驾驶员所处驾驶状态，若判断驾驶员此时处于“非安全驾驶状态”则触发控制系统；

步骤(五)控制系统启动，控制系统根据“非安全驾驶状态”的不同对车辆进行相应的控制，同时，车内报警器发出语音提示，警示驾驶员安全驾驶，同时，车外报警器发出警报警示后方的车辆；

其中，

步骤(二)具体过程为：

速度传感器检测汽车行驶速度，当速度传感器检测到车辆处于起步状态或行驶状态时,酒精探测仪检测驾驶室内酒精含量，速度传感器检测此时的汽车行驶速度以及汽车行驶速度波动频率，当车辆行驶状态处于不正常范围内即满足条件1其中之一时，发送一电信号至图像处理系统，触发图像处理系统；

若汽车行驶车速波动过大，即满足条件2时，如急刹车、猛踩油门等，直接触发控制系统；

其中，条件1为：

v＞v₁

(±20km/h)≤Δv＜(±30km/h)

c＞0

条件2为：

Δv≥35km/h

式中，v为汽车行驶速度；v₁为汽车行驶速度预设值；取最高限速的95％作为汽车行驶速度预设值，Δv为汽车在3s内的速度变化量；c为驾驶室内酒精浓度；

步骤(三)具体过程为：

a、图像获取

微型CCD摄像头采集驾驶员过去时间段T内的面部图像，称为驾驶员面部特征图像，T＝2s；

b、图像预处理

将驾驶员面部特征图像以及表情库中的预设驾驶员面部特征图像进行去噪处理、裁剪去除边框以及灰度化处理，并将驾驶员面部特征图像以及表情库中的预设驾驶员面部特征图像的大小和灰度进行归一化处理，将特征图像统一归一化为I×I像素，且满足I＝m×n，其中，2≤n≤6，m为合数，I的具体数值可根据微型CCD摄像头清晰度大小以及特征图像处理的精度要求决定；

c、图像特征提取

采用HOG特征提取方法提取驾驶员面部特征图像以及预设驾驶员面部特征图像的特征向量；

1)采用gamma校正法对驾驶员面部特征图像以及预设驾驶员面部特征图像进行颜色空间的标准化；

2)计算驾驶员面部特征图像以及预设驾驶员面部特征图像每个像素的梯度，包括大小和方向；

3)将驾驶员面部特征图像以及预设驾驶员面部特征图像划分成多个n×n单元格；

4)作出每个n×n单元格的梯度直方图，根据每个n×n单元格的梯度直方图，即可形成每个n×n单元格的特征向量；

5)采用先从左至右、再从上至下选取的原则，将每k个n×n单元格组成一个图像块，k为m的除一之外的最小约数，一个图像块内所有的n×n单元格特征串联起来便得到该图像块的HOG特征向量，设驾驶员面部特征图像上第i个图像块以及预设驾驶员面部特征图像上第j个图像块的HOG特征向量分别为

6)将所有图像块的特征向量串联起来，得到驾驶员面部特征图像和预设驾驶员面部特征图像的HOG特征向量，分别为

d、计算图像相似度

计算驾驶员面部特征图像和预设驾驶员面部特征图像之间的相似度：

计算驾驶员面部特征图像上第i个图像块以及预设驾驶员面部特征图像上第j个图像块间的相似度，计算公式如下：

其中，S₁为驾驶员面部特征图像和预设驾驶员面部特征图像的相似度，P为驾驶员面部特征图像上第i个图像块和预设驾驶员面部特征图像上第j个图像块间的相似度，余弦值越大，则表示图像块或图像越相似，若图像块或图像完全一致，则余弦值为1；

其次，构建相似矩阵S，令相似矩阵S中的第i行、第j列元素S_ij表示驾驶员面部特征图像上第i个图像块与预设驾驶员面部特征图像上第j个图像块之间的相似度，其中S_ij＝P；

基于相似矩阵自适应加权计算图像相似度：

其中，S₂为驾驶员面部特征图像和预设驾驶员面部特征图像间的图像相似度；w_i为驾驶员面部特征图像和预设驾驶员面部特征图像相同位置的图像块相似度的权重；

根据前两步计算出来的图像相似度，采用加权平均计算最终的图像相似度

取最高的相似度值作为最终相似度根据与驾驶员面部特征图像相似度最高的预设驾驶员面部特征图像所处的表情库判断驾驶员具体处于哪一种“非安全驾驶”状态；

当即满足条件3时认为特征基本匹配，驾驶员处于“非安全驾驶”状态，触发控制系统；

当即满足条件4时认为两图像相似，但需进行进一步的判断；

当认为两图像不匹配度，驾驶员处于安全驾驶状态；

步骤(四)具体过程为：

当满足条件4时，触发第二判断系统；

a、若初步判定驾驶员“非安全驾驶”状态为疲劳驾驶，语音提示：“请按规定按下按键M次”，M随机选取且满足M≤5；

若驾驶员在规定时间t内完成了相应的按键次数操作，则视为驾驶员没有处于疲劳驾驶状态；若驾驶员在规定时间内没有完成相应的按键次数操作，则视为驾驶员处于疲劳驾驶状态，触发控制系统；取t≤5s；

b、若初步判定驾驶员“非安全驾驶”状态为酒驾，采用声级计检测驾驶员的声音振幅频率，当满足条件5其中之一时，触发控制系统；

其中，条件5为：

T＞T′

H＞H′

式中，T为驾驶室内声音音调，T′为驾驶室内声音音调预设值，H为驾驶室内声音响度，H′为驾驶室内声音响度预设值；

其中，驾驶员提前测试自己正常说话时的音调、响度，分别测试五次并且取平均值，得到驾驶室内声音音调预设值T′以及驾驶室内声音响度预设值H′：

步骤(五)具体过程为：

a、若判断为疲劳驾驶，方向盘控制器控制方向盘振动，车内报警器语音警示驾驶员“请勿疲劳驾驶”；

继续采集驾驶员面部特征图像，并进行图像相似度计算，若驾驶员不再处于疲劳驾驶状态，解除方向盘振动、解除语音警示，若驾驶员仍处于疲劳驾驶状态，加大方向盘振动频率，加大语音警示音量，速度控制器对车辆进行限速；

重复图像采集、处理过程直到判定驾驶员不再处于疲劳驾驶状态；

b、若判断为酒驾，车内报警器语音警示驾驶员“请勿酒驾”，若驾驶员不进行停车动作，则速度控制器控制汽车车速为零，在汽车刚起步时逼停汽车。