[发明专利]一种基于OCR与人脸检测融合的身份证信息录用方法

权利要求书

1.一种基于OCR与人脸检测融合的身份证信息录用方法，应用于线上录用系统，其特征在于，包括：

步骤S01，接收身份证图像；

步骤S02，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，进而获取人脸检测概率、人脸信息和人脸方向信息；基于人脸信息和人脸方向信息，对身份证图像进行水平放置校正；

步骤S03，获取身份证图像中的疑似身份证区域图像，根据图像相似度准则验证所述疑似身份证区域图像，验证通过后，执行步骤S04；

步骤S04，利用OCR技术识别身份证图像中身份证区域图像，提取身份信息并获取身份信息识别概率；所述步骤S04具体包括：

步骤S41，对身份证区域图像进行字符分割，获取身份证区域图像中的每个字符；

步骤S42，采用深度卷积神经网络算法对分割好的字符进行识别，获取每个字符的第一字符识别概率，其中、为字符对应的第行和第列的值；

步骤S43，提取身份证区域图像中固定字段后的字符，获取第二字符识别概率；

所述身份信息识别概率包括第一字符识别概率和第二字符识别概率；

步骤S05，基于人脸检测概率和身份信息识别概率，获取身份证信息录入概率；当身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01；所述步骤S05具体包括：

步骤S51，基于人脸检测概率和身份信息识别概率，获取身份证信息录入概率；

步骤S52，判断身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01。

2.根据权利要求1所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，步骤S01中的身份证图像由智能客户端处的图像传感器采集。

3.根据权利要求1所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，所述步骤S02具体包括：

步骤S21，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，获取身份证图像中的人脸区域图像、若干人脸特征点和人脸检测概率；

步骤S22，基于若干人脸特征点，构建图像坐标和世界坐标的关系函数；

（公式一）

其中，每个特征点坐标为，R、T矩阵分别为头部的旋转和平移矩阵；(, , )是三维世界坐标系中人脸特征点的三维坐标，该点是依据标准正脸时候的三维坐标标记；为修正系数，、为图像传感器水平和垂直方向的图像传感器芯片上像素的实际大小，为焦距，为图像中心点坐标；

根据RANSAC算法拟合获得透射投影变换矩阵（R,T）；

步骤S23，根据透射投影变换矩阵（R,T），对身份证图像进行校正，获得水平放置的身份证图像。

4.根据权利要求2所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，步骤S21中人脸检测概率获得过程如下：

获取人脸检测的检测概率；

当检测概率≤人脸阈值概率时，则=0；当检测概率＞人脸阈值概率时，则=。

5.根据权利要求1所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，所述步骤S03具体包括：

步骤S31，根据身份证区域和身份证图像中人脸的位置关系，获取身份证图像中的疑似身份证区域图像；

步骤S32，根据图像相似度准则验证所述疑似身份证区域图像，验证通过后，执行步骤S04。

6.根据权利要求5所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，所述步骤S32具体包括：

将疑似身份证区域图像假定为待匹配图，并将标准身份证区域图像假定为模板图T；

计算归一化积相关值，

（公式二）

其中，表示模板图在和坐标点的灰度值，表示待匹配图在和坐标点的灰度值，和表示模板图在待匹配图上滑动的位移坐标；为归一化积相关值；

判断计算获得的归一化积相关值大于相似度阈值时，则确认疑似身份证区域图像为身份证区域图像。