[发明专利]一种用于嵌入式物联网平台的口罩人脸识别方法

权利要求书

1.一种用于嵌入式物联网平台的口罩人脸识别方法，其特征在于，包括以下步骤：

步骤S1：采集人脸数据集图像并进行预处理；

步骤S2：对采集人脸数据集图像进行口罩图像拼接操作；

步骤S3：以边界平衡对抗生成式网络BEGAN为架构，构建生成器和判别器进行训练模型；生成器和判别器均是以卷积神经网络和上下文编码器为核心，搭建卷积层、池化层、BatchNorm三层，用于对图像特征的提取；

步骤S4：使用步骤S1中采集的人脸数据样本，通过MobileFaceNet卷积神经网络架构进行人脸识别训练生成模型，训练好的模型用于对步骤S3的模型进行人脸图像修复后的识别操作；

步骤S5：搭建一个嵌入式物联网平台，将步骤S3中的模型应用于云端，步骤S4中训练好的模型用于嵌入式端，再搭建云端和嵌入式之间的网络通信来实现口罩遮挡下的人脸识别系统。

2.根据权利要求1所述的用于嵌入式物联网平台的口罩人脸识别方法，其特征在于，步骤S1包含以下步骤：

步骤S11：通过对已有的开源数据集收集和网络爬虫数据的抓取，完成人脸数据集的采集；

步骤S12：对搜集好的数据集进行图像预处理，筛选掉模糊的人脸图像，通过算法进行人脸对齐操作，获得标准人脸图像。

3.根据权利要求1所述的用于嵌入式物联网平台的口罩人脸识别方法，其特征在于，步骤S2包含以下步骤：

步骤S21：使用Dlib库对标准人脸图像进行68个人脸的关键点检测，根据现实人脸佩戴口罩位置进行关键点的选择；

步骤S22：根据人脸关键点的检测和对应标准3D人脸模型的对应点，通过莱文贝格-马夸特方法获取非线性最小化的全局最优解，从而计算出当前人脸姿态估计信息；

步骤S23：对人脸姿态估计信息进行分析，通过偏转角选择对应的口罩朝向图像，再根据翻滚角和俯仰角确定口罩图像的旋转角度，最终完成口罩人脸图像的拼接。

4.根据权利要求1所述的用于嵌入式物联网平台的口罩人脸识别方法，其特征在于，步骤S3包含以下步骤：

步骤S31：构建生成器结构，其中主要对上下文编码器进行搭建，首先进行卷积操作，窗口大小均为3×3，然后连接池化层进行降维，窗口大小均为3×3，位于卷积层之后，最后完成全连接层进行结果输出，结束编码部分；后面开始解码层搭建，为编码结构的逆向结构，完成生成器结构搭建；

步骤S32：构建判别器结构，判别器主要完成对生成器修复部分和原始图像进行对比判别，根据ResNet网络结构，完成卷积层、池化层和BN层的搭建，这里存在局部判别器和全局判别器，结构一样；

步骤S33：构建BEGAN人脸修复框架，对口罩遮挡人脸进行修复操作，在通过遮挡部分修复的局部判别器和整个图像修复的全局判别器，进行加权判别，进行训练模型。

5.根据权利要求1所述的用于嵌入式物联网平台的口罩人脸识别方法，其特征在于，步骤S4包含以下步骤：

步骤S41：构建MobileFaceNet卷积神经网络架构，分别为1个3×3深度分类卷积层、5个瓶颈层和全连接层组成；

步骤S42：使用搭建好的网络架构对原始标准人脸图像进行识别训练，得到人脸识别模型；

步骤S43：将步骤S3训练好的人脸修复模型进行口罩遮挡人脸修复操作，将修复后的人脸使用人脸识别模型进行识别操作。

6.根据权利要求1所述的用于嵌入式物联网平台的口罩人脸识别方法，其特征在于，步骤S5包含以下步骤：

步骤S51：搭建一个物联网的嵌入式实验平台，基于Linux系统的QT界面完成人机交互界面；

步骤S52：将步骤S3中的模型储存到服务器的云端，将步骤S4中训练好的模型移植到嵌入式端，两者通过内部局域网进行通信，实现人脸图像的传输功能；

步骤S53：完成最后在嵌入式端进行人脸识别图像获取，发送至云端，在云服务器中实现人脸识别修复操作，最后将修复好的图像发回至嵌入式端，完成人脸识别任务。