[发明专利]基于元伪标签和光照不变特征的人脸欺骗检测方法和系统在审
申请号: | 202111185654.2 | 申请日: | 2021-10-12 |
公开(公告)号: | CN114067444A | 公开(公告)日: | 2022-02-18 |
发明(设计)人: | 冯浩宇;王宇飞;胡永健;蔡楚鑫;葛治中 | 申请(专利权)人: | 中新国际联合研究院;华南理工大学 |
主分类号: | G06V40/40 | 分类号: | G06V40/40;G06V10/56;G06K9/62;G06V40/16;G06V10/764 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 郑秋松 |
地址: | 510000 广东省广州市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 标签 光照 不变 特征 欺骗 检测 方法 系统 | ||
1.一种基于元伪标签和光照不变特征的人脸欺骗检测方法,其特征在于,包括下述步骤:
对输入图像抠取人脸区域图像,得到RGB颜色通道图;
对待训练的RGB颜色通道图随机裁剪出图像块,划分为有标签样本、无标签样本和增强后的无标签样本,作为RGB分支训练的样本;
对待训练的RGB颜色通道图进行光照分离预处理得到PLGF图,进行数据增强,作为PLGF分支训练的样本;
构建学生模型和教师模型;
构建教师学习模块,将所述有标签样本、无标签样本和增强后的无标签样本送入教师学习模块,得到教师半监督损失、无标签数据的伪标签、增强后的无标签损失;
构建学生元学习模块,将有标签样本、增强后的无标签样本、无标签样本的伪标签送入学生元学习模块更新学生模型参数,得到学生的元学习损失;
构建教师更新模块,利用教师半监督损失、增强后的无标签损失、学生元学习损失更新教师模型参数;
根据损失函数用优化器迭代更新学生模型和教师模型的网络参数,完成训练后保存教师模型和学生模型的参数;
构建基于NeXtVLAD的注意力模块;
搭建特征提取主干网,嵌入注意力模块,构建光照不变特征提取网络;
将数据增强后的PLGF图输入到光照不变特征提取网络,得到特征向量和分类向量,特征向量和真实标签送入三元组损失函数得到三元组损失,分类向量和真实标签通过交叉熵函数得到交叉熵损失,根据三元组损失、交叉熵损失用优化器更新光照不变特征提取网络参数,完成训练后保存光照不变特征提取网络的参数;
将验证集人脸RGB颜色通道图送入学生模型,得到RGB分类分数,同时经过光照分离预处理得到PLGF图,送入光照不变特征提取网络得到PLGF分类分数,将RGB分类分数和PLGF分类分数加权求和得到总的分类分数,根据不同的判决阈值得到预测的标签值,与真实标签比较,计算虚警率和漏检率,取两者相等时的阈值作为测试判决阈值T;
将测试集人脸RGB颜色通道图送入训练好的学生模型,得到RGB分类分数,同时经过光照分离预处理得到PLGF图,送入训练好的光照不变特征提取网络得到PLGF分类分数,将RGB分类分数和PLGF分类分数加权求和得到总的分类分数,根据测试判决阈值T得到最终预测的标签值,计算基准指标。
2.根据权利要求1所述的基于元伪标签和光照不变特征的人脸欺骗检测方法,其特征在于,所述对待训练的RGB颜色通道图进行光照分离预处理得到PLGF图,进行数据增强,作为PLGF分支训练的样本,具体步骤包括:
对三个颜色通道的人脸特征在水平方向和垂直方向分别与PLGF算子进行PLGF卷积得到水平梯度Ghor和垂直梯度Gver;
根据朗伯模型对水平方向和垂直方向的梯度进行光照分离得到水平光照分离梯度ISGhor和垂直光照分离梯度ISGver;
对水平方向和垂直方向的光照分离梯度进行线性激活操作得到合成梯度ISG,组成PLGF图。
3.根据权利要求1所述的基于元伪标签和光照不变特征的人脸欺骗检测方法,其特征在于,所述构建学生模型和教师模型,具体步骤包括:基于ResNet利用残差块ResBlock构建具有相同的网络结构的教师模型和学生模型,设有卷积层3个ResBlock和批量归一化层、全局平均池化层和全连接层,所述全连接层输出分类向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中新国际联合研究院;华南理工大学,未经中新国际联合研究院;华南理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111185654.2/1.html,转载请声明来源钻瓜专利网。