[发明专利]表情识别方法、装置、电子设备和存储介质在审
申请号: | 202111274438.5 | 申请日: | 2021-10-29 |
公开(公告)号: | CN114092996A | 公开(公告)日: | 2022-02-25 |
发明(设计)人: | 薛方磊;王强昌;谭资昌;郭国栋 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/82;G06V10/764;G06V10/25;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 单冠飞 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 表情 识别 方法 装置 电子设备 存储 介质 | ||
1.一种表情识别方法,所述方法包括:
获取脸部图像,并对所述脸部图像进行特征提取,以得到目标特征图;
根据所述目标特征图中多个第一维度的特征,进行特征融合以得到注意力图中对应的多个第二维度的特征;其中,所述注意力图中每个所述第二维度的特征用于指示所述目标特征图中对应的第一维度的特征的重要程度;
从多个所述第二维度的特征中确定高于第一设定阈值的目标特征,并从所述目标特征图中筛选出与所述目标特征对应的候选特征;
根据筛选出的各所述候选特征进行表情分类,得到所述脸部图像对应的表情类别。
2.根据权利要求1所述的方法,其中,所述根据筛选出的各所述候选特征进行表情分类,得到所述脸部图像对应的表情类别,包括:
采用表情识别模型中的池化层根据注意力机制,将各所述候选特征和类别特征进行融合,以得到所述类别特征的融合特征;
采用所述表情识别模型中的预测层,对所述类别特征对应的融合特征进行表情分类,得到所述脸部图像对应的表情类别。
3.根据权利要求2所述的方法,其中,所述池化层包括第一池化层;所述采用表情识别模型中的池化层根据注意力机制,将各所述候选特征和类别特征进行融合,包括:
采用所述第一池化层,针对各所述候选特征和所述类别特征中的任意一个待融合特征,确定与各所述候选特征和所述类别特征中除所述待融合特征之外的各其余特征之间的第一相似度;
根据各所述其余特征的第一相似度,确定各所述其余特征对应的第一权重;
根据各所述其余特征对应的第一权重,将各所述其余特征与所述待融合特征进行融合,以得到所述待融合特征对应的融合特征。
4.根据权利要求3所述的方法,其中,所述池化层还包括第二池化层,所述第二池化层位于所述第一池化层之后,所述采用表情识别模型中的池化层根据注意力机制,将各所述候选特征和类别特征进行融合,还包括:
采用所述第二池化层,确定所述第一池化层输出的所述类别特征对应的融合特征,与所述第一池化层输出的各所述候选特征对应的融合特征之间的第二相似度;
保留所述第二相似度高于第二设定阈值的候选特征对应的融合特征,或者,将各候选特征对应的融合特征按照对应的第二相似度的取值大小降序排列,筛选并保留排序在前的设定个数的候选特征对应的融合特征;
针对保留的各候选特征对应的融合特征和所述类别特征对应的融合特征中的任意一个目标融合特征,确定与保留的各候选特征对应的融合特征和所述类别特征对应的融合特征中除所述目标融合特征之外的各其余融合特征之间的第三相似度;
根据各所述其余融合特征的第三相似度,确定各所述其余融合特征对应的第二权重;
根据各所述其余融合特征对应的第二权重,将各所述其余融合特征与所述目标融合特征进行融合,以更新所述目标融合特征对应的融合特征。
5.根据权利要求1-4中任一项所述的方法,其中,所述对所述脸部图像进行特征提取,以得到目标特征图,包括:
对所述脸部图像进行特征提取,得到原特征图;
将所述原特征图与对应的位置图进行融合,以得到所述目标特征图,其中,所述位置图中各元素与所述原特征图中各元素一一对应,所述位置图中的元素,用于指示所述原特征图中对应元素在所述脸部图像中的坐标。
6.根据权利要求1-4中任一项所述的方法,其中,所述目标特征图包含H×W个第一维度的特征,其中,H为所述目标特征图中的高度分量个数,W为所述目标特征图中的宽度分量个数,所述第一维度为所述目标特征图中的维度分量个数;
所述根据所述目标特征图中多个第一维度的特征,进行特征融合以得到注意力图中对应的多个第二维度的特征,包括:
针对所述目标特征图中的每个第一维度的特征,将所述第一维度的特征中的各个维度的特征值的绝对值求和,得到对应的权重值;
根据H×W个权重值,生成所述注意力图;
相应的,所述从多个所述第二维度的特征中确定高于第一设定阈值的目标特征,包括:
从所述注意力图中确定权重值高于所述第一设定阈值的目标权重;
将所述目标权重作为所述目标特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111274438.5/1.html,转载请声明来源钻瓜专利网。