[发明专利]专注度评估方法、装置、计算机设备和存储介质在审
申请号: | 202110583903.7 | 申请日: | 2021-05-27 |
公开(公告)号: | CN113762062A | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 孙朝旭;刘萌;吴嫒博;孙康明;叶礼伟;夏志群;卢鑫鑫;蔡晓凤;滕达;覃伟枫 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/40;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 李文渊 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 专注 评估 方法 装置 计算机 设备 存储 介质 | ||
1.一种专注度评估方法,其特征在于,所述方法包括:
从目标图像帧中提取全局图像特征;
在所述目标图像帧中提取图像上下文特征;
基于所述全局图像特征和所述图像上下文特征之间的融合特征,识别所述目标图像帧中目标对象的表情和姿态,以及所述目标图像帧中的物品;
根据所述融合特征确定所述目标对象与所述物品之间的交互行为;
依据所述表情、所述姿态、所述物品的类型和所述交互行为,确定所述目标对象的专注度。
2.根据权利要求1所述的方法,其特征在于,所述从目标图像帧中提取全局图像特征之前,所述方法还包括:
对视频流进行解码,得到图像帧序列;
从所述图像帧序列中进行图像帧抽取,得到目标图像帧;
对所述目标图像帧进行图像处理,得到处理后的目标图像帧。
3.根据权利要求2所述的方法,其特征在于,所述对所述目标图像帧进行图像处理,得到处理后的目标图像帧,包括:
对所述目标图像帧进行反相处理,得到反相图像帧;
获取所述反相图像帧中各像素点的像素值;
基于所述像素值确定所述反相图像帧中各像素点对应的变换参数;
根据所述反相图像帧中各像素点的像素值和对应的所述变换参数,对所述目标图像帧进行非线性变换,得到处理后的目标图像帧。
4.根据权利要求3所述的方法,其特征在于,所述从目标图像帧中提取全局图像特征,包括:
对处理后的所述目标图像帧依序进行归一化和去噪处理,得到归一化去噪图像帧;
将所述归一化去噪图像帧输入至专注度评估模型;
通过所述专注度评估模型中的特征提取网络,提取所述归一化去噪图像帧中的全局图像特征。
5.根据权利要求3所述的方法,其特征在于,所述在所述目标图像帧中提取图像上下文特征,包括:
对处理后的所述目标图像帧依序进行归一化和去噪处理,得到归一化去噪图像帧;
对所述归一化去噪图像帧进行分块处理,得到图像序列块;
将所述图像序列块输入专注度评估模型;
通过所述专注度评估模型中的多注意力编码网络,提取所述图像序列块中各图像块的上下文特征;
通过所述专注度评估模型中的多层感知器,对各所述图像块的上下文特征进行特征融合,得到融合的图像上下文特征。
6.根据权利要求1所述的方法,其特征在于,所述依据所述表情、所述姿态、所述物品的类型和所述交互行为,确定所述目标对象的专注度,包括:
基于所述表情确定所述目标对象的表情得分;
基于所述姿态确定所述目标对象的姿态得分;
基于所述物品的类型确定所述目标对象的物品得分;
基于所述交互行为确定所述目标对象的交互得分;
根据所述表情得分、所述姿态得分、所述物品得分和所述交互得分,确定所述目标对象的专注度。
7.根据权利要求6所述的方法,其特征在于,所述根据所述表情得分、所述姿态得分、所述物品得分和所述交互得分,确定所述目标对象的专注度,包括:
获取表情维度、姿态维度、物品维度和交互维度分别所对应的权重;
基于不同维度的所述权重,对所述表情得分、所述姿态得分、所述物品得分和所述交互得分进行加权求和;
根据加权求和所得的加权得分确定所述目标对象的专注度。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述目标对象为目标群体中的人物对象;所述方法还包括:
获取每个所述人物对象在历史时刻的专注度;
基于当前确定的每个所述人物对象的专注度和所述历史时刻的专注度,确定所述目标群体在不同时刻的平均专注度;
根据各时刻的所述平均专注度生成所述目标群体的专注度分析图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110583903.7/1.html,转载请声明来源钻瓜专利网。