[发明专利]一种基于类别标签和属性注释的多任务属性场景识别方法在审
申请号: | 202111547952.1 | 申请日: | 2021-12-16 |
公开(公告)号: | CN114241380A | 公开(公告)日: | 2022-03-25 |
发明(设计)人: | 保罗;李晓晨;张吉 | 申请(专利权)人: | 之江实验室 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06K9/62;G06V10/774;G06V10/764 |
代理公司: | 杭州浙科专利事务所(普通合伙) 33213 | 代理人: | 孙孟辉 |
地址: | 311100 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 类别 标签 属性 注释 任务 场景 识别 方法 | ||
本发明涉及场景识别技术领域,尤其涉及一种基于类别标签和属性注释的多任务属性场景识别方法,基于多任务属性场景识别网络MASR,利用并计算对象属性分数对对象属性进行筛选精简,简化属性注释流程,减小由数据引起的训练偏差,此外,在MASR网络中设计并运用了一种属性损失函数与一个属性层,以充分利用上述筛选与精简后的属性特征,根据对象检测分数的重要性级别,对对象属性进行重新加权。本发明有效地注释了四个大规模数据集的属性标签,实验结果表明,与最先进的方法相比,本发明学习了更具辨别力的表示并实现了有竞争力的识别性能。
技术领域
本发明涉及场景识别技术领域,尤其涉及一种基于类别标签和属性注释的多任务属性场景识别方法。
背景技术
场景识别,又名场景分类,旨在通过强调理解其全局属性来确定整体场景类别,是一种高级计算机视觉任务。语义分割、结构布局和对象属性等上下文信息是提高场景识别准确率的关键。特别地,语义属性用于实现更丰富的场景描述,而语义分割可表述场景中对象之间的空间关系。同样地,属性信息对于区分相似图像和提高场景识别性能非常重要。仅使用视觉特征,很难区分视觉相似的图像。另一方面,属性是跨类的语义描述性的。然而,提取对象属性或构建有效的语义表示已被证明是非常具有挑战性的,尤其是当对象属性注释必须通过人工进行时。鉴于使用准确的每像素标签标记场景的任务非常耗时,语义分割也具有挑战性。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提出了一种基于类别标签和属性注释的多任务属性场景识别方法,其具体技术方案如下:
一种基于类别标签和属性注释的多任务属性场景识别方法,基于多任务属性场景识别网络MASR,具体包括以下步骤:
1)给定场景图像xi,使用CNN网络提取其特征表示为θI为CNN网络参数;
2)采用属性标注策略计算对象属性分数,基于对象属性分数对vi中的属性对象按照对象筛选逻辑进行精简;
3)将精简后的特征vi输入到全连接层L|K|进行分类预测,其中K为场景分类的类数;同时,将精简后的特征vi输入全连接层L|A|预测属性概率patt,其中A为检测到的属性集;
4)将预测的属性概率patt与从外部数据单独学习的属性表示,输入属性层对vi重新进行权重分配,同时运用属性任务损失函数对属性层的任务进行加速;
5)将修正后的vi反馈给全连接层L|K|,对多任务属性场景识别任务效果进行提升。
进一步的,所述属性标注策略是将两个概率分布ps与pt简单合并且将对象检测分数P作为置信度分数即对象属性分数,具体为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室,未经之江实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111547952.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:建筑主体施工装置
- 下一篇:一种聚羧酸减水剂及其制备方法