[发明专利]一种基于类别标签和属性注释的多任务属性场景识别方法

权利要求书

1.一种基于类别标签和属性注释的多任务属性场景识别方法，基于多任务属性场景识别网络MASR，其特征在于，具体包括以下步骤：

1)给定场景图像x_i，使用CNN网络提取其特征表示为θ_I为CNN网络参数；

2)采用属性标注策略计算对象属性分数，基于对象属性分数对v_i中的属性对象按照对象筛选逻辑进行精简；

3)将精简后的特征v_i输入到全连接层L^|K|进行分类预测，其中K为场景分类的类数；同时，将精简后的特征v_i输入全连接层L^|A|预测属性概率p_att，其中A为检测到的属性集；

4)将预测的属性概率p_att与从外部数据单独学习的属性表示，输入属性层对v_i重新进行权重分配，同时运用属性任务损失函数对属性层的任务进行加速；

5)将修正后的v_i反馈给全连接层L^|K|。

2.如权利要求1所述的一种基于类别标签和属性注释的多任务属性场景识别方法，其特征在于，所述属性标注策略是将两个概率分布p_s与p_t简单合并且将对象检测分数P作为置信度分数即对象属性分数，具体为：

从COCO Object与COCO Panoptic数据集中收集对象属性和上下文信息，对stuff与thing类型做独立处理，设S与T分别为stuff与thing的集合，F_s与F_t为针对各自任务的预训练CNN模型，设{x₁,x₂,...,x_n}∈X表示只有类别标签的以场景为中心的数据集，使用X上的F_s与F_t预测S与T上的分布，p_s＝F_s(X)与p_t＝F_t(X)，其中，p_s∈R^|S|与p_t∈R^|T|分别是S与T的概率分布预测，给定数据集X，最终的stuff+thing预测P∈R^|S|+|T|，在给定的场景数据集上定义为P＝p_s∪p_t，其中，P不会增加至1且不代表概率分布，对两个概率分布p_s与p_t求平均以合并它们，其中，S与T并不总有交集，表示不同的数据源。

3.如权利要求2所述的一种基于类别标签和属性注释的多任务属性场景识别方法，其特征在于，所述对象筛选是根据对象检测分数与对象频率对S与T中的对象做进一步筛选，具体为包括：

基于对象检测分数：丢弃对象检测分数小于阈值的对象实例，只有对象检测分数高于阈值的对象才会被选为场景属性，在此过程中，将P重新定义为：

其中ξ是阈值，当检测分数为0时，对象被认为不存在于场景中；

基于对象频率：进一步考虑给定场景类别的属性频率并删除不常见的对象，对于每个类别c，将相对属性频率定义为覆盖类别图像的非零分数的数量，如果{a₁,a₂,...,a_m}∈A_c是c的检测属性集，最优定义为：

其中f_c(a^j)是给定类别c的值为a^j的属性的相对频率，β是最小频率，是c的最终属性列表。