[发明专利]一种针对人群活动性质判别的数据增强方法和系统

说明书

本发明给出了一种针对人群活动性质判别的数据增强方法和系统，包括准备人群活动训练数据集、人群活动性质判别的预训练模型，用以生成热力图；从所述人群活动训练数据集中随机提取一个数据对，使用像素级线性混合增强策略，利用线性组合混合图像与标签；使用区域级仿射拼接增强策略，通过剪切粘贴操作拼接图像，根据面积比混合标签；通过强化类梯度激活可视化策略，提取输出类激活热图，执行图像二次混合增强与标签融合，形成以二次混合图像增强数据集，用以扩充原数据集。本申请有效、针对性地实现相关样本库扩充，其扩充流程与结果都可对人群活动性质判别算法产生明显积极影响。

技术领域

本发明涉及计算机视觉的技术领域，尤其是一种针对人群活动性质判别的数据增强方法和系统。

背景技术

人群活动性质判别，即对画面中人群聚集，人数较多的公开场景进行语义性质概括，从而总结出画面中人类活动的名称和特点，其样本一般具备语义分散、重点不明等不良性质。结合人体目标检测与语义分割的算法虽然可以统计并定位画面中的人类个体，但仍然无法较好地整合个体互相关信息进行总体分析。人群计数算法可以较理想统计画面中的人体数量，但仍然不能反映其表达的人类活动类别。还有一些分析画面中次要语义的辅助方案如捕获标语、荧光棒、人体排列重叠特征等，但整体流程过于复杂，启发式痕迹明显，资源消耗极大，效果受多方多重影响反而不佳。分类模型具备推理直接、使用简单、资源消耗低及概括性强等特点，从应用角度为此类问题首选方案，但其对样本量需求极大，直接训练精度往往不尽如人意，且容易形成场景过拟合。举个例子，高密度人群出现在马路上往往是示威游行的某种场景特征，可游行示威也可以出现在体育场、室内大厅等场合；大量标语与宣传牌可能是某大型评奖活动的辅助特点，但也可以是示威游行的特征。场景过拟合会将类别属性绑定在特定场景中，从而严重误导此类图片的分类结果。目前尚未发现专门针对人群活动性质判别算法的增强方案。

发明内容

为了解决现有技术中尚无专门针对人群活动性质判别算法的增强方案技术问题，本发明提出了一种针对人群活动性质判别的数据增强方法和系统，以解决上述技术问题。

根据本发明的第一方面，提出了一种针对人群活动性质判别的数据增强方法，包括：

S1：准备人群活动训练数据集、人群活动性质判别的预训练模型，用以生成热力图；

S2：从人群活动训练数据集中随机提取一个数据对，使用像素级线性混合增强策略，利用线性组合混合图像与标签；

S3：使用区域级仿射拼接增强策略，通过剪切粘贴操作拼接图像，根据面积比混合标签；

S4：通过强化类梯度激活可视化策略，提取输出类激活热图，执行图像二次混合增强与标签融合，形成以二次混合图像增强数据集，用以扩充原数据集。

在一些具体的实施例中，预训练模型包括xception或Senet，人群活动训练数据集定义为{(I_i，Y_i)|i＝0，1，....N-1}，其中，I_i∈R³×W×H为标准RGB图像，Y_i为图像标签。