[发明专利]一种基于深度强化学习的图像数据自动化标注方法及系统

说明书

本发明提供了一种基于深度强化学习的图像数据自动化标注方法及系统，涉及计算机视觉技术领域，该方法包括：步骤1：深度学习算法：用于自动生成目标检测、实例分割粗糙预标注；步骤2：强化学习算法：用于自动修正标注结果、对粗糙预标注结果进行微调。本发明能够能够利用深度学习算法，自动化生成粗糙的预标注结果，并使用强化学习算法，学习图像标注员对上述粗糙预标注结果的修正策略，通过在线学习这种调整策略，减少标注员手工干预、修正的幅度和频次。

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种基于深度强化学习的图像数据自动化标注方法及系统。

背景技术

图像自动标注是指针对图像的视觉内容，通过机器学习的方法自动给图像添加反应其内容的文本特征信息的过程。基本思想是：利用已标注图像集或其他可获得的信息，自动学习语义概念空间与视觉特征空间的潜在关联或者映射关系，给未知图像添加文本关键词。

人工智能图像识别算法的开发，通常需要大量的带标注的图像用于算法的训练。目前，图像的标注主要有以下方法：人工标注、基于深度学习算法的自动预标注和基于深度强化学习算法的自动预标注。

针对上述现有技术，使用人工标注的方法，存在周期长、人力成本高的缺陷；而基于深度学习算法的自动预标注的方法可降低人工标注负担，但标注质量比人工标注低，且在整个标注任务中，无法通过主动学习自主提升预标注的质量；在基于深度强化学习算法的自动预标注的方法中，算法可以通过主动学习自主提升预标注的质量，但算法无法学习标注员的手工调整策略，因此不一定能够减少标注员手工干预和修正的幅度、频次。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度强化学习的图像数据自动化标注方法及系统，能够利用深度学习算法，自动化生成粗糙的预标注结果，并使用强化学习算法，学习图像标注员对上述粗糙预标注结果的修正策略，通过在线学习这种调整策略，减少标注员手工干预、修正的幅度和频次。

根据本发明提供的一种基于深度强化学习的图像数据自动化标注方法及系统，所述方案如下：

第一方面，提供了一种基于深度强化学习的图像数据自动化标注方法，所述方法包括：

深度学习算法步骤：自动生成目标检测、实例分割粗糙预标注；

强化学习算法步骤：自动修正标注结果、对粗糙预标注结果进行微调。

优选的，所述深度学习算法步骤包括：

CNN特征提取步骤：利用经过预训练的卷积神经网络，提取图像的纹理、语义信息，输出多尺度特征图；

多尺度特征融合步骤：对上述输出的多尺度特征图，进行融合计算，输出经过融合处理的多尺度特征图；

目标检测头或实例分割头步骤：输入融合后的多尺度特征图，经过运算初步得到目标边界框位置或目标掩膜；

结果后处理步骤：过滤上一步骤计算得到的目标边界框，去除低置信度或重复检测到的目标边界框；对得到的目标掩膜提取外轮廓。

优选的，所述强化学习算法包括：

特征重提取步骤：使用上述深度学习算法步骤获得的目标结果信息，从原始输入图片、多尺度特征图或融合多尺度特征图上重新采样，提取更精细的目标特征；

策略函数神经网络：函数π(a_i|s_i,θ)，输入精细化目标特征，可以输出对粗糙预标注结果的调整动作下应当进行的微调动作的概率分布，通过神经网络实现，该神经网络包含参数θ，该参数通过强化学习实时更新；

动作选择步骤：给定上述动作价值函数以及精细化目标特征，对所有可能的所述调整动作计算对应的价值回报估计，根据特定的动作选择步骤策略，选择一个微调动作输出；