[发明专利]基于视觉注意机制强化学习弱监督图像检测方法、系统

说明书

本发明属于计算机及机器学习领域，具体涉及了一种基于视觉注意机制强化学习弱监督图像检测方法、系统，旨在解决现有的图像检测方法需要大量有明确标签的训练数据，且标记费时费力的问题。本发明方法包括：获取具有弱监督标记的图像作为输入图像；采用特征提取网络提取输入图像的特征；依据对应的弱监督标记，计算并排序，获得排序后的自顶向下的特征表示；将其输入深度Q网络，计算擦除动作序列；将擦除动作序列作用于输入图像进行擦除操作，直到预设的停止动作，将获得的图像作为检测结果。本发明使用自顶向下的信息通过决策神经网络从动作空间中得到最优动作策略，能有效地模仿人类的视觉机理，通过迭代方式聚焦显著区域。

技术领域

本发明属于计算机及机器学习领域，具体涉及了一种基于视觉注意机制强化学习弱监督图像检测方法、系统。

背景技术

随着互联网技术的快速发展，图像和视频已经成为数字媒体信息的重要载体。如何从图像与视频信息中提取有效的语义信息成为计算机视觉领域的研究热点。人类感知系统的反应都是根据不同感知器官接受的外部信息所分析获得，而视觉感知系统在其中扮演着重要的作用。外界无时无刻不在将信息通过视觉感知系统传入大脑进行分析，并根据分析做出适当的反应。但因为人类大脑处理信息能力有限而视觉系统不断接受大量信息，一些信息不经过视觉机理处理就会使信息的处理滞后，更可能有丢失重要信息的风险。因此人类进化过程中演化出了一种高级的视觉处理机制：选择注意机制。该机制能够对输入视觉信息做重要筛选，优先级别高的信息会被优先处理，从而提升视觉信息处理效率。

视觉注意机制模型受启发于人类视觉系统，该机制将输入的大量复杂视觉信息进行筛选辨认，最终获得少量关键信息，极大提高了视觉信息处理的效率。自底向上和自顶向下的视觉机制分别通过数据驱动和任务驱动来指导模型进行注意力区域的选择。弱监督任务因为其缺少明确强监督信息，所以需要从现有数据分布中通过自底向上和自顶向下的注意选择区域进行先验知识建模，最终更好地帮助模型进行视觉信息处理，从而获得正确的语义信息。

物体检测与分割对视觉数据理解与感知都扮演了极为重要的角色。人类视觉注意机制因其能在海量数据中注视到显著区域并分配资源优先注意，故而能够有效帮助计算机对图像与视频进行语义分析。传统的检测和分割任务都会利用强监督信息训练深度神经网络，即对于检测任务标记目标边界框、对于分割任务标记每个像素类别。而弱监督条件下进行语义分析的难点在于训练样本没有强监督训练标记，难以建立数据与目标之间的直接联系。弱监督学习多数使用以下几种弱监督信息：边界框、眼动轨迹、标记曲线作为弱监督标记信息，从而建立输入数据与目标任务间的隐含映射关系。

总的来说，现有的基于神经网络的方法需要通过有明确任务标记的数据进行训练和学习，但是实际过程中往往缺少大量有明确标签的训练数据，且标记费时费力。

发明内容

为了解决现有技术中的上述问题，即现有的图像检测方法需要大量有明确标签的训练数据，且标记费时费力的问题，本发明提供了一种基于视觉注意机制强化学习弱监督图像检测方法，包括：

步骤S10，获取具有弱监督标记的图像作为输入图像；

步骤S20，基于特征提取网络，采用前向传播的方法提取所述输入图像对应的特征表示；所述特征提取网络为基于神经网络构建的用于特征提取的网络；

步骤S30，基于所述特征表示对应的弱监督标记，计算所述特征表示在所述弱监督标记条件下的自顶向下特征表示，对其中的元素值按照从大到小进行重新排序；

步骤S40，采用深度Q网络，依据重新排序后的自顶向下特征表示，构造动作空间、状态空间、奖励空间，计算擦除动作序列；所述深度Q网络，为基于深度神经网络构建的用于计算特征表示在对应的弱监督标记下的动作序列的网络；

步骤S50，依次将所述擦除动作序列中每一个擦除动作作用于输入图像上，直到擦除动作为预设的停止动作，将获得的图像作为检测结果。