[发明专利]漫画气泡识别训练、响应方法及其装置、设备、介质

说明书

本申请公开一种漫画气泡识别训练、响应方法及其装置、设备、介质，其中所述训练方法包括：以生成对抗模型的生成器所用的图像分割模型从漫画原图中提取出气泡特征图；由该生成器中的融合网络将所述漫画原图分别与所提取的气泡特征图和预标记的气泡特征图进行融合，对应生成假值类型和真值类型的合成图；将所述合成图馈入该生成对抗模型的鉴别器实施训练，使其具备识别图片中所含气泡特征所属真假类别的能力；利用完成训练的鉴别器作为该生成器输出的合成图的真假类别判别依据，训练该图像分割模型，使其提升从漫画原图中提取气泡特征的准确率。本申请能以少量样本训练出适于从漫画图片中分割出包含其气泡特征的气泡高亮图的图像分割模型。

技术领域

本申请属于图像识别技术，具体涉及一种漫画气泡识别训练、响应方法及其相应的漫画气泡识别、响应装置，以及相关电子设备和非易失性存储介质。

背景技术

采用卷积神经网络来进行基于人工智能的图像识别的相关技术已经成熟。众所周知，人工智能的实现依赖于大数据及其算法，换言之，一个有效的神经网络，对其训练样本的稀疏性和样本总量往往存在依赖。

在一种关于“气泡识别”的应用中，通过使用计算机视觉识别技术来高亮漫画图片中对话气泡。该方法主要用于辅助漫画领域进行光学文字识别(OCR)，以便提高漫画领域OCR的识别精度。

传统气泡识别算法以“connected-components”技术为主，虽然算法简单，但执行算法需要定义许多苛刻条件(例如气泡必须是白色、气泡的形状特定)才能相对准确的识别气泡，因此难以在工程领域中发挥作用。

随着深度学习在计算机视觉识别领域的广泛应用。以U-net为主的端对端“气泡识别“算法也由此而生。U-net是一种图像分割/高亮算法，主要应用于医疗影响领域，原本在高亮细胞，肿瘤等任务上被广泛使用。2019年，David Dubray和Jochen Laubrock发表论文(Dubray,David,and Jochen Laubrock.Deep CNN-based speech balloon detection andsegmentation for comic books.2019International Conference on DocumentAnalysis and Recognition(ICDAR).IEEE,2019.URL)，将U-net技术运用到气泡识别上，针对气泡识别的需求，提出一种基于U-net实现的图像分割模型，凭借U-net强大的拟合能力取得了不错的效果。同时，其自身端对端黑盒子的特性也降低了气泡提取流程的复杂度。

尽管如此，由于训练并收敛一个U-net模型，需要依赖大量的打标数据，在DavidDebray和Jochen Laubrock提出的实测数据中也显示，即使提供750张样本也难以使其提出的图像分割模型收敛，因此生产这一图像分割模型的训练成本明显高于传统方法。由此可见，如何持续优化气泡识别相关技术，进一步降低训练相关模型的样本总量从而降低其生产成本，对于本领域而言，有其积极意义。

发明内容

本申请的目的之一，旨在提供一种漫画气泡识别训练方法及其各自相应的装置、电子设备、非易失性存储介质。

相应的，本申请的目的之一进一步提供一种漫画气泡识别响应方法及其各自相应的装置、电子设备、非易失性存储介质。

为满足本申请的各个目的，本申请采用如下技术方案：

适应于本申请的目的之一而提供的一种漫画气泡识别训练方法，包括如下步骤：

以生成对抗模型的生成器所用的图像分割模型从漫画原图中提取出包含其气泡特征的气泡特征图；

由该生成器中的融合网络将所述漫画原图分别与所提取的气泡特征图和预标记的气泡特征图进行融合，对应生成假值类型和真值类型的合成图；

将所述合成图作为训练样本馈入该生成对抗模型的鉴别器实施训练，使其具备识别图片中所含气泡特征所属真假类别的能力；