[发明专利]一种基于深度学习的即插即用的风格化图片字幕生成方法

说明书

本发明公开了一种基于机器学习的即插即用的风格化图片字幕生成方法，首先准备数据集，构建可控图像文本生成网络，包含两个子网络：image‑caption网络和风格控制器；通过image‑caption网络对输入的图像数据进行处理，得到对应的输出文本；通过风格控制器对输出文本进行风格控制；最后训练可控图像文本生成网络。本发明提出一种可控文本生成的方式，不需要对生成模型进行参数调整等额外操作，通过一个具有即插即用功能的风格控制器，即可在生成模型基础上生成带有所需要属性的字幕，拓展了原生成模型的功能与泛用性；本发明采用Transformer替代传统的LSTM作为生成模型，增加了生成字幕的准确性。

技术领域

本发明涉及一种全自动的网络图片描述生成方法，尤其涉及基于机器学习的图像字幕生成以及情感分析领域。

背景技术

图像字幕是借助计算机视觉识别图中物体，并利用自然语言处理的方法生成与之对应的描述。在计算机视觉方面，改进的卷积神经网络和目标检测体系结构有助于改进图像字幕系统。在自然语言处理方面，更复杂的顺序模型，如基于注意力的循环神经网络，也同样能产生更准确的字幕描述。

Transformer架构的引入极大地提高了自然语言处理任务的技术水平。然而，一旦这些模型被训练，控制属性，必须通过修改模型体系结构以允许额外的输入，来生成具有特定控制属性的文本。可控生成需要对p(x|a)进行建模，其中a是某些需要的可控属性，x是生成的样本。

到目前为止，还没有一种技术能够在生成描述的同时，在不修改模型的基础上，使描述具有风格化。显然的，这不利于该项技术在实际应用中的推广。

发明内容

解决的技术问题：针对上述研究内容的缺失，基于机器学习的通用性与学习能力，本发明提出一种基于机器学习的即插即用的风格化图片字幕生成方法。

一种基于机器学习的即插即用的风格化图片字幕生成方法，包括如下步骤：

步骤1：准备数据集；

步骤2：构建可控图像文本生成网络。

所述的可控图像文本生成网络包含两个子网络：image-caption网络和风格控制器。

步骤3：通过image-caption网络对输入的图像数据进行处理，得到对应的输出文本；

步骤4：通过风格控制器对输出文本进行风格控制；

步骤5：训练可控图像文本生成网络：

进一步的，步骤1具体方法如下：

1.1图像-文本数据集

直接采用现有的数据集其包括如下几个部分：第一部分是图片，作为网络模型训练过程中的输入图像数据。第二部分是与这些图片所对应的文本描述。

1.2图像-文本-情感数据集

直接采用现有的数据集，其包括如下几个部分：第一部分是图片，第二部分是与这些图片所对应的带情感的文本描述，第三部分是文本描述的情感倾向，第四部分是标定的具有感情的具体词汇。

进一步的，步骤2具体方法如下：

可控图像文本生成网络包含两个子网络：image-caption网络和风格控制器。

(1)image-caption网络，它包含：

Backbone：用以提取图像特征，采用ResNet101进行提取；

RPN层：该层用以在特征图上生成目标建议框以提高对物体识别的准确率；