[发明专利]基于Faster R-卷积神经网络检测模型的图像古诗生成方法

说明书

一种基于Faster R‑卷积神经网络检测模型的图像古诗生成方法，由收集古诗意象词图片、古诗意象词图片预处理、构建古诗意象词图像数据集、输入用户图像、提取图像关键字特征、提取视觉图像特征、构建古诗文本生成模型、判定古诗情感倾向、展示生成古诗步骤组成。本发明通过收集、训练、构建出古诗意象词图像数据集提升了图像古诗生成时的图像检测的正确率和检测速度以及生成速度。在古诗生成网络中结合了图像关键词特征和图像视觉特征，提升了图片和古诗的主题一致性。在图像古诗生成中采用判定生成古诗的情感倾向，丰富了图像古诗生成功能，提升了图像古诗生成质量。它具有生成速度快、图像和古诗主题一致性高等优点，可用于图像古诗生成技术领域。

技术领域

本发明属于计算机技术领域，具体涉及到计算机图像目标检测、自然语言生成和文本情感分类。

背景技术

古诗生成是自然语言生成领域中一项重要且富有挑战性的研究任务，旨在使计算机能够像诗人一样创作出高质量的诗歌。诗歌的自动生成研究经历了由传统机器翻译方法到深度学习文本输入方法的转变。但是主流的基于深度学习的文本输入方法存在很大的问题：第一，限制于输入文本的文字表达能力，少量关键词的输入使得生成的古诗不能充分地表达出用户的写作意及情感波动。第二，现有的图像数据集在面对图像古诗生成时，存在着检测正确率低、检测速度缓慢的问题，缺少古诗意象词专有的图像数据集。第三，缺少对古诗的情感倾向判定。而和关键词相比，图片包含着更加丰富的语义信息和视觉信息，更适合作为古诗生成的输入，能更加充分地表达出用户的写作意图。构建一个古诗专有的意象词图像数据集则对图像古诗生成质量具有显著性提升性效果。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种检索准确率高、生成速度快、生成质量好的基于Faster R-卷积神经网络检测模型的图像古诗生成方法。

解决上述技术问题所采用的技术方案是由下述步骤组成：

(1)收集古诗意象词图片

基于古诗常见的100个意象词，采用爬虫方法从互联网图像数据中爬取意象词对应的图片各100张，得到古诗意象词图片共10000张。

(2)古诗意象词图片预处理

对采集到的意象词图片进行尺寸统一化处理，并采用分段线性灰度增强方法对图片进行细节灰度级处理，增强图像对比度，压缩不要的图像细节。

(3)构建古诗意象词图像数据集

使用帕斯卡视觉对象类方法对预处理完的图片进行标注，依次标记图片包含的意象词标签，输出为图片对应的可扩展标记语言文件，对于采集到的10000张图片和10000个图像相对应的可扩展标记语言文件按8：2的比例进行数据集切分；采用Faster R-卷积神经网络网络训练获得古诗图像数据集。

(4)输入用户图像

选定的需要作诗的单张图片作为用户输入，图片尺寸大小无要求。

(5)提取图像关键字特征

对用户的输入图片使用卷积神经网络网络提取图片中的高纬语义特征，使用Softmax函数预测图像标签的概率分布，按丅式确定预测的标签分布Π：

Π＝Soft max(f(I))

其中I表示输入的图片，f表示卷积神经网络计算，j表示Π中的第j个分量，π_j(I)表示图片I中含有的第j个标签的概率，f_n(I)表示图片I经过卷积神经网络计算后的第n个标签分数，j的取值范围为0～9。

关键词提取网络的损失函数J为：

其中Ψ表示样本数量。