[发明专利]一种基于图像内容的古诗词生成方法

说明书

技术领域

本发明涉及深度学习、计算机视觉以及自然语言处理领域，特别是涉及一种基于图像内容的古诗词生成方法。

背景技术

随着深度学习的火热发展，以卷积神经网络(Convolutional Neural Networks,CNN)和循环神经网络(Recurrent Neural Networks,RNN)为代表的深度学习框架已在计算机视觉和自然语言处理领域得到广泛应用。在计算机视觉方面，基于CNN框架改良的深度残差网络(Deep Residual Networks,ResNet)、快速区域卷积神经网络(Faster Region-Based Convolutional Neural Networks,Faster R-CNN)、全卷积神经网络(Fully Connected Networks,FCN)分别在图像分类、目标检测、目标分割领域取得最好效果。在自然语言处理领域，传统古诗词生成被看作是一个机器翻译问题，将上一句诗词作为源语言，下一句诗词作为目标语言，经过统计机器翻译模型进行翻译，并加上平仄押韵等约束。通过不断重复这个过程，得到一首完整的诗词。

如今，两种代表性网络框架CNN与RNN的结合已经应用在多个研究领域。例如：Google利用CNN与RNN结合生成可以描述图片的句子(Vinyals O,Toshev A,Bengio S,et al.Show and tell:A neural image caption generator[C]//Computer Vision and Pattern Recognition.IEEE,2015:3156-3164.)；Bohyung Han利用CNN与长短期记忆(Long Short Term Memory，LSTM)网络结合的方法，对基于图像内容提出的问题进行解答(Noh H,Seo P H,Han B.Image Question Answering Using Convolutional Neural Network with Dynamic Parameter Prediction[C]//Computer Vision and Pattern Recognition.IEEE,2016:30-38.)；Trevor Darrell利用CNN与LSTM结合的方法对图像进行自然语言检索，匹配出符合语言描述的图像(Hu R,Xu H,Rohrbach M,et al.Natural Language Object Retrieval[J].2015:4555-4564.)。

因此，结合图像生成符合图像内容、环境的古诗词成为一种可行性较高的方法。

发明内容

为了克服现有技术方案无法根据图像内容来生成与其相关的古诗词的不足，本发明提出一种有效实现根据图像生成古诗词的基于图像内容的古诗词生成方法，采用目标检测算法与循环神经网络算法结合的方法生成古诗词，且古诗词与图像内容相关性较强，且具有更好的连贯性。

本发明实现上述发明目的所采用的技术方案为：

一种基于图像内容的古诗词生成方法，包括以下步骤：

S1：基于单次多框目标检测(Single Shot MultiBox Detector，SSD)框架对图像内容进行目标检测，得到图像中包含物体的名称；

S2：利用中文词法分析工具(THU Lexical Analyzer for Chinese，THULAC)对设定数量(例如五万)首唐诗进行分词，得到相应词汇表；利用word2vec工具对词汇表中每一个词进行特征学习，将每一个词映射到向量空间；

S3：将S1中得到的物体名称输入word2vec工具后得到物体名称映射向量，计算其与古诗词向量之间的余弦相似度，设定阈值后选择部分作为该物体对应的主题词；

S4：利用主题词扩展关键词，将关键词输入学习唐诗后得到的RNN模型进行古诗词生成。

进一步，所述步骤S1中，SSD检测框架以经典目标检测框架为基础，辅以卷积特征层和卷积滤波器结构实现快速检测图像中的目标，给出图像中包括的物体名称。

再进一步，所述步骤S2中，利用中文词法分析工具THULAC对设定数量首唐诗进行分词，首先以标点符号作为句子之间的划分，从而对句子进行分词，进而得到词汇表，利用word2vec工具对每一个词汇转化为空间向量。

所述步骤S3中，将S1中得到的物体名称输入word2vec工具后，得到该物体名称空间向量计算该向量与S2词汇表中的各个词汇向量的余弦相似度：