[发明专利]一种基于神经网络模型的图像到汉语古诗的转换方法

说明书

本发明公开了一种基于神经网络模型的图像到汉语古诗的转换方法。本发明包括如下步骤：1收集现有的汉语古诗作为诗集数据集；收集图片资源及与所述图片资源对应的语句描述资源作为图像数据集；2建立多模态循环神经网络并进行训练以生成图像目标描述语句；3映射目标描述语句为汉语关键词；4利用长短期记忆网络建立汉语古诗生成模型并进行训练，从而实现图像到汉语古诗的转换。本发明通过计算机自动将图片转化成能够描述图片的汉语古诗，摆脱主题词的限制，使得普通使用者通过输入一幅图片生成对应的汉语古诗，从而能在一定程度上填补我国在机器“看图写诗”领域方面的空缺。

技术领域

本发明涉及信息技术领域，尤其涉及一种基于神经网络模型的图像到汉语古诗的转换方法。

背景技术

中国古诗是人类文学皇冠上的明珠。我国自《诗经》以后，两千年来的诗篇灿若繁星。让机器自动生成诗歌，一直是人工智能领域一个有挑战性的工作。人类能够很容易地描述一幅图像的内容，然而这个工作对计算机来说却十分困难，这需要计算机能够获取图像语义水平上的内容并且像人类一样组织并表达出这些语义信息。

近年来，深度神经网络火遍了人工智能领域的各个方向，颠覆了语音识别、图像分类、文本理解等众多领域的算法设计思路。借助于深度神经网络，机器可以越来越像人类，计算机开始能够理解更高层次的图像内容和文本序列。机器自动生成汉语古诗和图像描述取得了一些新的进展。

然而，当前依主题词指定方式为基础的古诗生成方法具有很大的局限性，这种方式对主题词的选择要求较高，只有主题词选的合理，生成的古诗才更合理，这会对很多普通使用者造成障碍；而且这种方式被一些专家制定的规则和模式严格地约束，句子之间缺乏连贯性，生成的目标诗句也过于死板，缺乏灵活性。当前在图片描述的自动生成中仅以简单的白话句式来捕捉图片内容进行描述，生成的描述语句单调，缺乏灵活性。

发明内容

本发明为解决现有技术中存在的不足之处，提供一种基于神经网络模型的图像到汉语古诗的转换方法，以期能通过计算机自动将图片转化成能够描述图片的汉语古诗，摆脱主题词的限制，使得普通使用者通过输入一幅图片生成汉语古诗，从而能在一定程度上填补我国在机器“看图写诗”领域方面的空缺。

为解决以上技术问题，本发明采用如下技术方案：

本发明一种基于神经网络模型的图像到汉语古诗的转换方法的特点包括如下步骤：

步骤1、收集现有的汉语古诗作为诗集数据集Q＝{q₁,q₂,...,q_i,...,q_n}，q_i表示第i首汉语古诗，并有表示所述第i首汉语古诗中第v个字符，i＝1,2,…,n，v＝1,2,...,V_i；

获取图片资源以及与所述图片资源对应的语句描述资源作为图像数据集T＝{(I₁,s₁),(I₂,s₂),...,(I_j,s_j),....,(I_m,s_m)}；其中，I_j表示第j张图片，s_j表示所述第j张图片对应的语句描述，并有：表示所述第j张图片对应的语句描述中第z个字符，j＝1,2,…,m，z＝1,2,…,Z_j；

步骤2、建立多模态循环神经网络，所述多模态循环神经网络由深度卷积神经网络CNN和长短期记忆网络LSTM组成，并对所述多模态循环神经网络进行训练，得到图片最终的目标描述语句；

步骤2.1、利用式(1)所示的深度卷积神经网络CNN将第j张图片I_j映射到向量空间W中，从而得到第j张图片I_j的向量x_j′：