[发明专利]一种基于C-S和GRU的看画题诗方法

摘要

本发明公开了一种基于CornerNet‑Saccade和GRU的为图题诗方法，采用CornerNet‑Saccade检测画中的目标，并提取出画中的意象词，同时采用MobileNetV3网络分类画要表达的思想，提取中心词，并把意象词和中心词都向量化，输入双层GRU网络输出需要的五言诗。在当今社会，艺术形式不断变化，古诗词的创作艺术不断流失，本发明提出一种人工智能和作诗相结合的看画题诗的方法，能把文字信息和图像信息融合，使其在艺术上更有美感，提升其艺术价值。

主权项

1.一种基于CornerNet‑Saccade和GRU的看画题诗方法，其特征在于包括如下步骤：步骤(1)：收集为画题诗及为诗作画的画与诗，所述诗为五言诗，将收集到的五言诗中的每个不重复的字建立字库，并为每个字分配一个200维的向量；对画中的人和物体的位置、人和物体的类别用人工方法进行标注，画中每一个标注的人或物体代表一个意象词，为所有不重复的意象词建立词库，每张画都有欲表达的中心思想，用中心词表示中心思想，对画的中心词的类别标签人工方法进行标注，为所有不重复的中心词建立词库，为所有意象词、中心词都分配词向量，词向量大小为100维；步骤(2)：将步骤(1)标注好的画输入CornerNet‑Saccade目标检测网络训练，训练集和验证集按照9:1的比例划分，模型的优化函数为计算随机梯度下降，学习速率为0.01，迭代5000次，将未标注的画输入到训练好的模型中，输出画中人、物体的预测框B_k及类别，从而得到意象词，再从词库中获取意象词对应的词向量，其中k表示输入画中检测到的第k个预测框；将输出的预测框B_k水平和垂直方向都分成10份，对每一份都进行最大池化(max pooling)，得到100维的特征使起始向量n表示输入画中检测到的所有预测框数目；步骤(3)：将步骤(1)中标注好的画送入MobileNetV3识别网络训练，训练集和验证集按照9:1的比例划分，模型的优化函数为计算随机梯度下降，学习速率为0.01，迭代5000次，将未标注的画输入到训练好的模型中，输出画对应的中心词类别，从而得到画的中心词，再从词库中获取中心词对应的词向量；步骤(4)：建立第一层GRU网络，所述第一层GRU网络由N个GRU单元组成，其中最后一个单元连接一个全连接层和一个softmax层，用于生成所题诗的前2句。第一层GRU网络输入为步骤(2)所有检测到的意象词词向量的和X和一个100的起始向量<bos>，即输入为C₁＝(X，<bos>)，其中X＝(x₁+x₂+…+x_n)，x_i表示从画中检测到的每个意向词向量。通过第一层GRU网络得到满足韵律要求的每个候选字的概率，选择概率最大的字作为五言诗的第一个字A₁，然后利用再将第一个字的字向量输回第一层GRU网络，利用第一个字预测得到第二个字A₂，并用同样的方式依次得到五言诗前2句的每个字{A₁，A₂,……,A₁₀}；步骤(5)：建立第二层GRU网络，所述第二层GRU网络由M个GRU单元组成，最后一个单元连接一个全连接层和一个softmax层，用于生成所题诗的后2句，第二层GRU网络的输入为意象词向量的和X和中心词向量Y组成的向量其中X、Y为100维的向量，表示后2句诗的最后一个字的字向量；通过第二层GRU网络得到满足韵律要求的每个候选字的概率，选择概率最大的字作为五言诗后2句的第一个字A₁₁，然后再将第一个字的字向量输回第二层GRU网络，利用第一个字预测得到第二个字A₁₂，并用同样的方式依次得到五言诗后2句的每个字{A₁₁，A₁₂,……,A₂₀}，双层GRU网络一同训练，模型优化函数为随机梯度下降，学习速率为0.01，迭代次数为5000次。