[发明专利]一种综合文字和形状的故事图像序列生成方法

摘要

本发明涉及一种综合文字和形状的故事图像序列生成方法，包括下列步骤文本故事解析；背景过滤；基于显著性的图像前景形状提取；前景过滤；图像合成；图像序列生成默认同一故事主题可保留同一背景画面，在场景图像之间采用一致性过滤算法来保证场景单元之间的一致性；设A和B是故事文本中出现在不同场景即句子中的同一个对象即具有相同关键字，A为来自已完成场景的参考图像，B为来自新场景的用户草图，所谓一致性过滤，就是基于参考图像A和用户草图B搜索出新的候选前景图像集，使其尽量保持A的颜色以及B的形状。

主权项

一种综合文字和形状的故事图像序列生成方法，包括下列步骤：1)文本故事解析对输入的故事脚本进行解析，完成从文本故事到对象关键字的提取工作，并利用关键字分别搜索下载符合语义的图像，建立各场景对象的初始图像集，包含初始背景图像集Bini和初始前景图像集Fini；2)背景过滤对于背景的选择，遵循两个原则:一是背景内容应该与指定文本关键字一致，二是背景内容应该构图简单，背景的初始图像集为Bini，背景过滤结果得到的候选背景图像用Bflt表示；3)基于显著性的图像前景形状提取利用显著性图来自动提取图像前景轮廓，以此生成图像前景形状集Fshp，算法如下：第1步：基于颜色特征来对Fini中的图像进行全局显著性度量，在lαβ颜色空间中，两个像素颜色差别可以用这两个像素的lαβ距离表示，距离差值的大小决定了像素之间的相似程度，以I来表示Fini中的图像，将I转换到lαβ空间；第2步：定义图像中某像素的显著性值为该像素与图像中其他像素颜色的二范式，图像I中的像素Ik的显著性定义公式为：S(Ik)=Σ∀Ii∈ID(Ik,Ii)---(1)]]>其中，D(Ik,Ii)为两个像素Ik和Ii在lαβ空间的颜色距离度量；第3步：对公式(1)计算的像素的显著性值进行重新排列，将具有相同颜色值的像素归为一类，从而得到每一种颜色的显著性值，如公式(2)所示：SGlobal=S(Ik)=S(Cl)=Σj=1nfjD(cl,cj)---(2)]]>其中，n为图像中所含的颜色种类个数，cl为第k个像素Ik的颜色值，fj为cj在图像I中出现的概率；以此得到图像I的全局显著性图；第4步：生成了显著性图后，选择合适的阈值来对其进行显著性分割，从而得到二值黑白图像，然后迭代的使用GrabCut分割算法来改善分割结果；第5步：对Fini中的每张图像执行上述操作，由此得到前景形状图集Fshp；4)前景过滤获取前景形状图集Fshp后，进一步引入用户草图，对其进行形状过滤，过滤结果用Fflt表示，具体过程如下：第1步：用户手绘形状草图S，以此描述前景物体的大致轮廓；第2步：利用形状上下文描述符shape context对用户草图s进行特征描述，得到一个表征物体形状的点集合，每个点的形状信息由集合中其他点与之形成的相对向量集表示，采用直方图gi表示这些向量；第3步：以C来表示Fshp中的图像，计算S与C之间每个样本点之间的差别，即形状上下文的差别；第4步：在得到每个点之间的差别以后，可以形成一个代价矩阵，运行匈牙利算法找到最优匹配，使整个代价最小，基于这个最优匹配，得到整个形状代价ds，ds可以作为两个形状之间的差别衡量，代价越小，形状越相似；第5步：按照形状代价值从小到大进行排序，生成前景过滤集Fflt；5)图像合成经过以上过滤过程分别获取相应的背景过滤集Bflt和前景过滤集Fflt，使用泊松融合方法对排序结果最优的前景图像If和背景图像Ib进行合成，至此完成单幅场景图像的合成，对应文本中的一个句子；6)图像序列生成对于剩余句子的场景图像生成，同样采用上述操作，默认同一故事主题可保留同一背景画面，在场景图像之间采用一致性过滤算法来保证场景单元之间的一致性；设A和B是故事文本中出现在不同场景即句子中的同一个对象即具有相同关键字，A为来自已完成场景的参考图像，B为来自新场景的用户草图，所谓一致性过滤，就是基于参考图像A和用户草图B搜索出新的候选前景图像集Fnewflt，使其尽量保持A的颜色以及B的形状。