[发明专利]基于场景描述的语义评价方法

说明书

一种基于场景描述的语义评价方法，由分析英文句子的词性、用同义词库统计相关单词个数、确定5个英文语句与生成语句的相似度步骤组成。本发明通过对5个英文语句进行关键词提取，并为每个关键词关联同义词库，根据确定生成语句关键词与5个英文语句对应关键词同义库单词重复个数作为参考系数，确定两个语句相似度。本发明具有评价结果合理、实用性强、运算速度快等优点，可在场景描述评价技术领域应用。

技术领域

本发明属于计算机视觉和自然语言处理的交叉技术领域，具体涉及参考与生成语句之间相似度确定方法。

背景技术

用自然语言描述图像或视频中的视觉场景信息是计算机视觉中近年来的研究热点之一，它涉及了由图像或视频向文本语句的形式转换问题，即图像标题和视频标题技术。随着国内外研究人员对图像标题和视频标题领域的不断深入，人们提出了越来越多的场景描述算法和场景描述效果的评价指标，例如BLEU、CIDEr-D、ROUGE等。但是，细究这些指标的确定方法，均是基于n元组或最长公共序列的确定，即在评判两个句子的相似度时，只考虑两个待评价句子中拼写完全相同的单词的匹配程度。它们给出的是严格意义上的场景描述效果，没有利用场景中对象及其关系的语义信息，评价结果尤其不适用于“因句子表达不同而语义相同”或“句子n元组相同但语义不同”两类问题。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种方法合理、实用性强、运算速度快的基于场景描述的语义评价方法。

解决上述技术问题所采用的技术方案是由下述步骤组成：

(1)分析英文句子的词性

1)从MSCOCO图像数据集中选取待场景描述的原始图像中的5个英文语句，5个英文语句记为S₁,S₂,S₃,S₄,S₅。

2)根据不同的文本描述生成模型，对所选取的原始图像进行场景描述，得到生成语句Sg。

3)统计生成语句Sg中关键词个数，按照名词、动词、形容词与副词将生成语句Sg中所有关键词分成名词集合n₁、动词集合v₁、形容词与副词集合a₁，各集合中单词的个数分别表示为Cn₁、Cv₁、Ca₁。

4)统计5个英文语句中关键词个数，按照名词、动词、形容词与副词将5个英文语句S₁,S₂,S₃,S₄,S₅中的关键词分成n₂ⁱ、v₂ⁱ、a₂ⁱ集合，各集合中单词的个数分别表示为Cn₂ⁱ、Cv₂ⁱ、Ca₂ⁱ，i∈[1,5]。

(2)用同义词库统计相关单词个数

1)用Thesaurus.com网站，分别对5个英文语句S₁,S₂,S₃,S₄,S₅的关键词集合n₂ⁱ、v₂ⁱ、a₂ⁱ中的单词查询同义词，得到相应同义词集合Set-nⁱ、同义词集合Set-vⁱ、同义词集合Set-aⁱ。