[发明专利]一种基于形状视觉知识库的图像自动分割和语义注释方法

摘要

本发明公开了一种基于形状视觉知识库的图像自动分割和语义注释方法，具体步骤包括：构建基本的形状视觉知识库；得到形状视觉知识库相关语义统计信息；获取未知形状的割线候选集合；获取未知形状的类别候选集合和标签候选集合；利用整数线性规划求解最优的分割、形状的语义注释与部分的语义注释。本发明构建了一个对于现有知识库更加细粒度的形状视觉知识库，同时通过形状视觉知识库还能自动对未知形状进行分割和语义注释，具有高度扩展性。

主权项

1.一种基于形状视觉知识库的图像自动分割和语义注释方法，其特征是，包括以下步骤：(1)：通过UI界面人工提取图片中物体的形状轮廓，加入到Shapes集合；人工从WordNet中选取名词指定该形状的语义注释，加入到Classes集合；将提取后的形状通过short‑cut方法进行自动分割，将分割后的部分及其对应的割线加入到Parts集合；人工从WordNet中选取名词指定各个分割后部分的语义注释，加入到Labels集合；将上述得到的结果按照WordNet中语义关系管理组织形成形状视觉知识库；(2)：对步骤(1)构建的所述形状视觉知识库中语义类别的相关信息进行统计，统计所述Classes集合中每一个类别的形状分割后各个部分数目的上限或者是确定的数目，以及Classes集合中每一个物体类别中特有的部分；统计结果作为步骤(6)中的限制条件；(3)：对待识别图像进行形状提取，提取后的形状与步骤(1)中的形状视觉知识库进行形状匹配，若该形状为未知形状，对该未知形状通过short‑cut方法进行自动分割，自动分割后的割线形成该未知形状的割线候选集合，并进入步骤(4)，若该形状为已知形状，自动调取形状视觉知识库的关于该形状的各项信息；(4)：从步骤(1)构建的形状视觉知识库的Shapes集合中获取与步骤(3)中所述未知形状最匹配的k个形状，分别将Classes集合中该k个形状对应的语义注释加入类别候选集合；(5)分别从步骤(1)构建的形状视觉知识库的Parts集合与步骤(4)中获取的k个形状对应的各个部分中获取与未知形状的割线候选集合中各个割线最匹配的割线对应的部分，分别将Labels集合中与上述得到的部分对应的语义注释加入未知形状的标签候选集合；(6)：将步骤(3)中的未知形状的割线候选集合、步骤(4)中的未知形状的类别候选集合与步骤(5)中的未知形状的标签候选集合通过整数线性规划ILP方程组进行计算，同时步骤(2)中的统计结果作为整数线性规划ILP方程组的条件限制，求解出最优的分割、形状的语义注释与部分的语义注释。