[发明专利]基于自然语言短语对图像进行自动分割

摘要

本发明涉及基于自然语言短语来对图像进行分割。接收图像和n元语法，其包括标记序列。生成图像特征的编码和标记向量序列。完全卷积神经网络对图像特征进行标识和编码。单词嵌入模型生成标记向量。递归神经网络(RNN)基于图像特征编码和标记向量的组合来迭代地更新分割图。分割图标识在由n元语法引用的图像区域中包括哪些像素。基于分割图来生成分割图像。RNN可以是卷积多模态RNN。单独的RNN(诸如长短期记忆网络)可以基于标记的顺序来迭代地更新语义特征的编码。第一RNN可以基于语义特征编码来更新分割图。

主权项

1.一种计算机可读存储介质，所述计算机可读存储介质具有存储于其上的指令，所述指令用于对包括多个像素的图像进行分割，所述指令在由计算设备的处理器执行时引起所述计算设备执行动作，所述动作包括：接收有序标记集合，所述有序标记集合引用所述图像的第一区域；生成图像图，所述图像图表示多个图像特征中的每个图像特征与所述多个像素的对应部分之间的对应；生成标记数据元素集合，其中所述标记数据元素中的每个标记数据元素表示所述标记集合中对应标记的语义特征；迭代地更新分割图，所述分割图表示所述多个像素中的每个像素是否被包括在所述图像的所述第一区域中，其中所述分割图的多个迭代更新中的每个迭代更新是基于：所述分割图的先前版本，以及所述图像图和所述标记数据元素中基于所述标记集合的顺序的一个标记数据元素的组合；以及基于所述图像和所述分割图来生成分割图像。