[发明专利]对象分割方法及对应模型的训练方法、装置及存储介质

说明书

本公开提供了一种对象分割方法及对应模型的训练方法、装置及存储介质，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于光学字符识别(Optical Character Recognition；OCR)等场景。具体实现方案为：基于原始图像，获取所述原始图像的语义分割特征；基于所述原始图像和语言表达，获取所述语言表达描述的待分割对象在所述原始图像中的定位特征；基于所述语义分割特征和所述定位特征，获取所述待分割对象在所述原始图像中的分割图。本公开的技术，能够有效地提高待分割对象的分割图的准确性，有效地极提升了引用实例分割的效果。

技术领域

本公开涉及计算机技术领域，具体涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于光学字符识别(Optical Character Recognition；OCR)等场景，尤其涉及一种对象分割方法及对应模型的训练方法、装置及存储介质。

背景技术

引用实例分割任务是在给定自然语言条件下进行图像实例分割的任务，作为多模态学习领域内比较新颖的研究课题，它将计算机世界领域与自然语言处理领域有效地结合起来，同时对传统的图像分割任务进行升级，让机器学习的研究方向更注重于进行语义理解和关系推理。

与传统的图像分割任务不同，引用实例分割任务的输入不仅是给定的图像，还有与图像对应的自然语言形式的引用表达，也可称为自然语言表达，旨在根据自然语言表达准确定位图像中的某个特定对象，并进行像素级别的分类。引用实例分割任务具有广泛的应用前景，例如构建基于语言的人机交互界面，可以根据用户输入的自然语言表达，在真实场景中快速准确定位特定待分割对象，这种准确理解表达的能力将是自然交互的必要组成部分，也成为人工智能领域重要的研究方向，具有非常重大的研究价值与意义。

发明内容

本公开提供了一种对象分割方法及对应模型的训练方法、装置及存储介质。

根据本公开的一方面，提供了一种对象分割方法，包括：

基于原始图像，获取所述原始图像的语义分割特征；

基于所述原始图像和语言表达，获取所述语言表达描述的待分割对象在所述原始图像中的定位特征；

基于所述语义分割特征和所述定位特征，获取所述待分割对象在所述原始图像中的分割图。

根据本公开的另一方面，提供了一种对象分割模型的训练方法，包括：

采集多条训练数据，各所述训练数据中包括训练图像、训练语言表达、以及所述训练语言表达描述的训练对象在所述训练图像中的训练分割图；

采用所述多条训练数据，对包括行列定位网络模块和分割网络模块的对象分割模型进行训练。

根据本公开的再一方面，提供了一种对象分割装置，包括：

语义分割模块，用于基于原始图像，获取所述原始图像的语义分割特征；

定位模块，用于基于所述原始图像和语言表达，获取所述语言表达描述的待分割对象在所述原始图像中的定位特征；

分割处理模块，用于基于所述语义分割特征和所述定位特征，获取所述待分割对象在所述原始图像中的分割图。

根据本公开的又一方面，提供了一种对象分割模型的训练装置，包括：

采集模块，用于采集多条训练数据，各所述训练数据中包括训练图像、训练语言表达、以及所述训练语言表达描述的训练对象在所述训练图像中的训练分割图；

训练模块，用于采用所述多条训练数据，对包括行列定位网络模块和分割网络模块的对象分割模型进行训练。

根据本公开的再另一方面，提供了一种电子设备，包括：

至少一个处理器；以及