[发明专利]对象分割方法及对应模型的训练方法、装置及存储介质

权利要求书

1.一种对象分割方法，包括：

基于原始图像，获取所述原始图像的语义分割特征；

基于所述原始图像和语言表达，获取所述语言表达描述的待分割对象在所述原始图像中的定位特征；

基于所述语义分割特征和所述定位特征，获取所述待分割对象在所述原始图像中的分割图。

2.根据权利要求1所述的方法，其中，基于原始图像，获取所述原始图像的语义分割特征，包括：

基于所述原始图像，提取所述原始图像的视觉特征；

基于所述视觉特征，获取所述原始图像的语义分割特征。

3.根据权利要求2所述的方法，其中，基于所述视觉特征，获取所述原始图像的语义分割特征，包括：

基于所述视觉特征，采用预先训练的对象分割模型中的语义分割网络模块进行语义分割处理，得到所述原始图像的语义分割特征。

4.根据权利要求1所述的方法，其中，基于所述原始图像和语言表达，获取所述语言表达限定的待分割对象在所述原始图像中的定位特征，包括：

基于所述原始图像，提取所述原始图像的视觉特征；

基于所述语言表达，提取所述语言表达特征；

基于所述视觉特征和所述语言表达特征，获取所述语言表达描述的所述待分割对象在所述原始图像中的定位特征。

5.根据权利要求4所述的方法，其中，基于所述视觉特征和所述语言表达特征，获取所述语言表达限定的所述待分割对象在所述原始图像中的定位特征，包括：

基于所述视觉特征和所述语言表达特征，采用预先训练的对象分割模型中的行列定位网络模块，获取所述语言表达限定的所述待分割对象在所述原始图像中的定位特征。

6.根据权利要求1所述的方法，其中，基于所述语义分割特征和所述定位特征，获取所述待分割对象在所述原始图像中的分割图，包括：

将所述语义分割特征和所述定位特征进行融合，得到融合特征；

基于所述融合特征，采用预先训练的对象分割模型中的分割网络模块，分割到所述待分割对象的分割图。

7.一种对象分割模型的训练方法，包括：

采集多条训练数据，各所述训练数据中包括训练图像、训练语言表达、以及所述训练语言表达描述的训练对象在所述训练图像中的训练分割图；

采用所述多条训练数据，对包括行列定位网络模块和分割网络模块的对象分割模型进行训练。

8.根据权利要求7所述的方法，其中，采用所述多条训练数据，对包括行列定位网络模块和分割网络模块的对象分割模型进行训练，包括：

对于各所述训练数据，基于所述训练数据中的所述训练图像，获取所述训练图像的训练语义分割特征；

基于所述训练数据中的所述训练图像、所述训练语言表达以及所述行列定位网络模块，获取所述训练语言表达描述的所述训练对象在所述训练图像中的预测定位特征；

基于所述训练语义分割特征、所述预测定位特征以及所述分割网络模块，获取所述训练对象在所述训练图像中的预测分割图；

基于所述训练分割图和所述预测分割图，对所述对象分割模型中的所述行列定位网络模块和所述分割网络模块的参数进行调整。

9.根据权利要求8所述的方法，其中，基于所述训练数据中的所述训练图像、所述训练语言表达以及所述行列定位网络模块，获取所述训练语言表达描述的所述训练对象在所述训练图像中的预测定位特征，包括:

基于所述训练数据中的所述训练图像，提取所述训练图像的训练视觉特征；

基于所述训练语言表达，提取所述训练语言表达特征；

基于所述训练视觉特征和所述训练语言表达特征，采用所述行列定位网络模块获取所述训练语言表达描述的所述训练对象在所述训练图像中的所述预测定位特征。