[发明专利]一种基于深度学习的多源异构数据融合方法

说明书

本申请实施例公开了基于深度学习的多源异构数据融合方法，可以应用于图像处理领域。上述方法包括：获取文本类型的场景信息和图片类型的图像，所述场景信息至少包括一级对象信息和二级对象信息；根据所述一级对象信息确定模型集群；根据所述二级对象信息，在所述模型集群中确定每一目标下位对象对应的目标模型；基于各所述目标模型对所述图像进行粗分割，得到各第一图像；对各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割，得到各所述第一图像分别对应的精细分割结果；根据所述精细分割结果渲染所述图像对应的主体图像，所述主体图像表征所述场景信息和所述图像的融合结果。本申请可实现多源数据融合。

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种基于深度学习的多源异构数据融合方法。

背景技术

多源数据中可能包括指向同一对象的信息，也就是说，针对同一对象的信息可以以不同的形式载体被记录在不同类型的多源数据中，不同的数据表达了该同一对象不同方面的信息，如何对多源数据进行信息融合，从而多维度立体表达该同一对象，或者说充分从多源数据中心充分融合汲取该同一对象的信息，并基于融合结果进行其他应用一直是图像处理领域致力于研究的重要课题。

发明内容

为了解决上述至少一个技术问题，本申请实施例提供基于深度学习的多源异构数据融合方法。

一方面，本申请实施例提供了一种基于深度学习的多源异构数据融合方法，所述方法包括：

获取文本类型的场景信息和图片类型的图像，所述场景信息用于对所述图像进行场景描述，所述场景信息至少包括一级对象信息和二级对象信息，所述一级对象信息表征场景，所述二级对象信息表征所述场景中关联的目标下位对象；

根据所述一级对象信息确定模型集群，所述模型集群中包括所述一级对象信息所表征的场景中的各个下位对象分别对应的用于进行分割的模型；

根据所述二级对象信息，在所述模型集群中确定每一目标下位对象对应的目标模型；

基于各所述目标模型对所述图像进行粗分割，得到各所述目标下位对象分别对应的第一图像；

对各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割，得到各所述第一图像分别对应的精细分割结果；

根据所述精细分割结果渲染所述图像对应的主体图像，所述主体图像表征所述场景信息和所述图像的融合结果。

在一个实施例中，所述精细分割结果包括掩码矩阵，所述对各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割，得到各所述第一图像分别对应的精细分割结果，包括：

针对每一第一图像，将所述第一图像输入对应的集聚化信息提取器，所述集聚化信息提取器基于所述第一图像所对应的目标下位对象对应的检测器训练得到，所述集聚化信息提取器用于针对所述第一图像中的目标下位对象进行集聚化信息提取，得到所述第一图像对应的融合特征信息；

将所述融合特征信息输入所述第一图像所对应的目标下位图像对应的分割器，得到所述掩码矩阵。

在一个实施例中，所述根据所述精细分割结果渲染所述图像对应的主体图像，所述主体图像表征所述场景信息和所述图像的融合结果，包括：

根据各第一图像分别对应的掩码矩阵和所述图像，渲染所述主体图像。

在一个实施例中，所述集聚化信息提取器主要包括提取网络和掩膜生成网络，所述掩膜生成网络用于生成目标掩膜，所述目标掩膜用于区分输入至所述集聚化信息提取器的图像中的下位对象和非下位对象，所述提取网络和掩膜生成网络通过下述方法训练得到：

获取样本图像和所述样本图像对应的下位对象的类型所对应的检测器，所述样本图像携带标注信息，所述标注信息表征所述样本图像中所述下位对象的位置信息，一个样本图像只包括单一类型的下位对象；