[发明专利]用于多模态数据处理的方法、装置、设备和介质

说明书

本公开的实施例提供了用于多模态数据处理的方法、装置、设备和介质。该方法包括：获取图像数据和文本数据；以及利用特征提取模型提取图像数据的目标视觉特征和文本数据的目标文本特征。特征提取模型包括交替部署的跨模态编码部分和视觉编码部分。提取包括：利用第一跨模态编码部分对第一中间视觉特征和第一中间文本特征执行跨模态特征编码，得到第二中间视觉特征和第二中间文本特征；利用第一视觉编码部分对第二中间视觉特征执行视觉模态特征编码，得到第三中间视觉特征。这样的特征提取能够捕捉图像和文本模态的非同步语义对齐，使模型能够更快学习和实现对图像和文本模态的准确特征提取。

技术领域

本公开的示例实施例总体涉及机器学习，特别地涉及用于多模态数据处理的方法、装置、设备和计算机可读存储介质。

背景技术

图像-文本匹配是视觉和语言领域的典型任务，涉及不同模态数据处理。图像数据可以包括动态图像，例如视频，以及静态图像，例如单张图像。图像-文本匹配例如可以用于从文本中检索图像或从图像中检索文本。这项任务的主要挑战是在不同模态之间对齐语义。近年来，从大规模视频内容和文本内容中预训练或训练模型已成为一种趋势。模型建模过程可以挖掘足够的跨模态线索用于实现具体任务。

发明内容

在本公开的第一方面，提供了一种用于多模态数据处理的方法。该方法包括：获取图像数据和文本数据；以及利用特征提取模型提取图像数据的目标视觉特征和文本数据的目标文本特征，特征提取模型包括交替部署的跨模态编码部分和视觉编码部分。提取包括：利用特征提取模型的第一跨模态编码部分对图像数据的第一中间视觉特征和文本数据的第一中间文本特征执行跨模态特征编码，得到第二中间视觉特征和第二中间文本特征；利用特征提取模型的第一视觉编码部分对第二中间视觉特征执行视觉模态特征编码，得到第三中间视觉特征；利用特征提取模型的第二跨模态编码部分对第三中间视觉特征和第二中间文本特征执行跨模态特征编码，得到第四中间视觉特征和第三中间文本特征；以及基于第四中间视觉特征和第三中间文本特征来确定目标视觉特征和目标文本特征。

在本公开的第二方面，提供了一种用于多模态数据处理的装置。该装置包括：获取模块，被配置为获取图像数据和文本数据；以及提取模块，被配置为利用特征提取模型提取图像数据的目标视觉特征和文本数据的目标文本特征，特征提取模型包括交替部署的跨模态编码部分和视觉编码部分。提取模块包括：第一跨模态编码模块，被配置为利用特征提取模型的第一跨模态编码部分对图像数据的第一中间视觉特征和文本数据的第一中间文本特征执行跨模态特征编码，得到第二中间视觉特征和第二中间文本特征；第一视觉编码模块，被配置为利用特征提取模型的第一视觉编码部分对第二中间视觉特征执行视觉模态特征编码，得到第三中间视觉特征；第二跨模态编码模块，被配置为利用特征提取模型的第二跨模态编码部分对第三中间视觉特征和第二中间文本特征执行跨模态特征编码，得到第四中间视觉特征和第三中间文本特征；以及目标特征确定模块，被配置为基于第四中间视觉特征和第三中间文本特征来确定目标视觉特征和目标文本特征。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法。

应当理解，本内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了能够在其中实现本公开的实施例的示例数据处理环境的示意图；