[发明专利]一种数据匹配方法、装置、存储介质及电子设备

说明书

本说明书公开了一种数据匹配方法、装置、存储介质及电子设备。采用若干种方式划分待匹配数据以得到所划分出的子数据，根据各子数据之间的注意力权重确定出各子数据的融合数据特征，并根据各子数据的融合数据特征确定待匹配数据之间的匹配结果。采用不同划分方式所划分出的同一模态的子数据之间能够实现信息互补，从而避免在根据仅通过一种划分方式所划分出的子数据来确定待匹配数据的匹配结果时，由划分方式的固有缺陷所带来的匹配结果偏差。

技术领域

本说明书涉及数据处理领域，尤其涉及一种数据匹配方法、装置、存储介质及电子设备。

背景技术

与人类可以通过眼睛、耳朵和鼻子来感知信息相类似，人工智能也可以接收多模态的信号，例如图像模态、文本模态或音频模态等等。而由于不同模态的信号中所包含的数据对信息描述的方式不同，来自于多模态信号的数据(以下简称多模态数据)之间所包含的信息存在交叉互补，因此相比于来自于单一模态信号的数据(以下简称单模态数据)，多模态数据能够描述更丰富的信息。

但理解多模态数据之前，需要先获知各模态的数据之间的对应关系，也就是将各模态的数据进行匹配。例如电影视频和字幕在时间维度上的对应关系，或是图像和对图像所进行描述的文本之间的对应关系，显然，只有在建立了对应关系的基础之上，才能够融合并理解多模态数据。

以为图像和文本确定匹配关系为例，在现有技术中，通常采用目标检测算法从图像中截取出若干包含完整语义的局部图像，并根据各局部图像中所包含的语义与文本的语义的近似程度来判断整体图像与文本是否匹配。

但这种方法对于目标检测算法本身的依赖程度过大，当目标检测算法漏截取了局部图像，就会导致局部图像中所包含的信息丢失，从而导致所确定出的整体图像与文本的匹配结果出现偏差。

可以看出，如何匹配来自不同模态的数据是一个亟待解决的问题。

发明内容

本说明书提供一种数据匹配方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种数据匹配方法，包括：

确定由不同模态类型的待匹配数据所构成的待匹配数据对；

针对每个待匹配数据，针对预先设定的每种划分方式，采用该划分方式划分该待匹配数据，得到所划分出的子数据，并将所划分出的子数据加入子数据集；

提取子数据集中各子数据的数据特征，并将所提取出的数据特征输入预先训练的数据匹配模型；

根据各子数据的数据特征，针对每个子数据，通过所述数据匹配模型，确定该子数据对各子数据的注意力权重，并根据该子数据对各子数据的注意力权重确定该子数据的融合数据特征；

根据各子数据的融合数据特征，确定所述待匹配数据对中不同模态的待匹配数据的匹配结果。

可选地，预先设定的各划分方式中至少包括第一划分方式；

采用第一划分方式划分待匹配数据，具体包括：

将该待匹配数据自身划分为该待匹配数据的子数据。

可选地，针对预先设定的各划分方式中的每种划分方式，采用该划分方式划分该待匹配数据，具体包括：

确定该待匹配数据的模态类型，作为目标模态类型；

根据预先设定的所述目标模态类型对应的各划分方式，将所述目标模态类型对应的各划分方式作为该待匹配数据对应的划分方式；

针对该待匹配数据对应的每种划分方式，采用该划分方式划分该待匹配数据。