[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取待处理文本的文本特征以及待处理图像的图像特征；所述待处理文本为所述待处理图像对应的描述文本；基于所述文本特征确定所述图像特征中的关键图像特征；所述关键图像特征为在所述文本特征中存在对应语义信息的图像特征；基于所述文本特征和所述关键图像特征进行融合处理得到多模态特征，将所述多模态特征编码到预设语义空间，得到多模态特征编码向量；基于所述多模态特征编码向量进行序列标注处理，得到目标对象标签序列；所述目标对象标签序列用于对所述待处理文本进行结构化处理以得到目标结构化数据。本发明提高了文本结构化处理结果的准确性。

技术领域

本发明涉及互联网技术领域，特别涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展，越来越多的信息采用包括视觉(如图像)、文本等多种模态方式来展示。在一些应用场景中，常基于文本以及对应的图像将非结构化的文本描述转化为结构化的数据，如“属性-属性值”，以用于后续如问答、推荐等内容理解系统。

相关技术中，对于文本以及该文本对应的图像通常是直接将图像信息与文本信息进行简单融合，并没有考虑图像信息所代表的颜色、形状、大小等语言信息，无法实现图像信息中所表征语言信息与相同含义的文本特征的对齐，降低了融合效果，进而导致相关技术中文本结构化处理结果的准确性较差。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质。所述技术方案如下：

一方面，提供了一种数据处理方法，所述方法包括：

获取待处理文本的文本特征以及待处理图像的图像特征；所述待处理文本为所述待处理图像对应的描述文本；

基于所述文本特征确定所述图像特征中的关键图像特征；所述关键图像特征为在所述文本特征中存在对应语义信息的图像特征；

基于所述文本特征和所述关键图像特征进行融合处理得到多模态特征，将所述多模态特征编码到预设语义空间，得到多模态特征编码向量；

基于所述多模态特征编码向量进行序列标注处理，得到目标对象标签序列；所述目标对象标签序列用于对所述待处理文本进行结构化处理以得到目标结构化数据。

另一方面，提供了一种数据处理装置，所述装置包括：

数据获取模块，用于获取待处理文本的文本特征以及待处理图像的图像特征；所述待处理文本为所述待处理图像对应的描述文本；

关键图像特征确定模块，用于基于所述文本特征确定所述图像特征中的关键图像特征；所述关键图像特征为在所述文本特征中存在对应语义信息的图像特征；

融合模块，用于基于所述文本特征和所述关键图像特征进行融合处理得到多模态特征，将所述多模态特征编码到预设语义空间，得到多模态特征编码向量；

序列标注模块，用于基于所述多模态特征编码向量进行序列标注处理，得到目标对象标签序列；所述目标对象标签序列用于对所述待处理文本进行结构化处理以得到目标结构化数据。

在一个示例性的实施方式中，所述关键图像特征确定模块，包括：

交叉注意力权重确定模块，用于基于所述文本特征和所述图像特征确定交叉注意力权重；

关键图像特征确定子模块，用于基于所述交叉注意力权重对所述图像特征进行调整，得到关键图像特征。

在一个示例性的实施方式中，所述融合模块，包括：

自注意力权重确定模块，用于基于所述文本特征确定自注意力权重；

关键文本特征确定模块，用于基于所述自注意力权重对所述文本特征进行调整，得到关键文本特征；