[发明专利]一种文本的处理方法、装置、设备和介质

权利要求书

1.一种文本的处理方法，其特征在于，包括：

对获取的待分析图像和文本进行编码处理，得到输入特征；其中，所述文本包括第一文本和第二文本；所述第一文本和所述第二文本具有映射关系；所述输入特征包括初始图像特征和初始文本特征；

依据设定的同质注意力机制，对所述初始图像特征和所述初始文本特征进行相关性分析，得到中间图像特征和中间文本特征包括：根据模型训练得到的特征空间转换矩阵和映射矩阵，确定出所述初始图像特征和所述初始文本特征的初始注意力向量；依据模型训练得到的映射矩阵，对所述初始注意力向量进行映射，得到注意力向量；基于所述初始图像特征、所述初始文本特征以及所述注意力向量，构建图结构；对所述输入特征进行筛选和归一化处理，得到所述图结构中各节点之间的归一化权重；依据设定的特征映射矩阵、更新率、所述输入特征、所述归一化权重、所述注意力向量，确定出所述图结构中各节点的融合特征；其中，所述融合特征包括添加了相关性特征的图像特征和添加了相关性特征的文本特征；对所述融合特征进行编码，得到中间图像特征和中间文本特征；

依据设定的异质注意力机制，对所述中间图像特征和所述中间文本特征进行跨模态分析，得到异质图像特征和异质文本特征；

利用打分器对所述异质图像特征和所述异质文本特征进行分析，确定出与所述第一文本匹配的目标文本；其中，所述目标文本为所述第二文本包含的文本。

2.根据权利要求1所述的文本的处理方法，其特征在于，所述依据设定的特征映射矩阵、更新率、所述输入特征、所述归一化权重、所述注意力向量，确定出所述图结构中各节点的融合特征包括：

调用特征更新公式，对所述输入特征和所述注意力向量进行分析，得到更新特征；所述特征更新公式的表达式为：

；

其中，表示更新特征，f表示输入特征，σ表示更新率，attn（f）表示注意力向量，表示归一化权重，W_d表示特征映射矩阵；

将所述更新特征与所述注意力向量叠加，得到融合特征。

3.根据权利要求1所述的文本的处理方法，其特征在于，所述依据设定的异质注意力机制，对所述中间图像特征和所述中间文本特征进行跨模态分析，得到异质图像特征和异质文本特征包括：

根据所述中间图像特征、所述中间文本特征以及模型训练得到的特征空间转换矩阵和映射矩阵，构建异质图结构；

按照设定的异质特征更新规则，对所述异质图结构中各节点的特征进行融合，得到各节点的异质融合特征；其中，所述异质融合特征包括添加了异质特征的图像特征和添加了异质特征的文本特征；

对所述异质融合特征进行编码，得到异质图像特征和异质文本特征。

4.根据权利要求3所述的文本的处理方法，其特征在于，所述根据所述中间图像特征、所述中间文本特征以及模型训练得到的特征空间转换矩阵和映射矩阵，构建异质图结构包括：

根据模型训练得到的特征空间转换矩阵和映射矩阵，确定出所述中间图像特征和所述中间文本特征的初始跨注意力向量；

依据模型训练得到的映射矩阵，对所述初始跨注意力向量进行映射，得到跨注意力向量；

基于所述中间图像特征、所述中间文本特征以及所述跨注意力向量，构建异质图结构。

5.根据权利要求3所述的文本的处理方法，其特征在于，所述按照设定的异质特征更新规则，对所述异质图结构中各节点的特征进行融合，得到各节点的异质融合特征包括：

对所述中间图像特征、所述中间文本特征进行筛选和归一化处理，得到所述异质图结构中各节点之间的异质归一化权重；

依据设定的特征映射矩阵、更新率、所述中间图像特征、所述中间文本特征、所述异质归一化权重、跨注意力向量，确定出所述异质图结构中各节点的异质融合特征。