[发明专利]多模态特征融合的实体关系提取方法、装置和设备

说明书

根据本公开的实施例，提供了一种多模态特征融合的实体关系提取的方法、装置、设备、介质和程序产品。涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于智慧城市和智慧金融场景。方案为：针对包括字符的图像中的多个区域中的每个区域，确定区域的视觉特征和区域的多个字符文本特征，字符文本特征对应于区域中的一个字符；针对每个区域，基于区域的视觉特征和多个字符文本特征，确定区域的区域视觉语义特征；基于区域视觉语义特征，确定多个区域的关系信息，关系信息至少指示多个区域中的任意两个区域之间的关联程度；基于关系信息，将多个区域中的区域相关联；针对获取的实体，提取实体关系。由此能够提升文本识别的准确率。

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于智慧城市和智慧金融场景，并且更具体地，涉及多模态特征融合的实体关系提取方法、装置、设备、计算机可读存储介质和计算机程序产品。

背景技术

随着信息技术的发展，神经网络被广泛用于诸如计算机视觉、语音识别和信息检索等的各种机器学习任务。文档的特定信息提取，是从文档(例如请示、通知函、报告、会议纪要，以及合同、招标书、巡检报告、检修工单)中自动抽取特定信息，包括用户感兴趣的信息实体和关系等。利用神经网络对文档的图像进行处理，以对文档中的信息提取被认为是一种有效的方法。然而，文本识别的准确率还有待提高。

发明内容

根据本公开的示例实施例，提供了一种多模态特征融合的实体关系提取的方法、装置、设备、计算机可读存储介质和计算机程序产品。

在本公开的第一方面中，提供了一种多模态特征融合的实体关系提取处理的方法。该方法包括：针对包括字符的图像中的多个区域中的每个区域，确定区域的视觉特征和区域的多个字符文本特征，字符文本特征对应于区域中的一个字符；针对每个区域，基于区域的视觉特征和多个字符文本特征，确定区域的区域视觉语义特征；基于区域视觉语义特征，确定多个区域的关系信息，关系信息至少指示多个区域中的任意两个区域之间的关联程度；基于关系信息，将多个区域中的区域相关联；以及针对获取的实体，提取实体关系。

在本公开的第二方面中，提供了一种多模态特征融合的实体关系提取处理装置。该装置包括：第一特征确定模块，被配置为针对包括字符的图像中的多个区域中的每个区域，确定区域的视觉特征和区域的多个字符文本特征，字符文本特征对应于区域中的一个字符；第二特征确定模块，被配置为针对每个区域，基于区域的视觉特征和多个字符文本特征，确定区域的区域视觉语义特征；关系信息确定模块，被配置为基于区域视觉语义特征，确定多个区域的关系信息，关系信息至少指示多个区域中的任意两个区域之间的关联程度；第一区域关联模块，被配置为基于关系信息，将多个区域中的区域相关联；以及第一提取模块，被配置为针对获取的实体，提取实体关系。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

在本公开的第五方面中，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令被处理器实现如本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。附图用于更好地理解本方案，不构成对本公开的限定，其中：

图1示出了本公开的一些实施例能够在其中实现的多模态特征融合的实体关系提取的系统100的示例的示意图；