[发明专利]图像处理方法、图像处理模型的训练方法和装置

说明书

本公开提供了一种图像处理方法、图像处理模型的训练方法、装置和设备，涉及人工智能技术领域，具体为计算机视觉、图像处理、深度学习等技术领域，可应用于OCR、智慧政务等场景。图像处理方法包括：对目标图像进行文本识别，得到多个文本区域和其各自的文本内容；提取表征多个文本区域的视觉模态信息的多个第一视觉特征和每一个文本区域所包括的文本内容的文本模态信息的多个第一文本特征；基于多个第一视觉特征将多个第一文本特征融合，以得到多个第一文本融合特征；基于多个第一文本特征将多个第一视觉特征融合，以得到多个第一视觉融合特征；基于注意力机制对多个第一视觉融合特征和多个第一文本融合特征进行强化进而得到图像处理结果。

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉、图像处理、深度学习等技术领域，可应用于OCR、智慧政务等场景，特别涉及一种图像处理方法、图像处理模型的训练方法、图像处理装置、图像处理模型的训练装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

当前多模态大模型技术如火如荼，利用大量数据，设计多模态预训练任务，从而实现效果的快速提升。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种图像处理方法、图像处理模型的训练方法、图像处理装置、图像处理模型的训练装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种图像处理方法，该方法包括：对目标图像进行文本识别，得到多个文本区域和多个文本区域中的每一个文本区域所包括的文本内容；提取表征多个文本区域的视觉模态信息的多个第一视觉特征；提取多个第一文本特征，多个第一文本特征表征多个文本区域所包括的文本内容的文本模态信息；基于多个第一视觉特征，将多个第一文本特征中的至少一组相邻的第一文本特征分别进行融合，以得到多个第一文本融合特征，多个第一文本融合特征的数量少于多个第一文本特征的数量；基于多个第一文本特征，将多个第一视觉特征中的至少一组相邻的第一视觉特征分别进行融合，以得到多个第一视觉融合特征，多个第一视觉融合特征的数量少于多个第一视觉特征的数量；基于注意力机制对多个第一视觉融合特征和多个第一文本融合特征进行强化，以得到多个第二视觉特征和多个第二文本特征；以及基于多个第二视觉特征和多个第二文本特征，得到图像处理结果。