[发明专利]多模态信息提取方法、装置、设备及计算机可读存储介质

说明书

本申请提供一种多模态信息提取方法、装置、设备及计算机可读存储介质。该多模态信息提取方法包括：获取待提取数据；对待提取数据进行文本提取，以获取待提取数据的文本信息；以及，对待提取数据进行多模态特征提取，以获取多模态特征信息；将文本信息和多模态特征信息进行信息融合，以获得结构化数据。该多模态信息提取方法不仅能够提取待提取数据中的文本信息，且可提取除文本信息外的其它模态的特征信息，进而使得该方法能够适用于不用的行业及业务领域，大大扩大了适用范围。

技术领域

本发明涉及信息提取技术领域，尤其涉及一种多模态信息提取方法、装置、设备及计算机可读存储介质。

背景技术

随着自然语言处理(Natural Language Processing，NLP)技术的发展,如何得到非结构化数据中的结构化信息是当前的一项重要工作。在国内外以此展开的数据分析、文档审阅、知识图谱构建等相关研究中，从众多非结构化信息中提取出结构化信息，也是有着举足轻重的作用。

目前，业界主要基于命名实体识别(Named Entity Recognition，NER)，等方法，运用大量数据训练出NER模型以进行实体的抽取。然而，该方法只能提取规定的几种实体类型，且只能提取文本数据。

发明内容

本申请提供的多模态信息提取方法、装置、设备及计算机可读存储介质，该多模态信息提取方法能够解决现有方法只能提取规定的几种实体类型，且只能提取文本数据的问题。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种多模态信息提取方法。该方法包括：获取待提取数据；对待提取数据进行文本提取，以获取待提取数据的文本信息；以及，对待提取数据进行多模态特征提取，以获取多模态特征信息；将文本信息和多模态特征信息进行信息融合，以获得结构化数据。

其中，将文本信息和多模态特征信息进行融合，以获得结构化数据的步骤具体包括：对文本信息进行格式转换；将格式转换后的文本信息分别输入图网络(Graph NeuralNetwork，GNN)模型和预训练模型，以分别获取第一特征数据和第二特征数据；将第一特征数据、第二特征数据和多模态特征信息进行信息融合；将融合后的信息输入预设模型，以进行序列标注，从而获得结构化数据。

其中，对文本信息进行格式转换的步骤之后，还包括：将格式转换后的文本信息输入循环网络模型，以获取第三特征数据；将第一特征数据、第二特征数据和多模态特征信息进行信息融合的步骤包括：将第一特征数据、第二特征数据、第三特征数据和多模态特征信息进行信息融合。

其中，预设模型为条件随机场模型(Conditional Random Field，CRF)。

其中，将文本信息和多模态特征信息进行信息融合的步骤之后，还包括：对融合后的信息进行校正。

其中，待提取数据带有标签；将文本信息和多模态特征信息进行信息融合，以获得结构化数据的步骤之后，还包括：根据标签及结构化数据获取信息提取的准确度；根据准确度进行自动学习，以在线训练调优。

其中，多模态特征信息包括图像的特征信息、语义的特征信息以及视频的特征信息。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种多模态信息提取装置。该多模态信息提取装置包括：数据获取模块、文本信息提取模块、多模态特征信息获取模块以及信息融合模块；其中，数据获取模块用于获取待提取数据；文本信息提取模块用于对待提取数据进行文本提取，以获取待提取数据的文本信息；多模态特征信息获取模块用于对待提取数据进行多模态特征提取，以获取多模态特征信息；信息融合模块用于将文本信息和多模态特征信息进行信息融合，以获得结构化数据。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种多模态信息提取设备。该多模态信息提取设备包括存储器和处理器；存储器用于存储实现上述所涉及的多模态信息提取方法的程序指令；处理器用于执行存储器存储的程序指令。