[发明专利]多模态信息提取方法、装置、设备及计算机可读存储介质

权利要求书

1.一种多模态信息提取方法，其特征在于，包括：

获取待提取数据；

对所述待提取数据进行文本提取，以获取所述待提取数据的文本信息；以及，

对所述待提取数据进行多模态特征提取，以获取多模态特征信息；

将所述文本信息和所述多模态特征信息进行信息融合，以获得结构化数据。

2.根据权利要求1所述的多模态信息提取方法，其特征在于，所述将所述文本信息和所述多模态特征信息进行融合，以获得结构化数据的步骤具体包括：

对所述文本信息进行格式转换；

将格式转换后的文本信息分别输入图网络模型和预训练模型，以分别获取第一特征数据和第二特征数据；

将所述第一特征数据、所述第二特征数据和所述多模态特征信息进行信息融合；

将融合后的信息输入预设模型，以进行序列标注，从而获得结构化数据。

3.根据权利要求2所述的多模态信息提取方法，其特征在于，所述对所述文本信息进行格式转换的步骤之后，还包括：将格式转换后的文本信息输入循环网络模型，以获取第三特征数据；

所述将所述第一特征数据、所述第二特征数据和所述多模态特征信息进行信息融合的步骤包括：

将所述第一特征数据、所述第二特征数据、所述第三特征数据和所述多模态特征信息进行信息融合。

4.根据权利要求2所述的多模态信息提取方法，其特征在于，所述预设模型为条件随机场模型。

5.根据权利要求2或3所述的多模态信息提取方法，其特征在于，所述将所述文本信息和所述多模态特征信息进行信息融合的步骤之后，还包括：对融合后的信息进行校正。

6.根据权利要求1所述的多模态信息提取方法，其特征在于，所述待提取数据带有标签；所述将所述文本信息和所述多模态特征信息进行信息融合，以获得结构化数据的步骤之后，还包括：

根据所述标签及所述结构化数据获取信息提取的准确度；

根据所述准确度进行自动学习，以在线训练调优。

7.根据权利要求1所述的多模态信息提取方法，其特征在于，所述多模态特征信息包括图像的特征信息、语义的特征信息以及视频的特征信息。

8.一种多模态信息提取装置，其特征在于，包括：

数据获取模块，用于获取待提取数据；

文本信息提取模块，用于对所述待提取数据进行文本提取，以获取所述待提取数据的文本信息；

多模态特征信息获取模块，用于对所述待提取数据进行多模态特征提取，以获取多模态特征信息；

信息融合模块，用于将所述文本信息和所述多模态特征信息进行信息融合，以获得结构化数据。

9.一种多模态信息提取设备，其特征在于，所述多模态信息提取设备包括存储器和处理器；所述存储器用于存储实现如权利要求1-7任一项所述的多模态信息提取方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令。

10.一种计算机可读存储介质，其特征在于，存储有程序文件，所述程序文件能够被处理器执行以实现如权利要求1-7任一项所述的多模态信息提取方法。