[发明专利]基于多模态融合模型的提高视频问答精度方法及系统

权利要求书

1.一种基于多模态融合模型的提高视频问答精度方法，其特征在于，包括：

采集视频数据和问题特征，获取视频问答的问题；

从视频数据中提取视觉特征和字幕特征；

将视觉特征和字幕特征进行融合处理，获得融合视觉特征和融合字幕特征；包括，将视觉特征和字幕特征输入BERT语言表示模型，并使用BERT语言表示模型将视觉特征、字幕特征和问题特征与每个候选答案结合起来进行嵌入，形成融合视觉特征和融合字幕特征，所述BERT语言表示模型的输入包括视觉特征、字幕特征、视频镜头和字幕句子组成；所述视频镜头和字幕句子被扁平化，包括QA特征；将QA特征和视觉特征融合为QA/视觉特征；同样，将QA特征和字幕特征融合为QA/字幕特征；从相似度矩阵中，将得到的QA/字幕特征与问题特征进行拼接形成融合字幕特征，将得到的QA/视觉特征与问题特征进行拼接形成融合视觉特征；

将融合视觉特征、融合字幕特征和问题特征输入多模态融合模型中进行训练，获得训练好的多模态融合模型；包括，建立多模态融合模型，所述多模态融合模型采用了多头自注意机制，所述多头自注意机制是将查询矩阵、关键字矩阵和值矩阵映射到多个不同的子空间；计算子空间时彼此互不干涉，最后将输出拼接在一起；

将视频问答的问题输入训练好的多模态融合模型，获得问题答案。

2.如权利要求1所述的提高视频问答精度方法，其特征在于，所述采集视频数据和问题特征，获取视频问答的问题，包括：

对视频进行3FPS的图像帧序列提取；

提取每个图像帧的高层语义表示。

3.如权利要求1所述的提高视频问答精度方法，其特征在于，从视频数据中提取视觉特征和字幕特征，包括，采用R-CNN模型从视频数据前若干个的对象提案中提取视觉特征和字幕特征，由于视觉特征位于文本域中，因此视觉特征以字幕的方式嵌入。

4.一种基于多模态融合模型的提高视频问答精度系统，其特征在于，包括：

数据采集模块，被配置为：采集视频数据和问题特征，获取视频问答的问题；

数据处理模块，被配置为：从视频数据中提取视觉特征和字幕特征；

特征融合模块，被配置为：将视觉特征和字幕特征进行融合处理，获得融合视觉特征和融合字幕特征；包括，将视觉特征和字幕特征输入BERT语言表示模型，并使用BERT语言表示模型将视觉特征、字幕特征和问题特征与每个候选答案结合起来进行嵌入，形成融合视觉特征和融合字幕特征，所述BERT语言表示模型的输入包括视觉特征、字幕特征、视频镜头和字幕句子组成；所述视频镜头和字幕句子被扁平化，包括QA特征；将QA特征和视觉特征融合为QA/视觉特征；同样，将QA特征和字幕特征融合为QA/字幕特征；从相似度矩阵中，将得到的QA/字幕特征与问题特征进行拼接形成融合字幕特征，将得到的QA/视觉特征与问题特征进行拼接形成融合视觉特征；

模型训练模块，被配置为：将融合视觉特征、融合字幕特征和问题特征输入多模态融合模型中进行训练，获得训练好的多模态融合模型；包括，建立多模态融合模型，所述多模态融合模型采用了多头自注意机制，所述多头自注意机制是将查询矩阵、关键字矩阵和值矩阵映射到多个不同的子空间；计算子空间时彼此互不干涉，最后将输出拼接在一起；

输出模块，被配置为：将视频问答的问题输入训练好的多模态融合模型，利用多头自注意机制获得问题答案。

5.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时，完成如权利要求1-3任一所述的基于多模态融合模型的提高视频问答精度方法。

6.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-3任一所述的基于多模态融合模型的提高视频问答精度方法。