[发明专利]基于多模态学习的试题知识点分类方法及系统

权利要求书

1.一种基于多模态学习的试题知识点分类方法，其特征在于，包括以下步骤：

步骤S1，使用预训练模型对预设试题文本信息进行向量映射，得到词向量，其中，所述预设试题文本信息包括试题题面文本信息、试题答案和试题解析；

步骤S2，基于所述词向量，利用卷积神经网络从所述预设试题文本信息中获取试题文本特征表示；

步骤S3，基于所述词向量，利用深层卷积神经网络提取所述预设试题文本信息中的试题图片特征；

步骤S4，采用协同注意力机制分别获取试题文本引导的试题图片特征和试题图片引导的试题文本特征；

步骤S5，通过门控机制对所述步骤S4中得的更新后的试题文本特征和图片特征进行融合表示，并输入全连接、Softmax层中预测试题知识点分类结果。

2.根据权利要求1所述的基于多模态学习的试题知识点分类方法，其特征在于，所述步骤S1中采用RoBERTa预训练模型获取所述预设试题文本信息的词向量表示：w＝{w₁,w₂,...,w_n}，其中，d为词向量的维度，n为试题文本长度，w_i为第i个字的词向量表示。

3.根据权利要求1所述的基于多模态学习的试题知识点分类方法，其特征在于，所述步骤S2具体包括：

步骤S201，利用文本卷积神经网络TextCNN建立n-gram语义特征，捕获不同粒度的试题文本特征；

步骤S202，通过池化操作过滤出所述不同粒度的试题文本特征中的重要特征，并将其拼接作为所述试题文本特征。

4.根据权利要求1所述的基于多模态学习的试题知识点分类方法，其特征在于，所述步骤S3中采用深层卷积神经网络VGG-Net16的最后一层池化层的输出作为所述试题图片特征。

5.根据权利要求1所述的基于多模态学习的试题知识点分类方法，其特征在于，所述步骤S4具体包括：

步骤S401，基于注意力机制将所述试题文本特征中的每个重要特征引导所述试题图片特征，以获取更新后的试题图片特征；

步骤S402，基于注意力机制将每个更新后的试题图片特征引导所述试题文本特征，以获取更新后的试题文本特征。

6.一种基于多模态学习的试题知识点分类系统，其特征在于，包括：

向量映射模块，用于使用RoBERTa预训练模型对预设试题文本信息进行向量映射，得到词向量，其中，所述预设试题文本信息包括试题题面文本信息、试题答案和试题解析；

第一获取模块，用于基于所述词向量，利用卷积神经网络从所述预设试题文本信息中获取试题文本特征表示；

第二获取模块，用于基于所述词向量，利用深层卷积神经网络提取所述预设试题文本信息中的试题图片特征；

引导模块，用于采用协同注意力机制分别获取试题文本引导的试题图片特征和试题图片引导的试题文本特征；

融合和预测模块，用于通过门控机制对所述引导模块中得的更新后的试题文本特征和图片特征进行融合表示，并输入全连接、Softmax层中预测试题知识点分类结果。

7.根据权利要求6所述的基于多模态学习的试题知识点分类系统，其特征在于，所述向量映射模块中采用RoBERTa预训练模型获取所述预设试题文本信息的词向量表示：w＝{w₁,w₂,...,w_n}，其中，d为词向量的维度，n为试题文本长度，w_i为第i个字的词向量表示。

8.根据权利要求6所述的基于多模态学习的试题知识点分类系统，其特征在于，所述第一获取模块具体包括：

捕获单元，用于利用文本卷积神经网络TextCNN建立n-gram语义特征，捕获不同粒度的试题文本特征；

拼接单元，用于通过池化操作过滤出所述不同粒度的试题文本特征中的重要特征，并将其拼接作为所述试题文本特征。