[发明专利]基于多模态学习的试题知识点分类方法及系统

说明书

本发明公开了一种基于多模态学习的试题知识点分类方法及系统，属于自然语言处理技术和图像处理技术领域，其中，该方法包括：使用预训练模型对预设试题文本信息进行向量映射，得到词向量；基于词向量利用卷积神经网络从预设试题文本信息中获取试题文本特征表示；基于词向量利用深层卷积神经网络提取预设试题文本信息中的试题图片特征；采用协同注意力机制分别获取试题文本引导的试题图片特征和试题图片引导的试题文本特征；通过门控机制对上一步得的更新后的试题文本特征和图片特征进行融合表示，并输入全连接、Softmax层中预测试题知识点分类结果。该方法有效缓解了小样本试题知识点分类中的特征稀疏问题，从而提高试题知识点的分类性能。

技术领域

本发明涉及自然语言处理技术和图像处理技术领域，特别涉及一种基于多模态学习的试题知识点分类方法及系统。

背景技术

2018年，教育部发行了《教育信息化2.0行动计划》以推动教育的现代化建设，培养创新型人才。在《2020年教育信息化和网络安全工作要点》中，国家又提出启动“百区千校万课”引领行动，树立区域性标杆，以此推动各地智慧教育建设水平的提升。由此看出随着教育信息化的发展，智慧教育得到逐步推广。智慧教育作为一种全面、丰富、多元、综合的教育方式，既可以提高学生学习的趣味性；又可以调动学生学习的积极性、主动性；还可以突破传统教学模式中的时空限制。

试题知识点分类作为智慧教育领域中的一项基础性工作，其主要任务是预测试题所考察的知识点。试题知识点是对试题考察内容的概括，如物理学科的知识点包括电磁学、力学、电学等。通过试题知识点分类不仅可以智能辅助教学，而且对我国智慧教育的建设有重要的意义：(1)通过试题知识点分类并结合学生的学习记录可以了解学生对知识点的掌握情况，这不仅有利于学生查漏补缺以及客观地评价自己，而且有助于教师实现精准教学，同时还可以对学生的认知能力与水平进行建模；(2)通过对比不同老师的学生间错题知识点分布可以对老师进行教学评价，为教师的教学反思提供参考依据；(3)还可以为相似试题检测、智能组卷、试卷质量评估、个性化试题推荐等下游任务提供支撑。

试题是命题者按照一定的考核要求编写出来的题目。通过对初高中物理试题的分析可知以下两点：(1)试题由题面、答案、解析等构成；(2)试题中存在多源异构数据，如试题文本、图片等信息。

传统试题知识点分类方法分为手工标注方法和基于机器学习的方法。基于手工标注的方法不仅耗时耗力，而且需要具备高水平的专业知识，同时由于不同专家标注标准的不同，因此存在标注主观性强，一致性低等问题。传统的基于机器学习的方法主要采用向量空间模型(VSM)和支持向量机(SVM)。该方法虽然解决了标注一致性低的问题但仅关注试题文本的浅层特征。近年来，基于神经网络的方法也被应用于试题知识点分类中，如双向长短期记忆网络(Bi-LSTM)和卷积神经网络(CNN)。上述研究均利用试题文本信息进行分类，而忽略了试题图片与试题之间的深层语义关联，从而导致对试题的理解不充分。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于多模态学习的试题知识点分类方法，该方法有效缓解小样本试题知识点分类中的特征稀疏问题，进而提高试题知识点的分类性能。

本发明的另一个目的在于提出一种基于多模态学习的试题知识点分类系统。