[发明专利]基于图神经网络的深度知识追踪预训练方法

说明书

一种基于图神经网络知识追踪预训练方法，提升已有的深度知识追踪方法的准确度，涉及智能教育方法探索领域。通过构建问题和知识点关系的二分图，并提取出问题和知识点的对应关系、问题相似性和知识点相似性，部署图神经网络来获取低维向量表征，同时考虑问题的多种特征，例如问题难度，使用乘法神经网络来学习多领域特征的交互，最终得到问题低维表征。该表征融合了丰富的问题和知识点关系，以及问题的难度等特征，可以作为已有的深度知识追踪方法的输入。本发明知识追踪预训练方法可以与任意的深度知识追踪方法结合使用，实践证明，本发明可以大大提高目前已有深度知识追踪方法的准确度，同时获得更加具有解释性的问题低维表征。

技术领域

本发明涉及智能教育领域中的知识追踪任务，尤其是一种基于图神经网络的知识追踪预训练方法。

背景技术

知识追踪，是指利用学生的历史学习数据以及学习内容的特征，建立评估函数，来预测学生之后答对每个问题的平均概率。通常来讲，现在的智能教育系统会记录很多学生的学习数据，学生会通过做题以及看网课等形式来学习某个知识点。针对每个知识点，智能教育系统会设计很多道对应的题目，来帮助学生掌握知识点。知识追踪就是利用已有的学生历史答题序列，来跟踪学生对教学内容的学习规律，进一步预测学生对相关问题的平均答对概率。知识追踪可以帮助老师了解教学内容的特点以及学生学习规律，进而设计更加合理的教学安排。

(一)分析近期关于知识追踪的专利技术：

1、申请号为201911250785.7的中国发明专利申请《基于图卷积的知识追踪数据处理方法、系统和存储介质》提出了一种使用卷积神经网络对学生学习序列建模的方法，该方法针只针对知识点，忽视了每个知识点下问题的差异性，也忽视了问题与知识点的关系；

2、申请号为201911115390.6的中国发明专利申请《基于层次记忆网络的知识追踪系统及方法》，基于层次记忆网络的知识追踪系统，模拟人类长期记忆和短期记忆的模式，建立深度网络，对输入的知识信息进行分类衰减存储。同样的，该方法忽视了知识点包含的不同问题的差异性，也忽视了问题和知识点的关系。

(二)分析近期基于深度学习的知识追踪方法的研究：

Piech等在Advances In Neural Information Processing Systems(神经信息处理系统会议)会议(2015年第28届第505-513页)上发表的Deep Knowledge Tracing.《深度知识追踪》，该文中首次使用深度神经网络解决知识追踪任务，使用循环神经网络对来捕捉学生历史答题序列的序列依赖关系。其不足在于：该方法只分析了知识点的学习规律。忽视了同一个知识点下不同问题的差异性，以及不适用于知识点数目大，但学生与知识点的交互很稀疏的场景。

Zhang Jiani等在Proceeding of International Conference on World WideWeb(万维网国际会议)会议(2017年第26届)上发表的Dynamic key-value memory networkfor knowledge tracing.《动态键值存储网络用于知识跟踪》，该文使用不同的记忆槽记录不同知识点的掌握状态，并基于注意力机制自动学习问题和知识点的关系。其不足在于问题和知识点的关系是容易从真是场景中获取的，基于注意力机制学习该关系会有一定的偏差。同时，该方法忽视了知识点的相似性和问题的相似性。

对国内外相关专利分析以及相关研究可得出以下结论：目前深度知识追踪方法都直接关注知识点的学习规律。但实际上，每个知识点又包含了不同的问题，对知识点直接建模会忽视这些问题的独特信息，损害方法的准确度。同时由于问题数目往往远大与知识点的数目，且问题的交互更加稀疏(通常一个学生不会多次重复做同一个问题，但会多次学习同一个知识点)。这使得目前的深度知识追踪方法难以直接应用到问题层面的预测。