[发明专利]一种基于外部注意力机制的知识追踪方法及系统

权利要求书

1.一种基于外部注意力机制的知识追踪方法，其特征在于，包括以下步骤：

获取训练用知识追踪数据集，该训练用知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果；

构建多头外部注意力机制网络，其包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；

将训练用知识追踪数据集的一个时间序列步骤的习题和习题的作答情况这二者的特征分别输入到编码器，编码器的每个子空间对特征进行矩阵投影，得到自查询向量Q；并初始化两个不同的外部可学习记忆M_k，M_v；根据外部注意力机制处理Q，M_k，M_v，输出子空间处理结果输出；编码器联合全部子空间处理结果，再进行线性变换，输出外部注意力空间编码值；

将外部注意力空间编码值输入到解码器，解码器的每个子空间对外部注意力空间编码值进行矩阵投影，得到自查询向量Q，并初始化两个不同的外部可学习记忆M_k，M_v；根据外部注意力机制处理，输出子空间处理结果；解码器联合全部子空间处理结果，再进行线性变换，输出学习者在当前题目上回答正确与否的预测结果；

利用损失函数计算预测结果相对于真实结果的损失，通过优化多头外部注意力机制网络的权重参数矩阵和偏差参数矩阵，直至损失不再下降，得到训练好的多头外部注意力机制网络；

获取待测知识追踪数据集，该待测知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果；

将准备好的知识追踪数据集输入训练好的多头外部注意力机制网络进行处理，编码器对当前时间序列步骤的一系列题目及作答情况进行处理，输出外部注意力空间编码值给解码器，解码器对外部注意力空间编码值进行处理，输出学习者在当前题目上回答正确与否的最终预测结果。

2.如权利要求1所述的基于外部注意力机制的知识追踪方法，其特征在于，编码器/解码器“根据外部注意力机制处理Q、M_k和M_v”，是指采用以下外部注意力函数进行处理：

其中，T表示矩阵转置，Norm()表示双重标准化，该公式具体为：

3.如权利要求2所述的基于外部注意力机制的知识追踪方法，其特征在于，M_k和M_v的实现如下：

M_k是由一个线性层实现，attn＝Linear_M_k(Q)；

其中，线性层的输入维度为输出维度为m＝64，并且

M_v也是由一个线性层实现，attn＝Linear_M_v(attn)；

其中，线性层的输入维度为m，输出维度为并且

4.如权利要求1所述的基于外部注意力机制的知识追踪方法，其特征在于，编码器/解码器“联合全部子空间处理结果，再进行线性变换”的公式如下：

MH(Q,M_k,M_v)＝[head₁；head₂；…；head_i；…；head_h]W^o；

其中,MH(Q,M_k,M_v)为联合及线性变换的输出结果，W^o∈R^d×d为可学习的参数，为网络的学习参数，d为线性变换维度，h为子空间数量，i为子空间序数，R为实数集。

5.如权利要求1所述的基于外部注意力机制的知识追踪方法，其特征在于，损失函数如下：

其中，L为交叉熵损失函数，η为网络参数，Y为当前预测题目上的正确回答与否的真实结果，为当前预测题目上的正确回答与否的预测结果，N为参与训练的时间序列步骤数量，M为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。

6.一种基于外部注意力机制的知识追踪系统，其特征在于：该系统用于实现权利要求1-5任一项所述的方法，包括一多头外部注意力机制网络模型，该多头外部注意力机制网络模型包括一编码器和一解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；其中，该编码器对当前时间序列步骤的习题和习题作答情况进行处理，输出外部注意力空间编码值给解码器；该解码器对外部注意力空间编码值进行处理，输出学习者在当前习题上回答正确与否的最终预测结果。