[发明专利]一种基于强化学习的间隔重复调度方法

权利要求书

1.一种基于强化学习的间隔重复调度方法，其特征在于，包括如下步骤：

步骤1、定义学生状态的观测空间，即调度策略在第k次学习时，所需要接受的输入o_k；

步骤2、定义学生进行学习的时间范围[0,T]及所述调度策略的动作空间其中c_i(1≤i≤n)代表了一个学习内容，n表示学生需要学习的学习内容的数目；

步骤3、学生选择某一时间点t_k开始学习，其中k表示第k次学习，通过时间长短期记忆网络将学生学习历史记录o_≤k映射到代表所述学生对于学习内容掌握情况的表征空间中的值s_k，然后当前所述调度策略再根据s_k为所述学生选择需要学习内容a_k，其中

步骤4、所述学生对当前所述调度策略选择的内容a_k进行学习，并反馈学习结果f_k∈{0,1}；

步骤5、先将所述学生的历史观测o_≤k映射到表征空间然后学生模型中的记忆估测模块M_η根据s_k判断所述学生是否掌握了学习内容，即输出进而定义相应的奖励(设)，其中指的是所有维度的平均值；

步骤6、重复步骤3-5直到k到达某一预先设定好的值K或t_k超过T；将收集到的数据序列{t_i,o_i,a_i,r_i,f_i}_1≤i≤K记作τ；基于τ，一方面利用强化学习算法来对所述调度策略进行优化，另一方面，将τ存储进重放池；

步骤7、从所述重放池中采样出序列来对所述学生模型中的记忆估测模块M_η和时间预测模块G_ξ进行优化；

步骤8、如所述步骤3-5，唯一的不同只是将其中的学生替换成所述学生模型；所述学生模型中的记忆估测模块M_η和时间预测模块G_ξ分别代替所述学生的记忆模型和时间行为模型来执行相关职能，即决定反馈f_k和学习时间t_k；

步骤9、基于步骤8中由所述学生模型和所述调度策略交互得到的数据，根据强化学习算法来优化当前的所述调度策略。

2.如权利要求1所述的方法，其特征在于，所述步骤1中，o_k包括所述学生对于各个内容的学习次数、对于各个学习内容回答正确的次数、对于各个学习内容回答错误的次数、对于各个学习内容上一次学习时间至今的时间间隔、上一次学习至今的时间间隔。

3.如权利要求1所述的方法，其特征在于，所述步骤4中，所述学生包括记忆模型、时间行为模型，其中所述记忆模型用于确定所述学生是否掌握学习内容，所述时间行为模型用于确定所述学生会在什么时间点进行学习。

4.如权利要求3所述的方法，其特征在于，所述步骤4中，学习结果由所述学生的记忆模型决定，当所述记忆模型输出值大于某阈值时，f_k＝1，否则f_k＝0。

5.如权利要求4所述的方法，其特征在于，所述步骤5中，所述学生模型中的记忆估测模块M_η的输出的维度和的大小一致。

6.如权利要求5所述的方法，其特征在于，所述步骤5中，中每一个维度对应于记忆估测模块M_η对学生对于相应的学习内容的记忆程度的估测，是一个属于[0，1]之间的实数。

7.如权利要求6所述的方法，其特征在于，所述步骤6中，所述强化学习算法为演员-评论家算法，所述调度策略为演员-评论家算法中的演员模块。