[发明专利]一种针对数学问题分类的预训练模型方法

权利要求书

1.一种针对数学问题分类的预训练模型方法，其特征在于，包括如下步骤：

构建数学知识点关系的知识图谱，根据每个知识点之间的关系，对知识图谱中的每个知识点生成知识点向量；

分别根据训练集和验证集中的数学问题生成文本向量，将文本向量和知识点向量导入并构建文本预训练模型，包括语义掩码语言模型训练、相关问题预测模型训练和问题相关性排序训练；

将测试集导入预训练模型，对处理后的数学题目进行预测和输出结果。

2.如权利要求1所述的一种针对数学问题分类的预训练模型方法，其特征在于：对知识图谱中的每个知识点生成知识点向量，步骤包括：根据输入知识图谱内容，将知识点与知识之间的关系通过向量来表示，当关系成立时，通过平移距离模型将相同空间R^d中将关系转化为向量，得到向量关系句子公式为：

e_i + r≈e_j，其中，e_i为知识点头向量，e_j为知识点尾向量，r为关系向量。

3.如权利要求2所述的一种针对数学问题分类的预训练模型方法，其特征在于：平移距离模型为TransE、TransH、TransR或KG2E。

4.如权利要求2所述的一种针对数学问题分类的预训练模型方法，其特征在于：语义掩码语言模型训练包括：

获取测试集中数学问题内容，对于数学问题中的词汇进行分解；

根据替换规则，将内容中的词汇进行遮盖，并将处理好的向量关系句子带入到词汇被遮盖的位置，使用交叉熵损失函数对替换的词汇和预测填充词汇之间差异进行计算，得到第一损失值。

5.如权利要求4所述的一种针对数学问题分类的预训练模型方法，其特征在于：替换规则为：使用随机函数生成范围为0~1的随机值，如该随机值小于0.5，则对知识点进行全部遮盖，如该随机值大于或等于0.5，则使用如下策略：80%的内容对知识点进行全部遮盖，10%的内容使用词表中的词来替换该知识点，10%的内容用于语句通顺替换。

6.如权利要求5所述的一种针对数学问题分类的预训练模型方法，其特征在于：相关问题预测模型训练包括：

对测试集内所有问题根据内容设置标签进行分类；

对测试集内所有问题进行两两遍历组合，计算出每组问题之间的相似度值；

对每组中的问题均根据替换规则进行遮盖操作，完成遮盖操作后将两个问题首尾相连，并添加占位符来区分两个问题，形成的组合问题；

判断每组问题的标签是否存在相同，如不相同，则跳出；如相同，则获取两个问题的相似度和相同的标签带入交叉熵损失函数计算损失，得出第二损失值。

7.如权利要求6所述的一种针对数学问题分类的预训练模型方法，其特征在于：相似度的计算过程为：分别提取组合内两个问题的所有知识点，分别形成知识点集合，通过相似度函数对两者的知识点集合相似度进行计算，得到组合内两个问题之间的相似度。

8.如权利要求7所述的一种针对数学问题分类的预训练模型方法，其特征在于：问题相关性排序训练，步骤包括：

在测试集每个批处理操作中，选择n对问题每对记为q_i，q_j，并通过相似度函数函数计算它们的相似度值；

通过Transformer模型的输入集合为{q₁，q₂，v_（1,2），q₁，q₃，v_（1,3），...，q_i，q_j，v_（i，j）} ，其中v_（i，j）是相似度值，并看做每对问题的相似得分，根据得分进行排序，得到集合L；

使用归一化折损累计增益作为损失函数，对集合L进行损失计算，得到第三损失值。