[发明专利]一种针对数学问题分类的预训练模型方法

说明书

本发明公开了一种针对数学问题分类的预训练模型方法，包括如下步骤：构建数学知识点关系的知识图谱，根据每个知识点之间的关系，对知识图谱中的每个知识点生成知识点向量；分别根据训练集和验证集中的数学问题生成文本向量，将文本向量和知识点向量导入并构建文本预训练模型，包括语义掩码语言模型训练、相关问题预测模型训练和问题相关性排序训练；将测试集导入预训练模型，对处理后的数学题目进行预测和输出结果。本发明集成了知识图谱，并提出了新颖的掩蔽和预测策略来增强知识点表示，使预测效果更加准确；模型使用知识嵌入算法编码知识图谱的图结构，并将多信息嵌入作为模型的输入，大大提高了预训练的准确度。

技术领域

本发明涉及一种数学问题预测技术，尤其涉及一种针对数学问题分类的预训练模型方法。

背景技术

如何教授数学中的概念性和过程性知识是教学的热点。程序性知识是“仅涉及记忆操作而不了解基本含义的学习”；概念知识是“对管辖领域的原理以及领域中知识之间的相互关系的明确或隐含的理解”。根据数学知识，我们可以设计基于过程知识或基于概念知识的问题。因此，在教与学方面，知识点具有许多优势，例如开发自动生成测试系统，测量学生的学习能力或影响基于实践的数学知识教学理论（MKT）。

预测合适的知识指向问题并非易事，这主要有三个挑战：（1）短上下文分类：对于给定的数学问题，上下文的长度通常比原始文本分类任务短，如何在如此短的文本中学习，尤其是在预培训过程中，是一个重要的问题；（2）数学知识点编码：在语言模型问题分类任务中，应提取数学知识图中的知识点和关系并进行编码；（3）异构信息学习：数学问题既包含正常内容又包含数学关键词，导致两个单独的向量空间。在一个问题中将数学的词汇、句法和关键词与正常上下文区分开，并且在预训练和微调过程中将这两个不同的内容融合在一起是非常困难的。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种针对数学问题分类的预训练模型方法，其能解决预测效果不准确的问题。

本发明的目的之一采用以下技术方案实现：

一种针对数学问题分类的预训练模型方法，包括如下步骤：

构建数学知识点关系的知识图谱，根据每个知识点之间的关系，对知识图谱中的每个知识点生成知识点向量；

分别根据训练集和验证集中的数学问题生成文本向量，将文本向量和知识点向量导入并构建文本预训练模型，包括语义掩码语言模型训练、相关问题预测模型训练和问题相关性排序训练；

将测试集导入预训练模型，对处理后的数学题目进行预测和输出结果。

进一步地，对知识图谱中的每个知识点生成知识点向量，步骤包括：根据输入知识图谱内容，将知识点与知识之间的关系通过向量来表示，当关系成立时，通过平移距离模型将相同空间R^d中将关系转化为向量，得到向量关系句子公式为：

e_i + r≈e_j，其中，e_i为知识点头向量，e_j为知识点尾向量，r为关系向量。

进一步地，平移距离模型为TransE、TransH、TransR或KG2E。

进一步地，语义掩码语言模型训练包括：

获取测试集中数学问题内容，对于数学问题中的词汇进行分解；

根据替换规则，将内容中的词汇进行遮盖，并将处理好的向量关系句子带入到词汇被遮盖的位置，使用交叉熵损失函数对替换的词汇和预测填充词汇之间差异进行计算，得到第一损失值。