[发明专利]一种数学文本的语义分类方法

说明书

本发明提供了一种数学文本的语义分类方法。首先根据高等数学教材的层级结构，从中提取出数学文本数据集，然后利用BERT预训练模型得到数据集的词嵌入表达，分别对具有线性序列特征的自然语言文本词向量和具有树形结构特征的数学语言文本词向量采用平均聚合方法和Tree‑LSTM聚合方法，再对两个聚合向量进行拼接处理，最后将拼接向量送入多层前馈神经网络，采用Hierachical Softmax回归模型输出分类结果。本发明的方法可以大大提高数学文本的分类精度。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种数学文本的语义分类方法。

背景技术

数学文本是指包含数学表达式的自然语言文本，具有多义性和多态性的特征，广泛出现于STEM学科和高等教育中。数学文本的语义分类对数学信息检索，知识诊断以及教育知识推荐有着至关重要的作用。

目前，基于深度学习的文本分类方法可以取得不错的效果，例如基于CNN，RNN，Transformer以及BERT的文本分类方法，但它们只针对具有一种结构特征的自然语言文本。而数学文本属于混合文本，将数学语言和自然语言按统一的方式进行处理，不加区分，导致分类精度不高。

发明内容

针对数学文本具有线性序列和树形结构的混合特征，以及传统方法忽略了数学语言与自然语言结构特征不同的不足之处。本发明提出了一种数学文本的语义分类方法，分别对具有线性特征的自然语言和树形结构特征的数学语言采用不同的方法进行词嵌入向量聚合操作，以提高这种混合文本的分类精度。

为了达到上述目的，本发明提供了一种数学文本的语义分类方法，包括：

S1：对获取的数学资源进行标注，得到数学文本数据集，并划分出训练数据集；

S2：通过BERT预训练模型得到数学文本数据集中的数学文本的词嵌入向量，其中，数学文本的词嵌入向量包括具有线性结构特征的自然语言文本词嵌入向量以及具有树形结构特征的数学表达式的词嵌入向量；

S3：构建数学文本的语义分类模型，语义分类模型包括聚合模块、拼接模块、多层前馈神经网络和分层Softmax回归模型，其中，聚合模块用于对自然语言文本词嵌入向量采用直接平均聚合的方法得到文本聚合向量、对数学表达式的词嵌入向量采用树型长短期记忆网络的方法进行聚合得到数学表达式聚合向量，拼接模块用于对文本聚合向量和数学表达式聚合向量进行拼接，得到数学文本的嵌入矢量，多层前馈神经网络和分层Softmax回归模型用于根据数学文本的嵌入矢量进行语义分类；

S4：利用训练数据集对数学文本的语义分类模型进行训练，得到训练好的语义分类模型；

S5：利用训练好的语义分类模型进行数学文本的语义分类。

在一种实施方式中，步骤S1包括：

选取高等数学教材及其习题解析，历年研究生入学考试数学试题及其解析作为数学资源，并采用人工标注的方式进行标注，数学资源为Z，抽取n个知识属性作为标签，得到标签集合L＝{l₁,…,l_n}，l₁,…,l_n分别表示第1个和第n个标签。

在一种实施方式中，在对获取的数学资源进行标注之后，所述方法还包括：对标注好的数学资源进行预处理，具体包括：

定义数学资源中第i个数学表达式为M_i，去除字符串长度小于阈值的数学表达式；