[发明专利]知识点提取方法和装置

说明书

本申请提供一种知识点提取方法和装置。该方法包括：将待处理文本输入知识点分类模型，得到概率向量，所述概率向量包括所述待处理文本属于各个知识点的概率；根据所述待处理文本和各个知识点的知识点向量，获取相关度向量，所述相关度向量包括所述待处理文本和各个知识点的相关度；根据所述概率向量和所述相关度向量，获取各个知识点的相关性评分；根据各个知识点的相关性评分，确定所述待处理文本所属的知识点。可以解决现有技术中有的题目无法确定知识点的问题。

技术领域

本申请涉及数据处理领域，尤其涉及一种知识点提取方法和装置。

背景技术

目前，各种功能的应用程序(Application，简称APP)层出不穷。其中，教育类APP深受学生欢迎，教育类APP的功能非常丰富，比如，学生可以在教育类APP上查找到薄弱知识点的所有题目，通过做这些题目巩固和强化薄弱知识点。这就需要在APP开发过程中，提取每个题目的知识点，并将知识点作为标签打在该题目上，方便用户查找。

现有技术中，通过如下方式提取每个题目的知识点：将待处理题目和题库中的所有题目进行相似度匹配，将匹配到的题目的知识点作为待处理题目的知识点，题库中所有题目的知识点通过人工获取。

然而，题库中可能并没有相似度达到要求的题目，这样无法确定待处理题目的知识点。

发明内容

本申请提供一种知识点提取方法和装置，用于解决现有技术中有的题目无法确定知识点的问题。

第一方面，本申请提供一种知识点提取方法，包括：将待处理文本输入知识点分类模型，得到概率向量，所述概率向量包括所述待处理文本属于各个知识点的概率；根据所述待处理文本和各个知识点的知识点向量，获取相关度向量，所述相关度向量包括所述待处理文本和各个知识点的相关度；根据所述概率向量和所述相关度向量，获取各个知识点的相关性评分；根据各个知识点的相关性评分，确定所述待处理文本所属的知识点。

可选的，所述将待处理文本输入知识点分类模型之前，所述方法还包括：构建训练集数据，所述训练集数据包括多个训练样本，每个训练样本包括：题目、所述题目的特征词表以及所述题目的知识点；构建初始知识点分类模型；使用所述训练集数据对所述初始知识点分类模型进行训练，得到所述知识点分类模型。

可选的，所述构建训练集数据包括：构建学科词表；针对题库中每个题目，使用所述学科词表和所述题目进行匹配，得到所述题目的特征词表，所述题库中每个题目、所述题目的特征词表以及所述题目的知识点构成一个训练样本。

可选的，所述构建学科词表，包括：对题目文本进行分词处理，得到第一候选词表，所述题目文本由所述题库中的所有题目构成；计算所述第一候选词表中每个词的词频-逆文本频率指数TF-IDF；根据所述第一候选词表中每个词的TF-IDF，获取所述学科词表。

可选的，所述根据所述待处理文本和各个知识点的知识点向量，获取相关度向量之前，还包括：针对每个知识点，从所述题库获取和所述知识点相关的所有题目；提取所有题目中每个题目的特征向量；根据每个题目的特征向量，确定所述知识点的知识点向量。

可选的，所述根据每个题目的特征向量，确定所述知识点的知识点向量，包括：采用如下公式确定所述知识点的知识点向量：

其中，V_ci为所述知识点的知识点向量，V_Qij表示所述知识点第j个题目的特征向量，n_ci表示所述知识点相关的所有题目的数量。

可选的，所述根据所述待处理文本和各个知识点的知识点向量，获取相关度向量，包括：提取所述待处理文本的特征向量；针对每个知识点，根据所述待处理文本的特征向量和所述知识点的知识点向量，确定所述待处理文本和所述知识点的相关度，所述待处理文本和各个知识点的相关度构成所述相关度向量。