[发明专利]一种基于语义信息的相似题推荐系统及其使用方法

权利要求书

1.一种基于语义信息的相似题推荐系统，其特征在于，包括数据读取单元、类型分类单元、生成单元和计算单元；

数据读取单元，所述数据读取单元包括第一读取模块、数据预处理模块和限制模块，所述第一读取模块用于对试题库中的全部数据进行读取，所述数据处理模块用于对试题库中的全部数据进行整理，所述限制模块用于对试题的文本长度进行限制，并限制在512个字符内；

类型分类单元，所述类型分类单元包括类型识别模块和试题分类模块，所述类型识别模块用于对每道试题的所述知识点进行识别，所述试题分类模块用于对识别后的试题进行归类；

生成单元，所述生成单元包括生成模块和存储模块，所述生成模块用于对每道试题使用基于汉明距离的哈希函数生成具有局部敏感哈西性质的哈希值和句向量，所述存储模块用于将生成的哈希值进行保存；

计算单元，所述计算单元用于将所有相同知识点下哈希值相同的推荐题进行余弦相似度计算。

2.如权利要求1所述的一种基于语义信息的相似题推荐系统，其特征在于，所述数据读取单元还包括第二读取模块，所述第二读取模块用于读取待推荐试题的知识点和句向量，并读取该待推荐试题的哈希值。

3.一种基于语义信息的相似题推荐系统的使用方法，其特征在于，包括如下步骤：

S1、读取试题数据，使用第一读取模块从试题库中读取全部的试题数据，包含试题题干，答案，题目id，并使用数据处理模块将答案与试题题干拼接，同时使用限制模块将试题的文本长度限制在512个字符内；

S2、知识点划分，使用类型识别模块对每道试题的知识点进行识别，同时使用试题分类模块将相同知识点的试题汇总在一起，与知识点不同的试题划分开；

S3、生成哈希值，使用生成模块，为每道试题生成具有局部敏感哈西性质的哈希值；

S4、读取待推荐试题，读取待推荐试题的知识点和句向量，并读取该待推荐试题的哈希值；

S5、推荐题输出，取相同知识点下哈希值相同的所有句向量，作为计算余弦相似度的候选者，对哈希值相同的这些试题的句向量与待推荐试题的句向量计算余弦相似度，为了防止推荐的题目与待推荐题目过于相似或者基本一致，设定余弦相似度的阈值，只推荐低于该阈值的试题，在相似度低于该阈值的试题，取相似度排名最高的几道试题作为输出。

4.如权利要求1所述的一种基于语义信息的相似题推荐系统的使用方法，其特征在于，在S1中，包括如下步骤：

S1.1、从试题库中读取全部的试题数据，包含试题题干，答案，题目id；

S1.2、将答案与试题题干拼接；

S1.3、将试题的文本长度限制在512个字符内。

5.如权利要求1所述的一种基于语义信息的相似题推荐系统的使用方法，其特征在于，在S2中，包括如下步骤：

S2.1、使用类型识别模块对每道试题的知识点进行识别，进行记录；

S2.2、根据知识点识别的试题，将相同知识点的试题汇总在一起，与知识点不同的试题划分开。

6.如权利要求1所述的一种基于语义信息的相似题推荐系统的使用方法，其特征在于，在S3中，包括如下步骤：

S3.1、运用BERT为每道试题生成句向量；

S3.2、使用基于汉明距离的哈希函数生成为每道试题的句向量生成具有局部敏感哈西性质的哈希值。

7.如权利要求1所述的一种基于语义信息的相似题推荐系统的使用方法，其特征在于，在S4中，包括如下步骤：

S4.1、根据题目id，从计算完成的知识点和句向量中读取该题目所属的知识点和该题目的句向量；

S4.2、根据题目id，从计算完成的哈希值中读取该题目的哈希值。

8.如权利要求1所述的一种基于语义信息的相似题推荐系统的使用方法，其特征在于，在S4中，根据局部敏感哈希的性质，在高维空间中距离足够近的两个点在低维空间中才会由于哈希值相同产生哈希冲突，取哈希值相同的试题作为计算余弦相似度的待推荐试题，可以在确保相似题计算的精度的同时，最大限度地减少对于明显不够相似的题目的不必要的计算。

9.如权利要求1所述的一种基于语义信息的相似题推荐系统的使用方法，其特征在于，在S5中，在哈希值相同的向量中，对每个试题与待推荐试题计算余弦相似度，然后设定阈值，去除相似度过高的试题或相同试题。