[发明专利]基于短文本的OJ题目分类器构建方法及题目模拟方法

说明书

本发明公开了一种基于短文本的OJ题目分类器构建方法及题目模拟方法，该构建方法先获取OJ竞赛的现场提交数据，再从各OJ资源平台中获取竞赛题目对应的海量题解报告，对题解报告进行分词和空间向量提取后，将获得的空间向量集划分为训练集和测试集，通过训练集对预设的弱学习算法的参数进行训练优化，并根据训练后得到的最优参数和预设的弱学习算法，构建OJ题目分类器，最后利用测试集检验OJ题目分类器的分类效果。采用本发明技术方案不依赖知识库和专家库的情况下实现了ACM算法分类，不用时刻维护和重复进行多次实验以更新输出结果。

技术领域

本发明涉及计算机数据处理技术领域，尤其涉及一种基于短文本的OJ题目 分类器构建方法及题目模拟方法。

背景技术

ACM/ICPC国际大学生程序设计竞赛为信息企业和世界顶级计算机人才提供 了一个绝佳的对话平台，因此在ACM/ICPC竞赛中脱颖而出的选手正是IT企业 渴望的精英人才。对此，越来越多的人重视ACM/ICPC竞赛，因此出现一个为培 训ACM/ICPC竞赛参赛人员而开发的程序在线测评系统，简称OJ。而现在的多数 OJ系统里的题目难度系数是靠做题人的主观经验手动完成的，题目的分类方法 也是依靠人工总结得来的。目前存在解决方法：通过构建程序设计专家库进行 知识库识别和分类，或者通过构建知识层次森林进行知识点识别和分类。

现有的分类方法不仅过度依赖所构建的识别体系，而且过度依赖知识库的 更新和维护。当所构建的识别体系出现问题，或者OJ系统题库更新时，或者网 上出现新的解题报告时，需要人工去更新数据库和知识库，更新时需要进行多 次实验，无法做到实时同步更新，存在一定的滞后性。除此之外，现有技术并 不能有效的进行智能题目筛选和试题模拟，大多数模拟试题都是出题者根据经 验在众多题目中筛选预测，缺乏客观性，模拟测评效果不好。

发明内容

本发明实施例提出一种基于短文本的OJ题目分类器构建方法及题目模拟方 法，在不依赖知识库和专家库的情况下实现了ACM算法分类，不用时刻维护和 重复进行多次实验以更新输出结果。

本发明实施例提供一种基于短文本的OJ题目分类器构建方法，包括：

获取OJ竞赛的现场提交数据；其中，所述现场提交数据包含若干个竞赛题 目信息；所述竞赛题目信息包括：编号信息和题目名称；

根据所述竞赛题目信息，分别获取每个竞赛题目在各个OJ资源平台中一一 对应的题解报告；其中，每个题解报告对应标记有预设的ACM算法类别；

对所有获取的题解报告进行分词处理，并对分词后的题解报告进行空间向 量提取，获得若干个空间向量集；其中，一个题解报告对应一个空间向量集；

将所有空间向量集随机划分为训练集和测试集，并利用所述训练集对预设 的多个弱学习算法的初始参数进行优化处理，获得所述多个弱学习算法的最优 参数；

根据所述多个弱学习算法及所述最优参数，构建OJ题目分类器，并利用所 述测试集测试所述OJ题目分类器的分类效果。

进一步的，所述根据所述竞赛题目信息，分别获取每个竞赛题目在各个OJ 资源平台中一一对应的题解报告，具体为：

根据所述竞赛题目信息，查询每个竞赛题目在各个OJ资源平台中包含题解 报告的网页；

分析各网页上题解报告的分布情况，结合缺失数据替换补全技术，筛选出 每个竞赛题目在各个OJ资源平台中一一对应的题解报告。

进一步的，所述对所有获取的题解报告进行分词处理，并对分词后的题解 报告进行空间向量提取，获得若干个空间向量集，具体为：

根据预设的停用词列表和关键词列表，通过jieba分词工具对所述获取的 题解报告进行分词，每个题解报告对应获得一个分词文本；