[发明专利]文本可读性评估方法、装置、设备及存储介质

说明书

本发明公开了一种文本可读性评估方法、文本可读性评估装置及计算机可读存储介质，包括获取阅读资料的文本数据；根据所述文本数据对通用领域的roberta模型进行预训练，得到预训练权重；从所述文本数据中选取部分数据进行标注打分，以构建标注数据集；搭建初始Roberta阅读难度打分模型，加载所述通用领域的roberta模型进行预训练后的所述预训练权重作为初始权重；对所述初始Roberta阅读难度打分模型进行训练，得到训练好的Roberta阅读难度打分模型；将待判断阅读难度的文本数据输入训练好的所述Roberta阅读难度打分模型中进行预测打分评估。能够帮助管理员、学生、扫盲课程开发人员以及选择课文的教师等人员快速准确地评估文章的阅读困难度。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本可读性评估方法、文本可读性评估装置及计算机可读存储介质。

背景技术

目前，大多数教育文本都采用传统的可读性评估或者商业计算公式的方法来和读者匹配。然而这里存在很多问题，可读性评估方法的主观性太大并不准确，而商业公式计算方法则获得的成本过于昂贵，例如Flesch-Kincaid Grade Level等可读性评估工具，采用了评估文本中的字符和音节信息以及句法的复杂信息等来进行难度评估，并于对应年龄的读者相匹配。这些方法缺少结构化和理论化的有效性证明。此外商业评估的方法例如Lexile等，需要高昂的价格进行购买。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种文本可读性评估方法、文本可读性评估装置及计算机可读存储介质，能够帮助管理员、学生、扫盲课程开发人员以及选择课文的教师等人员快速准确地评估文章的阅读困难度。

第一方面，本发明实施例提供一种文本可读性评估方法，包括：

获取阅读资料的文本数据；

根据所述文本数据对通用领域的roberta模型进行预训练，得到预训练权重；

从所述文本数据中选取部分数据进行标注打分，以构建标注数据集；

搭建初始Roberta阅读难度打分模型，加载所述通用领域的roberta模型进行预训练后的所述预训练权重作为初始权重；

采用所述标注数据集对所述初始Roberta阅读难度打分模型进行训练，得到训练好的Roberta阅读难度打分模型；

将待判断阅读难度的文本数据输入训练好的所述Roberta阅读难度打分模型中进行预测打分评估。

在上述的文本可读性评估方法中，所述根据所述文本数据对通用领域的roberta模型进行预训练，得到预训练权重，包括：

加载通用领域的roberta预训练模型；

采用继续预训练框架语言模型在所述文本数据上预训练3个Epoch，得到预训练权重并进行保存。

在上述的文本可读性评估方法中，所述标注数据集包括标注得分在0分至1分之间的第一档数据集、标注得分在1分至2分之间的第二档数据集、标注得分在2分至3分之间的第三档数据集、标注得分在3分至4分之间的第四档数据集以及标注得分在4分至5分之间的第五档数据集，其中，所述标注得分由评估者进行评估打分得出。

在上述的文本可读性评估方法中，所述Roberta阅读难度打分模型，采用以下方式搭建而成：

构建Roberta-Base模型，加载所述通用领域的roberta模型进行预训练后的所述预训练权重，在每一层增加两个全连接层和多个并行的dropout层；

将每层预训练的输出数据输入到第一个所述全连接层中，将第一个所述全连接层的输出数据分别输入到多个所述dropout层中；