[发明专利]文本可读性评估方法、装置、设备及存储介质

权利要求书

1.一种文本可读性评估方法，其特征在于，包括：

获取阅读资料的文本数据；

根据所述文本数据对通用领域的roberta模型进行预训练，得到预训练权重；

从所述文本数据中选取部分数据进行标注打分，以构建标注数据集；

搭建初始Roberta阅读难度打分模型，加载所述通用领域的roberta模型进行预训练后的所述预训练权重作为初始权重；

采用所述标注数据集对所述初始Roberta阅读难度打分模型进行训练，得到训练好的Roberta阅读难度打分模型；

将待判断阅读难度的文本数据输入训练好的所述Roberta阅读难度打分模型中进行预测打分评估。

2.根据权利要求1所述的文本可读性评估方法，其特征在于，所述根据所述文本数据对通用领域的roberta模型进行预训练，得到预训练权重，包括：

加载通用领域的roberta预训练模型；

采用继续预训练框架语言模型在所述文本数据上预训练3个Epoch，得到预训练权重并进行保存。

3.根据权利要求1所述的文本可读性评估方法，其特征在于，所述标注数据集包括标注得分在0分至1分之间的第一档数据集、标注得分在1分至2分之间的第二档数据集、标注得分在2分至3分之间的第三档数据集、标注得分在3分至4分之间的第四档数据集以及标注得分在4分至5分之间的第五档数据集，其中，所述标注得分由评估者进行评估打分得出。

4.根据权利要求2所述的文本可读性评估方法，其特征在于，所述Roberta阅读难度打分模型，采用以下方式搭建而成：

构建Roberta-Base模型，加载所述通用领域的roberta模型进行预训练后的所述预训练权重，在每一层增加两个全连接层和多个并行的dropout层；

将每层预训练的输出数据输入到第一个所述全连接层中，将第一个所述全连接层的输出数据分别输入到多个所述dropout层中；

将多个所述dropout的输出数据进行求和，输入到第二个所述全连接层中，其中，第二个所述全连接层为分类全连接层。

5.根据权利要求4所述的文本可读性评估方法，其特征在于，所述对所述初始Roberta阅读难度打分模型进行训练，包括：

在训练过程中对不同的预训练层设置不同的学习率，加入FGM对抗训练对Embedding层的进行随扰动以增大模型鲁棒性，采用动态padding的方法减少模型运算量。

6.根据权利要求5所述的文本可读性评估方法，其特征在于，在对所述初始Roberta阅读难度打分模型进行训练的过程中，每一层的损失函数为第一损失函数与第二损失函数之和，其中：

第一损失函数为CrossEntropy损失函数：

其中，x是输入的所述标注数据集，class是需要计算的类别，y是整体的各个类别；

第二损失函数为基于对比学习的NtxLoss损失函数：

其中，i表示所述标注数据集的正样本，j表示所述标注数据集的负样本，l_i,j表示所述标注数据集的对比损失，z_i为数据i的向量表示，z_j为数据j的向量表示，sim()表示计算所述标注数据集的正样本和负样本的相似度。

7.根据权利要求6所述的文本可读性评估方法，其特征在于，在进行预测打分评估的过程中，将所有注意力层的输出分类概率相加并求平均值，得到最终的输出概率，其中概率最大的作为输出打分数值。