[发明专利]一种基于预训练模型的阅读理解去偏方法

权利要求书

1.一种基于预训练模型的阅读理解去偏方法，其特征在于：包含步骤如下：

以预训练模型BERT嵌入层为基础构建文本表示层，设定模型输入为文章-问题构成的句子对，将输入句子映射为句子向量；

对位置编码进行两次随机正则化操作，得到两个随机子模型并计算KL散度，评估其输出分布差异性，更新句子向量输入BERT编码器；

将BERT编码器最后一个隐层输出通过全连接层与分类器，以交叉熵损失与KL散度之和计算样本的预测损失，在模型训练过程中根据样本的预测损失优化预训练参数，去除阅读理解位置偏差。

2.根据权利要求1所述的基于预训练模型的阅读理解去偏方法，其特征在于：

对位置编码进行两次随机正则化操作，包括：

采用dropout技术对BERT初始化的位置编码按概率进行两次随机置0操作，获得两个被弱化位置信息的位置编码向量，并取它们的均值与其余编码相加得到更新的句子向量，用公式表示为：

；

其中，L表示为输入序列的最大长度；d表示为每个token向量表示的长度；表示更新后的句子向量；表示每个token对照词表组成的Token embedding；表示改进前的位置编码；表示区分问题与文章的Segment embedding；表示随机置零操作。

3.根据权利要求2所述的基于预训练模型的阅读理解去偏方法，其特征在于：

所述L为512，所述d为768。

4.根据权利要求1所述的基于预训练模型的阅读理解去偏方法，其特征在于：

所述KL散度计算公式为：

；

其中i表示第i组训练样本，表示KL散度的计算，和表示位置编码在dropout操作后两个不同的子模型产生的不同分布，由于 KL 散度本身具有不对称性，需要交换这两种分布的位置，最终得到平均处理过的KL散度。

5.根据权利要求1所述的基于预训练模型的阅读理解去偏方法，其特征在于：

所述的BERT编码器为Transformer编码器结构，包括堆叠的12层编码模块，每层编码模块的隐藏状态尺寸为768，并包括12个注意力头。

6.根据权利要求1所述的基于预训练模型的阅读理解去偏方法，其特征在于：

所述损失函数包括交叉熵与正则化位置编码的KL散度，交叉熵与正则化位置编码的KL散度的比例由可调超参数决定，交叉熵损失与总训练损失和的具体计算公式为：

；

；

其中，i表示第i组训练样本；N表示样本数量；表示答案在第i个样本中的真实起始位置； 表示答案在第i个样本中的真实结束位置；表示预测文本序列每个位置是答案起始位置的概率；是交叉熵与正则化位置编码的KL散度比例的可调超参数；表示交叉熵损失值，表示正则化位置编码的KL散度值，表示总训练损失和。

7.根据权利要求1所述的基于预训练模型的阅读理解去偏方法，其特征在于：

模型训练使用的数据集为抽取式阅读理解数据集SQuAD1.1及其依照答案所在文章段落的位置划分而成的子数据集，在达到最佳精确度时对应的KL散度与交叉熵之比为3，dropout随机置0概率为0.1。