[发明专利]基于答案采样的机器阅读理解模型训练方法及装置

权利要求书

1.一种基于答案采样的机器阅读理解模型训练方法，其特征在于，包括：

选取预设数目的样本，作为训练集；

将所述训练集中的样本数据输入机器阅读理解模型中，得到所述机器阅读理解模型输出的训练集中各问题对应的答案，其中，包括答案的开始和结束位置、以及位于所述开始和结束位置的概率；

以最小化极大似然估计损失函数为目标，调整所述机器阅读理解模型的参数，得到基础机器阅读理解模型；

将所述训练集中的样本数据输入所述基础机器阅读理解模型中，得到所述基础机器阅读理解模型输出的训练集中各问题对应的答案；

以最小化最小风险训练损失函数为目标，调整所述基础机器阅读理解模型的参数；

其中，所述最小风险训练损失函数R(θ)的计算公式为：

其中，x⁽ⁿ⁾为所述训练集中的问题，y为所述机器阅读理解模型输出的答案，P(y|x⁽ⁿ⁾；θ)为当模型参数为θ时、所述机器阅读理解模型输出的答案概率值，Y(x⁽ⁿ⁾)为对应x⁽ⁿ⁾的所述机器阅读理解模型所有可能输出答案的集合，S(x⁽ⁿ⁾)为通过k-top方式从Y(x⁽ⁿ⁾)进行动态的采样得到的答案的集合，β为控制概率分布的超参数，Δ(y,y⁽ⁿ⁾)为所述机器阅读理解模型输出的答案与标准答案y⁽ⁿ⁾之间的差异程度；

所述极大似然估计损失函数L(θ)的计算公式为：

其中，θ为所述机器阅读理解模型需要训练的所有参数，N为每次训练的样本数目，表示第i个例子中真实的开始位置索引，表示第i个例子中真实的结束位置索引，表示第位置是开始位置的预测概率值，表示第位置是结束位置的预测概率值。

2.根据权利要求1所述的方法，其特征在于，所述S(x⁽ⁿ⁾)为从Y(x⁽ⁿ⁾)选取各问题对应答案的概率值处于前16位的答案构成的集合。

3.根据权利要求1所述的方法，其特征在于，所述Δ(y,y⁽ⁿ⁾)的计算公式为：

Δ(y,y⁽ⁿ⁾)＝1-rouge(y,y⁽ⁿ⁾)，其中，rouge的计算公式为：

X和Y为标准答案和模型输出答案的文本序列，m为标准答案的长度，n为模型输出答案的长度，γ为超参数，LCS为最长公共子序列。

4.根据权利要求1所述的方法，其特征在于，以最小化最小风险训练损失函数为目标，调整所述基础机器阅读理解模型的参数之后，所述方法还包括：

当对所述基础机器阅读理解模型的参数完成预设次数的调整后，则利用预设评价函数和选取的验证样本，对训练后的基础机器阅读理解模型输出答案的准确性进行评价；

判断经过预设次数的评价后，得到的评价指标是否有提升；

如果没有提升，则停止对所述机器阅读理解模型的训练，得到最终的机器阅读理解模型。

5.根据权利要求4所述的方法，其特征在于，所述预设评价函数包括ROUGE评价或BLEU评价。