[发明专利]一种机器阅读理解模型的训练方法、装置及介质

说明书

本发明公开了一种机器阅读理解模型的训练方法、装置及介质，该方法包括：获取经过训练的第一机器阅读理解模型以及预设的层次映射关系；基于第一机器阅读理解模型以及层次映射关系，构建第二机器阅读理解模型；获取训练集和目标损失函数，通过训练集、目标损失函数以及第一机器阅读理解模型对第二机器阅读理解模型训练，以得到经过训练的第二机器阅读理解模型，作为目标机器阅读理解模型。本申请对于有对应关系的每一层均采用损失函数计算误差，然后以加权和方式计算总损失值，基于总损失值调整第二机器阅读理解模型的参数，从而得到目标机器阅读理解模型，这样，使得模型占用的显存极大降低，推理时间极大减少，从而降低成本。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种机器阅读理解模型的训练方法、装置及介质。

背景技术

深度学习在图像识别、语音识别等领域取得丰硕成果，机器阅读理解(MachineReading Comprehension，MRC)成为了人工智能研究与应用领域的新热点，其主要功能是阅读和理解给定的文章或上下文，自动给出相关的问题的答案。随着机器阅读理解技术的发展，阅读理解的任务也在不断升级，从早期的“完形填空形式”，发展到基于维基百科的“单文档阅读理解”，并进一步升级至基于web(网页)数据的“多文档阅读理解”。

目前，针对上述类型的机器阅读理解的训练方法采用基于BERT(BidirectionalEncoder Representations from Transformers)的模型，在机器阅读理解任务中，取得了优秀成绩。然而目前的BERT模型具有网络层次过深，参数量过于庞大，在落地应用时，存在占用资源过于庞大，推理时间太长，部署成本过于高昂等问题。

因此，现有技术有待于改进和发展。

发明内容

基于此，针对现有技术中机器阅读理解模型训练占用资源过于庞大，推理时间太长，部署成本过于高昂的技术问题，本发明提供了一种机器阅读理解模型的训练方法、装置及介质。

为了达到上述目的，本发明采取了以下技术方案：

一种机器阅读理解模型的训练方法，所述机器阅读理解模型的训练方法包括以下步骤：

获取经过训练的第一机器阅读理解模型以及预设的层次映射关系；

基于所述第一机器阅读理解模型以及所述层次映射关系，构建第二机器阅读理解模型；其中，所述第二机器阅读理解模型的层数小于所述第一机器阅读理解模型的层数；

获取训练集和目标损失函数，通过所述训练集、目标损失函数以及所述第一机器阅读理解模型对所述第二机器阅读理解模型训练，以得到经过训练的第二机器阅读理解模型，并将经过训练的第二机器阅读理解模型作为目标机器阅读理解模型。

可选地，所述经过训练的第一机器阅读理解模型的训练步骤具体包括：

获取第一训练集，并构建语言模型；其中，所述第一训练集包括若干训练文本语料以及各训练文本语料对应的问题；

将所述第一训练集输入所述语言模型中，得到所述语言模型输出的所述第一训练集中各问题对应的答案；

以交叉熵损失函数为目标，调整所述语言模型的参数，以使所述语言模型输出的所述第一训练集中各问题对应的答案与标准答案的交叉熵损失值不再变化时停止训练；

所述第一训练集中各问题对应的答案与标准答案的交叉熵损失值不再变化时所对应的语言模型作为第一机器阅读理解模型。

可选地，所述第一机器阅读理解模型的层级结构包括输入层、级联的若干个交互层以及输出层，所述第二机器阅读理解模型的层级结构包括输入层、级联的若干个交互层以及输出层，其中，所述第二机器阅读理解模型的交互层个数小于所述第一机器阅读理解模型的交互层个数。

可选地，所述预设的层次映射关系的函数公式为：