[发明专利]问答阅读理解模型获取方法、装置、电子设备及存储介质

权利要求书

1.一种问答阅读理解模型获取方法，其特征在于，包括：

针对N个不同结构的模型，N为大于一的正整数，分别利用无监督训练数据进行预训练，得到N个预训练模型，不同模型分别对应于不同的预训练任务；

分别以问答阅读理解任务为主任务，以预定的其它自然语言处理任务为辅助任务，利用有监督训练数据对各预训练模型进行微调，得到N个微调模型；

根据所述N个微调模型确定出所述问答阅读理解模型。

2.根据权利要求1所述的方法，其特征在于，

所述分别利用无监督训练数据进行预训练包括：

针对任一模型，分别利用至少来自两个不同预定领域的无监督训练数据进行预训练。

3.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：

针对任一预训练模型，分别按照所述预训练模型对应的训练任务，利用来自至少一个预定领域的无监督训练数据，对所述预训练模型进行深度预训练，得到强化后的预训练模型；

其中，所述深度预训练时所用无监督训练数据与所述预训练时所用无监督训练数据来自不同领域。

4.根据权利要求1所述的方法，其特征在于，

所述进行微调包括：

针对任一预训练模型，在微调的每一步中，分别从所述主任务以及所述辅助任务中选出一个任务进行训练，并更新模型参数；

其中，所述主任务被选出的次数多于任一辅助任务被选出的次数。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述N个微调模型确定出所述问答阅读理解模型包括：

利用知识蒸馏技术，将所述N个微调模型压缩为一个单模型，将所述单模型作为所述问答阅读理解模型。

6.一种问答阅读理解模型获取装置，其特征在于，包括：第一预训练单元、微调单元以及融合单元；

所述第一预训练单元，用于针对N个不同结构的模型，N为大于一的正整数，分别利用无监督训练数据进行预训练，得到N个预训练模型，不同模型分别对应于不同的预训练任务；

所述微调单元，用于分别以问答阅读理解任务为主任务，以预定的其它自然语言处理任务为辅助任务，利用有监督训练数据对各预训练模型进行微调，得到N个微调模型；

所述融合单元，用于根据所述N个微调模型确定出所述问答阅读理解模型。

7.根据权利要求6所述的装置，其特征在于，

所述第一预训练单元针对任一模型，分别利用至少来自两个不同预定领域的无监督训练数据进行预训练。

8.根据权利要求6所述的装置，其特征在于，

所述装置中进一步包括：第二预训练单元；

所述第二预训练单元，用于针对任一预训练模型，分别按照所述预训练模型对应的训练任务，利用来自至少一个预定领域的无监督训练数据，对所述预训练模型进行深度预训练，得到强化后的预训练模型；其中，所述深度预训练时所用无监督训练数据与所述预训练时所用无监督训练数据来自不同领域。

9.根据权利要求6所述的装置，其特征在于，

针对任一预训练模型，所述微调单元在微调的每一步中，分别从所述主任务以及所述辅助任务中选出一个任务进行训练，并更新模型参数，其中，所述主任务被选出的次数多于任一辅助任务被选出的次数。

10.根据权利要求6所述的装置，其特征在于，

所述融合单元利用知识蒸馏技术，将所述N个微调模型压缩为一个单模型，将所述单模型作为所述问答阅读理解模型。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。