[发明专利]预训练模型获取方法、装置、电子设备及存储介质

说明书

本公开提供了预训练模型获取方法、装置、电子设备及存储介质，涉及自然语言处理及深度学习等人工智能领域，其中的方法可包括：在利用训练语句对预训练模型进行训练的过程中，针对其中的自注意力模块，定义句法信息对应的学习目标；根据所定义的学习目标进行预训练模型的训练。应用本公开所述方案，可提升预训练模型的性能，并可减少对于计算资源的消耗等。

技术领域

本公开涉及人工智能技术领域，特别涉及自然语言处理及深度学习等领域的预训练模型获取方法、装置、电子设备及存储介质。

背景技术

基于大规模无结构文本数据训练得到的预训练模型，为下游任务带来了很大的效果提升。

目前，一些研究尝试使预训练模型学习到句法信息，以便在下游任务上进一步提升效果。比如，采用句法语言模型，预训练过程直接预测输出整颗句法树，但种方式需要耗费巨大的计算资源。

发明内容

本公开提供了预训练模型获取方法、装置、电子设备及存储介质。

一种预训练模型获取方法，包括：

在利用训练语句对预训练模型进行训练的过程中，针对其中的自注意力模块，加入句法信息对应的学习目标；

根据所述学习目标进行所述预训练模型的训练。

一种预训练模型获取装置，包括：第一训练模块以及第二训练模块；

所述第一训练模块，用于在利用训练语句对预训练模型进行训练的过程中，针对其中的自注意力模块，加入句法信息对应的学习目标；

所述第二训练模块，用于根据所述学习目标进行所述预训练模型的训练。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：可利用句法信息指导预训练模型的训练，使其学习到句法信息，从而提升了预训练模型的性能，并可减少对于计算资源的消耗等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开所述预训练模型获取方法实施例的流程图；

图2为本公开所述依存树的示意图；

图3为本公开所述注意力权重矩阵的示意图；

图4为本公开所述预训练模型获取装置实施例400的组成结构示意图；

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。