[发明专利]预训练模型获取方法、装置、电子设备及存储介质

权利要求书

1.一种预训练模型获取方法，包括：

在利用训练语句对预训练模型进行训练的过程中，针对其中的自注意力模块，加入句法信息对应的学习目标；所述学习目标包括：第二学习目标；所述第二学习目标包括：对于所述训练语句对应的依存树中的任一子树，要求所述子树中的任一核心词对应的第一相似度大于第二相似度，且，要求所述子树对应的第三相似度大于第四相似度；所述核心词为所述子树中的非叶子节点对应的词；所述第一相似度为所述核心词与所述子树内的任一词的注意力分布之间的相似度，所述第二相似度为所述核心词与所述子树外的任一词的注意力分布之间的相似度，所述第三相似度为所述子树中位于左右两个边界处的叶子节点对应的词的注意力分布之间的相似度，所述第四相似度为所述子树内的任一词与所述子树外的任一词的注意力分布之间的相似度；

根据所述学习目标进行所述预训练模型的训练。

2.根据权利要求1所述的方法，其中，所述学习目标还包括：第一学习目标。

3.根据权利要求2所述的方法，其中，所述第一学习目标包括：

针对所述训练语句中的任一词x，要求所述词x对应的第一权重大于第二权重；所述第一权重为在所述训练语句对应的依存树中与所述词x通过直接路径关联的任一词y与所述词x之间的注意力权重，所述第二权重为在所述依存树中与所述词x通过弱路径关联或无路径关联的任一词z与所述词x之间的注意力权重。

4.根据权利要求3所述的方法，其中，

所述通过直接路径关联包括：与所述词x在同一路径上，且位于所述词x的下游，与所述词x通过一条边直接相连，或者，与所述词x在同一路径上，且与所述词x通过一条边直接相连；

所述通过弱路径关联包括：与所述词x在同一路径上，且位于所述词x的下游，与所述词x通过至少两条边间接相连，或者，与所述词x在同一路径上，且与所述词x通过至少两条边间接相连；

所述无路径关联包括：与所述词x不在同一路径上。

5.根据权利要求1-4中任一项所述的方法，还包括：

根据所述学习目标以及所述预训练模型的原有学习目标，进行所述预训练模型的训练。

6.一种预训练模型获取装置，包括：第一训练模块以及第二训练模块；

所述第一训练模块，用于在利用训练语句对预训练模型进行训练的过程中，针对其中的自注意力模块，加入句法信息对应的学习目标；所述学习目标包括：第二学习目标；所述第二学习目标包括：对于所述训练语句对应的依存树中的任一子树，要求所述子树中的任一核心词对应的第一相似度大于第二相似度，且，要求所述子树对应的第三相似度大于第四相似度；所述核心词为所述子树中的非叶子节点对应的词；所述第一相似度为所述核心词与所述子树内的任一词的注意力分布之间的相似度，所述第二相似度为所述核心词与所述子树外的任一词的注意力分布之间的相似度，所述第三相似度为所述子树中位于左右两个边界处的叶子节点对应的词的注意力分布之间的相似度，所述第四相似度为所述子树内的任一词与所述子树外的任一词的注意力分布之间的相似度；

所述第二训练模块，用于根据所述学习目标进行所述预训练模型的训练。

7.根据权利要求6所述的装置，其中，所述学习目标还包括：第一学习目标。

8.根据权利要求7所述的装置，其中，所述第一学习目标包括：

针对所述训练语句中的任一词x，要求所述词x对应的第一权重大于第二权重；所述第一权重为在所述训练语句对应的依存树中与所述词x通过直接路径关联的任一词y与所述词x之间的注意力权重，所述第二权重为在所述依存树中与所述词x通过弱路径关联或无路径关联的任一词z与所述词x之间的注意力权重。