[发明专利]一种针对基于提示符的探证的因果分析方法和系统

说明书

本发明涉及一种针对基于提示符的探证的因果分析方法和系统，属于自然语言处理领域。该方法主要包含：(1)形式化基于提示符的探证过程中各个变量交互关系的结构因果模型。该结构因果模型共包含11个关键变量，描述了模型预训练、提示符选取、自然语言化的测试集生成、性能评估四个关键过程中的因果关系。(2)基于结构因果模型，识别出期望评估的真正因果关系和三条混淆评估结果的后门路径，分析三条后门路径导致的三种偏差：提示符偏好偏差、实例自然语言化偏差、采样差异偏差。(3)基于后门准则的消除探证过程偏差的因果干预方法。本发明能有效地识别、理解和消除探证过程中存在的偏差，得到稳定的、准确的、可靠的评测结果。

技术领域

本发明涉及一种针对基于提示符的探证的因果分析方法和系统，属于自然语言处理领域。

背景技术

随着大规模预训练模型在自然语言处理领域取得的巨大成功，诸多研究着眼于探证现有预训练模型中蕴含了哪些知识。其中基于提示符的探证是最为广泛使用的探证方法之一：通过构建任务特定的提示符对预训练模型进行提问，从而评估模型在这一任务上具备的知识。例如，为了评估预训练模型是否知道“Michael Jordan”的生日，我们可以向预训练模型输入“Michael Jordan was born in[MASK]”，其中“Michael Jordan”是被自然语言化的查询输入，“was born in”是被自然语言化的提示符，“[MASK]”是用于预训练模型输出预测结果的占位符。近年来，研究者们已经构建多个利用提示符对预训练模型的知识进行探证的评测数据集(例如LAMA，LM diagnostics，X-FACTE，BioLAMA等)，并把模型在这些数据集上的性能视作其在对应任务上的能力。

然而，已有诸多研究发现当前使用提示符进行探证的范式存在不准确，不稳定以及不可靠的问题。这些探证过程中存在的偏差会使得预训练模型真正的能力无法得到准确的评估，误导我们对预训练模型的理解，甚至产生错误的决定。因此，为了准确评测预训练模型任务特定的能力，亟需回答三个核心问题：1)现有基于提示符的探证范式中存在哪些偏差？2)这些偏差来源于何处？3)如何消除这些偏差？

发明内容

为了解决上述问题，本发明使用结构因果模型形式化了基于提示符的探证过程，区分出期望评测的真实因果关系和导致评测结果偏差的后门路径，并使用因果干预技术阻塞相应的后门路径，达到消除评测过程中偏差的目的。

本发明采用的技术方案如下：

一种针对基于提示符的探证的因果分析方法，包括以下步骤：

建立结构因果模型，用于形式化基于提示符的探证过程中各个变量交互关系；

基于结构因果模型，识别出探证过程中期望评估的真正因果关系和混淆评估结果的后门路径，并分析后门路径导致的偏差；

利用后门准则阻塞导致偏差的后门路径，得到无偏的因果关系评估结果。

进一步地，所述结构因果模型包含多个关键变量，描述基于提示符的探证中的模型预训练、提示符选取、自然语言化的测试集生成、性能评估四个关键过程中的因果关系。

进一步地，所述结构因果模型包含11个关键变量：预训练语料分布D_a；预训练语料C；预训练模型M；语言表达分布L；任务R；提示符P；任务特定的预测器I；测试数据分布D_b；采样得到的测试数据T；自然语言化的测试数据X；评测性能E。

进一步地，所述混淆评估结果的后门路径为三条后门路径，所述三条后门路径体现预训练模型M和评测性能E之间的伪相关关系，从而导致三种偏差：提示符偏好偏差、实例自然语言化偏差、采样差异偏差。