[发明专利]一种针对基于提示符的探证的因果分析方法和系统

权利要求书

1.一种针对基于提示符的探证的因果分析方法，其特征在于，包括以下步骤：

建立结构因果模型，用于形式化基于提示符的探证过程中各个变量交互关系；

基于结构因果模型，识别出探证过程中期望评估的真正因果关系和混淆评估结果的后门路径，并分析后门路径导致的偏差；

利用后门准则阻塞导致偏差的后门路径，得到无偏的因果关系评估结果。

2.根据权利要求1所述的方法，其特征在于，所述结构因果模型包含多个关键变量，描述基于提示符的探证中的模型预训练、提示符选取、自然语言化的测试集生成、性能评估四个关键过程中的因果关系。

3.根据权利要求1所述的方法，其特征在于，所述结构因果模型包含11个关键变量：预训练语料分布D_a；预训练语料C；预训练模型M；语言表达分布L；任务R；提示符P；任务特定的预测器I；测试数据分布D_b；采样得到的测试数据T；自然语言化的测试数据X；评测性能E。

4.根据权利要求1所述的方法，其特征在于，所述混淆评估结果的后门路径为三条后门路径，所述三条后门路径体现预训练模型M和评测性能E之间的伪相关关系，从而导致三种偏差：提示符偏好偏差、实例自然语言化偏差、采样差异偏差。

5.根据权利要求4所述的方法，其特征在于，所述提示符偏好偏差的表现包括：对于同一个预训练模型，使用语义相同但是表达不同的提示符进行评测，评测结果呈现明显的不稳定性，以及在同一个任务上，使用语义相同但是表达不同的提示符，模型之间的排名呈现出不一致性，因此无法得到可靠的评测结果；所述实例自然语言化偏差的表现包括：对于同一个测试样例，不同的自然语言化表达会带来不一致的测试结果；所述采样差异偏差的表现包括：不同预训练模型之间的性能差异，不仅取决于其对应任务上的能力差异，还取决于与其绑定的从不同分布中采样得到的预训练数据和测试数据分布之间的差异。

6.根据权利要求1所述的方法，其特征在于，所述利用后门准则阻塞导致偏差的后门路径，是找到一个变量集合Z，Z满足不包含预训练模型M的后代节点，并且Z阻断了预训练模型M和评测性能E之间的每条含有指向M的路径。

7.根据权利要求6所述的方法，其特征在于，根据结构因果模型，选择Z＝{X,P}，则预训练模型M到评测性能E的真实因果效应则由以下公式计算得到：

其中，p表示一种特定的提示符，x表示自然语言化的数据，表示提示符p和自然语言化数据x的联合分布，表示模型m在任务r下使用提示符p和自然语言化的数据x的评估结果。

8.一种采用权利要求1～7中任一权利要求所述方法的针对基于提示符的探证的因果分析系统，其特征在于，包括：

结构因果模型构建模块，用于建立结构因果模型，用于形式化基于提示符的探证过程中各个变量交互关系；

偏差分析模块，用于基于结构因果模型，识别出探证过程中期望评估的真正因果关系和混淆评估结果的后门路径，并分析后门路径导致的偏差；

因果干预模块，用于利用后门准则阻塞导致偏差的后门路径，得到无偏的因果关系评估结果。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一权利要求所述的方法。