[发明专利]一种模型提示矩阵学习方法、装置、设备以及存储介质

权利要求书

1.一种模型提示矩阵学习方法，其特征在于，包括：

步骤1.使用提示学习生成器获取对应提示矩阵；

步骤2.将所述提示矩阵与预训练语言模型中相关参数进行连接，根据任务输出获取提示矩阵的参数梯度值；

步骤3.使用所述参数梯度值和所述本轮优化参数确定所述提示学习生成器的本轮参数更新量；

步骤4.使用所述本轮参数更新量对所述提示学习生成器进行学习；

步骤5.循环上述步骤1-4，直至矩阵学习结束，停止循环。

2.根据权利要求1所述的一种模型提示矩阵学习方法，其特征在于，所述获取提示学习生成器的参数梯度值具体包括：随机初始化提示学习生成器参数；获取样本文本和样本标签，通常包含多个任务的部分文本及其对应的标签；通过提示矩阵生成器，获取样本文本对应任务的提示矩阵；使用附加所述提示矩阵的预训练语言模型对所述样本文本进行预测，获得预测类别；计算出所述样本标签和所述预测类别之间的损失值，并根据所述损失值确定所述参数梯度值。

3.根据权利要求1所述的一种模型提示矩阵学习方法，其特征在于，所述预训练语言模型是Transformer类模型；所述使用所述本轮参数更新量对所述预训练语言模型进行提示学习；

具体包括：根据所述提示矩阵修改所述Transformer类模型中的关注度矩阵，获得修改后的关注度矩阵，并基于所述修改后的关注度矩阵进行提示学习。

4.根据权利要求1所述的一种模型提示矩阵学习方法，其特征在于，所述获取学习后的优化器的本轮优化参数之前，还包括：根据所述预训练语言模型的期望输出值确定所述优化器的总损失值，并根据所述总损失值对所述优化器进行参数更新学习。

5.根据权利要求2所述的一种模型提示矩阵学习方法，其特征在于，根据所述样本文本和样本标签，使用参数生成网络获取任务对应的提示矩阵生成网络参数；根据上述提示矩阵生成网络参数，使用提示矩阵生成网络获取任务对应提示矩阵。

6.根据权利要求5所述的一种模型提示矩阵学习方法，其特征在于，连接所述任务的任务特征向量以及层次特征向量，将所述连接后的向量输入一个多层感知机，获取任务-层次特征向量；将所述向量输入一个线性映射层，得到任务-层次对应的上采样矩阵U^T,m_K,V及下采样矩阵D^T,m_K,V。

7.根据权利要求5所述的一种模型提示矩阵学习方法，其特征在于，提示矩阵生成网络包括：获取全局提示矩阵P^T，将全局提示矩阵P^T按照顺序进行如下操作得到任务-层次对应提示矩阵P^T,m_K,V；具体操作步骤为：首先与所述上采样矩阵进行矩阵乘法；接着使用ReLU激活函数激活；最后与所述下采样矩阵进行矩阵乘法。

8.一种模型提示学习装置，其特征在于，包括：

提示矩阵获取模块，用于使用所述本轮参数更新量对所述预训练语言模型进行提示学习，获得学习后的提示矩阵；

参数梯度获取模块，用于获取提示矩阵生成器的参数梯度值；

优化参数获取模块，用于获取参数梯度值和所述本轮优化参数确定所述提示矩阵生成器的本轮参数更新量。

9.一种设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求2至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求2至7任一项所述的方法。