[发明专利]一种基于对比学习的自然文本编码方法

权利要求书

1.一种基于对比学习的自然文本编码方法，其特征在于：包括以下步骤：

S1、对自然文本数据集进行增强处理，通过数据增强获取正样本对；

S2、建立对比学习模型，对比学习模型采用预训练模型作为Encoder；

S3、进行对比学习模型训练；

S4、得到自然文本的编码结果。

2.根据权利要求1所述的一种基于对比学习的自然文本编码方法，其特征在于：

所述步骤S1包括如下分步骤：

S11、使用Prompt机制和自然文本构建模板，所构建的模板如下公式所示：

Template＝“The meaning of[X]is[MASK]”    (1)

其中，[X]表示所要编码的自然文本，[MASK]表示[MASK]token；

S12、将自然文本向量化的编码器作为预训练语言模型的Embedding层，其过程如下公式所示：

W_i＝E(S_i)    (2)

其中，W_i为自然文本S_i通过预训练模型词嵌入层E(·)得到的词向量；

S13、使用概率从高斯白噪声、随机置零、反傅里叶变换和随机背景噪声中选择噪声与词向量进行融合，其融合过程如下公式所示：

W_aug＝ρ(A_gwm(W_i)，A_rzs(W_i)，A_ifft(W_i)，A_rbn(W_i)；p1，p2，p3，p4)    (3)

其中，W_aug为融合后的词向量，ρ(·)为以概率p1，p2，p3，p4的选择函数来分别从斯白噪声A_gwn(W_i)、随机置零A_rzs(W_i)、反傅里叶变换A_ifft(W_i)和随机背景噪声A_rbn(W_i)选择方法进行融合；

S14、使用概率决定是否对词向量进行增强处理，其过程如下公式所示：

其中，W_pwva为最终且连续数据增强的结果，为以概率p来确定是否对词向量进行增强的函数。

3.根据权利要求1所述的一种基于对比学习的自然文本编码方法，其特征在于：

所述步骤S13中高斯白噪声、反傅里叶变换、随机背景噪声分别由如下公式所示：

Agwn(W_i)＝W_i+λμ(0,1)         (5)

Aifft(W_i)＝Real(IFFT(FFT(W_i)))     (6)

Arbn(W_i)＝W_i+uniform(0,0.1)       (7)

其中，W_i为词向量，μ(0,1)表示标准正太分布，FFT(·)为快速傅里叶变换，λ为权重参数，IFFT(·)反傅里叶变换，Real(·)为取实部，uniform(·)为均匀分布。

4.根据权利要求1所述的一种基于对比学习的自然文本编码方法，其特征在于：

所述步骤S2的建立对比学习模型，具体的数据处理如下步骤：

S21、将步骤S1中增强后的正样本对输入到Encoder得到固定长度的输出向量；

S22、取[MASK]token所对应的向量为Encoder输出特征向量。