[发明专利]基于transformer模型提取同义语块对的方法

权利要求书

1.一种基于transformer模型提取同义语块对的方法，其特征在于，所述方法包括：

获取待提取语句对，将所述待提取语句对输入到用于提取同义语块对的transformer模型中，其中，所述待提取语句对包括Query语句以及Title语句；

获取所述transformer模型内部的self-attention矩阵以及encoder-decoderattention矩阵；其中，所述self-attention矩阵记为ec_att_matrix，所述ec_att_matrix用于表示Query语句与自身之间的关系，所述encoder-decoder attention矩阵记为ecdc_att_matrix，所述ecdc_att_matrix用于表示Query语句与Title语句之间的关系；

在所述ec_att_matrix中，确定满足第一条件的最小内部矩阵，记录所述最小内部矩阵对应的语块以及标号，将所述语块确定为所述Query语句对应的Query语块；

对每个Query语块，在所述ecdc_att_matrix中，确定满足第二条件的最小矩阵，根据所述最小矩阵确定所述Query语块对应的Title语块；

根据所述Query语块以及对应的Title语块确定同义语块对。

2.根据权利要求1所述的方法，其特征在于，所述在所述ec_att_matrix中，确定满足第一条件的最小内部矩阵，记录所述最小内部矩阵对应的语块以及标号，包括：

在ec_att_matrix中，对于当前的标号i，i=N，寻找满足第一条件的最小内部矩阵，将所述最小内部矩阵的矩阵左上标号记为(i, i)，右下标号记为(i+k, i+k)；

其中，满足第一条件包括：

如果存在一个内部矩阵的每一行 q满足下述两个条件，其中，i = q =i+k：

1）ec_att_matrix[q][p]之和大于第一阈值T1，其中，i = p =i+k；

2）ec_att_matrix[q][h]之和大于第二阈值T2，其中，i = h =i+k 且 h != q；

则将所述内部矩阵确定为最小内部矩阵，将下标i到i+k对应的语块放入Query语块集合中。

3.根据权利要求1所述的方法，其特征在于，所述对每个Query语块，在所述ecdc_att_matrix中，确定满足第二条件的最小矩阵，包括：

记当前Query语块对应首尾词下标为Q_begin和Q_end，寻找满足第二条件的最小矩阵，将所述最小矩阵的首尾词下标记为T_begin和T_end，

其中，满足第二条件包括：

对于每一个i行， Q_begin = i = Q_end:

ecdc_att_matrix[i][j]之和大于第三阈值 T3，其中 T_begin = j =T_end。

4.根据权利要求3所述的方法，其特征在于，所述根据所述最小矩阵确定所述Query语块对应的Title语块，包括：

根据所述T_begin和T_end，确定对应的语块，将所述语块确定为所述Query语块对应的Title语块。

5.根据权利要求1所述的方法，其特征在于，所述根据所述Query语块以及对应的Title语块确定同义语块对，包括：

将所述Query语块以及对应的Title语块构成同义语块对，进行对应存储。