[发明专利]基于transformer模型提取同义语块对的方法

说明书

本发明涉及同义语块对提取技术领域，特别是指一种基于transformer模型提取同义语块对的方法，方法包括：获取待提取语句对并输入到transformer模型，获取transformer模型内部的ec_att_matrix和ecdc_att_matrix；在ec_att_matrix中，确定满足第一条件的最小内部矩阵，记录对应的语块以及标号，将语块确定为Query语块；对每个Query语块，确定满足第二条件的最小矩阵，确定Query语块对应的Title语块；根据Query语块以及对应的Title语块确定同义语块对。采用本发明，可以解决口语与书面语表达不一致的检索问题，提高效率和准确率。

技术领域

本发明涉及同义语块对提取技术领域，特别是指一种基于transformer模型提取同义语块对的方法及装置。

背景技术

同义语块对指的是结合一定上下文信息、可以构成同义关系的语块对，而且并不是简单的同义词。例如，“电动车跑多远”和“电动车续航里程”是同义语块对，但其中的“跑-续航”， “多远-里程”都不能作为上下文无关的同义词单独使用。

同义语块对主要的使用场景是解决同一语义但表述不同的情况，特别是口语和书面语的表达不一致，是搜索引擎面临的主要问题之一。作为用户，习惯于口语化输入Query“电动车跑多远”，而搜索引擎索引的文章以书面语居多，习惯表述为“电动车续航里程”。如果有相应的同义语块对，则可以正确检索出对应的结果。因此，目前亟需一种高效快捷的同义语块对的提取方法。

发明内容

本发明实施例提供了一种基于transformer模型提取同义语块对的方法及装置。所述技术方案如下：

一方面，提供了一种基于transformer模型提取同义语块对的方法，该方法由区块链管理节点实现，该方法包括：

获取待提取语句对，将所述待提取语句对输入到用于提取同义语块对的transformer模型中，其中，所述待提取语句对包括Query语句以及Title语句；

获取所述transformer模型内部的self-attention矩阵以及encoder-decoderattention矩阵；其中，所述self-attention矩阵记为ec_att_matrix，所述ec_att_matrix用于表示Query语句与自身之间的关系，所述encoder-decoder attention矩阵记为ecdc_att_matrix，所述ecdc_att_matrix用于表示Query语句与Title语句之间的关系；

在所述ec_att_matrix中，确定满足第一条件的最小内部矩阵，记录所述最小内部矩阵对应的语块以及标号，将所述语块确定为所述Query语句对应的Query语块；

对每个Query语块，在所述ecdc_att_matrix中，确定满足第二条件的最小矩阵，根据所述最小矩阵确定所述Query语块对应的Title语块；

根据所述Query语块以及对应的Title语块确定同义语块对。

可选地，所述在所述ec_att_matrix中，确定满足第一条件的最小内部矩阵，记录所述最小内部矩阵对应的语块以及标号，包括：

在ec_att_matrix中，对于当前的标号i，i=N，寻找满足第一条件的最小内部矩阵，将所述最小内部矩阵的矩阵左上标号记为(i, i)，右下标号记为(i+k, i+k)；

其中，满足第一条件包括：

如果存在一个内部矩阵的每一行 q满足下述两个条件，其中，i = q =i+k：

1）ec_att_matrix[q][p]之和大于第一阈值T1，其中，i = p =i+k；