[发明专利]文本处理方法、文本特征提取方法、装置、设备和介质

说明书

提供了一种文本处理方法，涉及人工智能领域。该方法包括：将第一文本输入至预先训练的特征提取器，得到第一文本特征；将第二文本输入至所述预先训练的特征提取器，得到第二文本特征；获得所述第一文本特征和所述第二文本特征之间的相似度预测结果；其中，所述特征提取器包括N个循环编码器，每个所述循环编码器根据循环记忆机制和Transformer模型中的编码器构建获得，所述循环记忆机制用于根据上一时刻的状态信息和本次时刻的输入信息处理数据。还提供了一种文本特征提取方法，该方法包括：将第三文本输入至上述预先训练的特征提取器，得到第三文本特征。还提供了一种文本处理装置、文本特征提取装置、设备、存储介质和程序产品。

技术领域

本公开涉及人工智能领域，更具体地涉及一种文本处理方法、文本特征提取方法、装置、设备、介质和程序产品。

背景技术

利用深度学习方法对文本进行处理，可以基于循环神经网络模型或基于卷积神经网络模型来实现。但是由于梯度弥散的问题，循环神经网络的结构在纵向深层堆叠上不能太深，导致失去了深层网络带来的正则化和强编码能力，泛化性能上限有限，不能够借助超大数据集进行提升。而卷积神经网络常用于图像，不适合处理文本的序列化数据结构。

发明内容

鉴于上述问题，本公开提供了一种文本处理方法、文本特征提取方法、装置、设备、介质和程序产品。

本公开实施例的一个方面提供了一种文本处理方法，包括：将第一文本输入至预先训练的特征提取器，得到第一文本特征，其中，所述第一文本包括用户输入的文本；将第二文本输入至所述预先训练的特征提取器，得到第二文本特征，其中，所述第二文本包括待与所述第一文本匹配的候选文本；获得所述第一文本特征和所述第二文本特征之间的相似度预测结果；其中，所述特征提取器包括N个循环编码器，N大于等于1，每个所述循环编码器根据循环记忆机制和Transformer模型中的编码器构建获得，所述循环记忆机制用于根据上一时刻的状态信息和本次时刻的输入信息处理数据。

根据本公开的实施例，所述将第一文本输入至预先训练的特征提取器，得到第一文本特征包括：将所述第一文本输入至N个所述循环编码器，得到所述第一文本特征；其中，对于任两个相邻的所述循环编码器，包括：利用前一个所述循环编码器处理所述第一文本而得到的输出，作为后一个所述循环编码器的输入。

根据本公开的实施例，输入数据通过第一文本获得，所述本次时刻包括第t时刻，所述上一时刻包括第t-1时刻，所述将所述第一文本输入至N个所述循环编码器，得到所述第一文本特征包括利用每个所述循环编码器处理输入数据，具体包括：利用所述编码器处理所述输入数据，得到第t时刻的当前输入信息，t大于等于1；利用所述循环记忆机制处理所述当前输入信息和所述输入数据的上一状态信息，得到每个所述循环编码器的第t时刻的当前输出，其中，所述上一状态信息在第t-1时刻获得。

根据本公开的实施例，所述得到每个所述循环编码器的第t时刻的当前输出包括：根据所述当前输入信息和所述上一状态信息，得到第t时刻的当前历史信息；根据所述当前输入信息和所述当前历史信息，得到第t时刻的当前状态信息；根据所述当前状态信息，得到所述当前输出。

根据本公开的实施例，所述获得所述第一文本特征和所述第二文本特征之间的相似度预测结果包括：将所述第一文本特征和所述第二文本特征输入至预先训练的匹配交互层，得到匹配置信度矩阵；根据所述匹配置信度矩阵计算所述相似度预测结果。

根据本公开的实施例，所述预先训练的匹配交互层中包括匹配权重矩阵和映射权重矩阵，所述将所述第一文本特征和所述第二文本特征输入至预先训练的匹配交互层，得到匹配置信度矩阵包括：基于所述匹配权重矩阵、所述第一文本特征和所述第二文本特征计算得到第一匹配矩阵；基于所述映射权重矩阵、所述第一文本特征和所述第二文本特征计算得到第二匹配矩阵；基于所述第一匹配矩阵和第二匹配矩阵得到所述匹配置信度矩阵。